商汤绝影：用大模型，重做一遍智能座舱

作者丨顾见

(相关资料图)

监制丨阑夕

1979年，阿斯顿马丁遵循其未来主义楔形汽车理念，首次尝试在车上搭载LED显示屏，这在某种意义成为智能座舱的先驱产品。之后的几十年，有关智能座舱的畅想层出不穷。在电影《金龟车贺比》、《霹雳游侠》中，智能座舱是具有独立决策能力，可以用多种黑科技为车主保驾护航的梦幻搭档。

而现实中，智能座舱带给用户的体验感与科幻电影相差甚远。即使在前装搭载率不断提升的当下，仍然有为数不少的声音认为智能座舱是伪命题，其内涵不过是普通汽车加几块大屏幕，亦或是“行走的大号手机”。

造成这个尴尬现状的根本原因在于，以往的智能座舱产品是传统制造业发展框架下的产物，是车载音响、液晶屏、通信模块，以及其它车载软硬件产品各自迭代形成的结合体。

这样的智能座舱产品缺乏整体性——虽然可以通过“堆料”实现每个局部的最优解，却难以打通功能权限实现整车功能调度、互联网应用、人车交互、智能驾驶的整齐划一。相对应的，也就无法涌现出真正的产品智慧。

“大模型时代”的到来，让智能座舱产品迎来了一次重塑。

在近期的德国慕尼黑车展上，就涌现出这样野心勃勃的“中国力量”：“智能汽车时代的通用人工智能核心供应商”商汤绝影，首次全方位展示了智能座舱大模型产品体系——绝影智能车舱，用AGI时代的全新产品范式剑指出行场景痛点，为智能汽车市场的大模型产品革命按下快进键。

01、智能座舱进化论：从硬件堆料，到智能座舱大模型产品体系

不可否认，硬件堆料式的智能座舱产品还是带给行业很多积极变量。

在1.0时代，座舱逐渐拥有显示和控制功能，为后续智能化发展打下了基础。2.0时代，市场参与者在智能手机应用生态里寻找灵感，把车联网、在线娱乐、人车语音交互等相关产品带入其中。3.0时代，座舱硬件能力持续升级，在OMS摄像头等硬件加持下，智能车舱已经具备一定的感知能力，从而实现了沉浸式游戏等互动玩法。

商汤绝影率先步入智能座舱4.0时代，通过多模态大模型和座舱大脑的加持，让智能座舱不断进化的同时，拥有更高、更全面的智能化交互能力与权限，围绕出行场景大幅提升产品价值，开创出了更多、更实用的应用场景，让驾驶员安全、高效行车，乘客得到有趣、有料的娱乐休闲体验。

众所周知，大模型价值创造能力的大小与落地场景息息相关。场景越垂直、市场空间越大的领域，越有机会通过大模型脱颖而出，智能座舱恰恰符合这一规律。而用户所期待的，像科幻电影里那样的智能座舱产品，也需要通用型人工智能来发挥主导作用，可谓是产业趋势与用户诉求一拍即合。

在此背景下，商汤绝影的智能座舱大模型系列全产品应运而生。

早在2017年，商汤就与本田建立长期战略合作，成为亚洲首个与全球前五大车企品牌合作开发自动驾驶技术的AI企业。2021年商汤科技推出“SenseAuto绝影”智能汽车平台，并于后续成立了绝影智能汽车事业群，进一步明确了智能座舱、智能驾驶、车路协同三大业务板块的全栈体系。

从产品的设计思路上看，绝影智能车舱没有选择拼乐高式的“硬件集合体”路线，而是出于整体性考量，打造了以“座舱大脑”为核心的全新产品架构，将车端的摄像头、各种感知硬件和长短记忆模块和云端的AIDC基础设施、日日新大模型串联在一起，再以拥有多段对话能力且富有亲和力的数字人助手作为人车交互介质，为车主提供各种主动、被动服务。

这就有效避免了传统智能座舱硬件各自为战、交互体验呆板的痛点，让整个车舱都能接收、执行“座舱大脑”的指令，全方位的服务车主。

从产品的成长力角度看，智能车舱是整个绝影智能汽车事业群驾、舱、云三位一体产品体系的重要组成部分，拥有极高的战略意义。对内，它既可以接受AI云的大模型赋能，又能和绝影的自动驾驶能力联动实现“驾舱一体”，发挥连接器的效力。对外，它将是商汤绝影与整车厂结为利益共同体的“科技橄榄枝”，以及商汤AI能力在C端的一次重要阅兵。

这意味着，绝影智能车舱必须快速实现迭代、进化。而商汤科技的“大模型+大装置”，就是其源源不断的“成长力”。

大模型方面，今年4月10日商汤科技推出的“日日新SenseNova”大模型体系，集自然语言处理、内容生成、自动化数据标注、自定义模型训练等多种大模型及能力，确保了绝影智能车舱在模型能力和问题处理方面处于行业领先地位。

商汤的大装置SenseCore，则打通了大模型开发、生产、应用场景。目前SenseCore实现了3万块GPU部署，最大可输出6000P算力，最高可支持万亿参数超大模型训练。

随着绝影自研数据闭环平台将车端高质量数据导入，叠加大模型自动数据标注、产品检测能力，能够几百倍的提升模型迭代的效率并降低成本，使得绝影舱内算法能够快速迭代，形成独一档的市场竞争力。

在高工智能汽车研究院公布的“中国市场乘用车前装座舱AI软件供应商标配搭载量”相关排行榜单中，商汤绝影以9.47万辆搭载上险量、15.79%的市场份额高居第一。

不难看出，绝影智能车舱既有AI顶层设计理念，又找到了通过大模型、大装置自我强化的路径，堪称是赢在起跑线上的智能座舱“新物种”。

02、向“第三生活空间”，更进一步

《2023年度中国主要城市通勤监测报告》显示，2022年，单程5公里以内的“幸福通勤”人口比重持续下降，达到50%。与此同时，超过30个城市的单程通勤时间超过60分钟的“极端通勤”人口比重增加。

通勤时长的大幅增长，是“超级城市化”进程中不可避免的副产物，但也间接成为智能座舱的发展契机——当智能座舱进化到一定程度时，就可以让那些被浪费的通勤时间重新得到利用。

率先实现“大模型上车”的商汤绝影自然明白这个道理，也看到了自己作为“AI跨界者”的最大优势——那就是建立一个以AI贯穿全场景的智能座舱应用生态。

在车舱大脑的赋能下，绝影智能车舱已经围绕安全、娱乐、教育、效率四大场景，打造出10款以上的行业首发应用，让车舱场景变为集安全性、行驶效率、娱乐性、教育服务为一体的“第三生活空间”。

在安全性方面，绝影智能车舱的车舱视觉算法已经实现多项领先，可以为驾驶员解决一系列安全痛点。

针对光斑、小眼睛、逆光、墨镜等场景，在确保眼部成像清晰的情况下，算法可以保障Recall（召回率）在80%以上，针对ENCAP主要测试的normal case，甚至可以做到100% Recall。处理车内各种遮挡、眼睛反光、头姿视线不一致、不同坐姿等导致的误报时，也处于行业领先地位。

车内教育、娱乐方面，绝影智能车舱不是简单的将互联网应用移植过来，而是结合车内娱乐的场景特性打造出更有针对性的服务。

以服务于不同年龄段孩子的“儿童模式”为例，介绍这项功能前不妨想象一个画面：亲子出行时孩子总是叽叽喳喳说个不停，导致驾车的父母不得不分心回应，最终酿成事故。类似的场景在现实中不胜枚举，甚至还被很多灾难、悬疑电影借鉴。

绝影智能车舱的“儿童模式”，可以通过高频互动的方式为孩子提供故事伴读、共读古诗词、共创故事等玩法。这不是机械式的“播放音视频”，而是会不断抛出互动问题推动互动的深入，让“教育、娱乐二合一”，为孩子们旺盛的精力找到归属，从而解放驾驶员的注意力，消除一项安全隐患。

效率提升方面，绝影智能车舱把丰富的智能化功能融会贯通，会以开放式对话的方式在合适时机向车主赋能。

比如遇到车辆问题时，车主无需拿出生涩难懂的说明书，也无需致电专业人员，只要用“大白话”与系统进行语音交互，即可激活“AI说明书”功能，轻松找到解决方案。再比如“旅游攻略”功能，会在人车交互的开放式对话中适时开启，结合地图App、用户自驾周期、住宿需求、交通情况推荐合适的目的地，为出行平添几分浪漫色彩和神秘感。

史蒂夫·乔布斯认为，顾客不知道自己想要什么，因此企业无需去问消费者想要什么，只需要去创造出消费者需要但表达不出来的需求。而绝影智能车舱的场景创新，恰恰就是把“消费者需要但表达不出来的需求”变成了现实。

03、以技术之矛剑指全球，智能车遇见“绝影速度”

对于智能汽车这样的技术密集型产业来说，车企要想形成竞争优势就必须提升技术深度。于是，越来越多的头部车企开始注意到商汤绝影的价值。

作为智能汽车时代稀缺的通用人工智能核心供应商，商汤绝影的产品体系能够紧随AI发展趋势，快人一步占据AI“制高点”，把前沿技术转化为产品力。

就像商汤科技联合创始人、首席科学家、绝影智能汽车事业群总裁王晓刚所说，商汤绝影长期沉淀的大模型技术能力和量产经验将让智能座舱变成暖心懂你的好管家，让智能驾驶变成安全可靠的老司机，与全球客户共同开启人机共驾新体验。

比如在视觉算法方面，商汤绝影在欧盟认证驾驶员嗜睡和注意力警告系统（DDAW）测试中交出了recall 70%的成绩单，远高于法规要求40%，且误报率仅为4%。做到既能无风险的通过法规，也能保障用户体验，减少误报。

智能驾驶专利方面，商汤科技在知识产权媒体IPRDaily发布的2020年-2021年10月中旬全球智能驾驶专利排行榜（TOP 100）中位列前十，也是国内第一批率先激活L2++级别自动驾驶量产的服务商。

不久前在计算机视觉界“奥斯卡”之称的CVPR 2023，商汤及联合实验室还首个提出感知决策一体化的自动驾驶通用大模型UniAD，在接收率仅为0.02%的评选中斩获最佳论文奖，成为CVPR历史上第一篇以自动驾驶为主题的最佳论文。

该论文首次将检测、跟踪、建图、预测及规划整合到一个基于 Transformer 的端到端网络框架下，实现多目标追踪准确率提升20%、车道线预测准确率提升30%、目标轨迹预测误差下降38%、规划误差下降28%。新算法的量产预计将于2023年四季度准备就绪，进一步提高绝影自动驾驶产品的行业竞争力。

不断打磨自有产品、技术之余，商汤绝影也在积极与合作伙伴分享技术生产力。比如面向客户发布的SenseAuto Empower商汤绝影赋能引擎，把商汤绝影在数据管理、数据标注、模型训练评测及模型部署上的一站式解决方案开放给车企，以极低的数据标注、管理和训练成本加速算法迭代。

正是这种为车企全面赋能、提高产品竞争力的全栈体系，让绝影智能车舱能够享誉全球。数据显示，今年上半年商汤绝影量产业务实现5.7倍同比增长，量产交付数量达到39万台车，新增定点数量达500多万台，累计定点车型160多款，有近20款海外车型。

比如在与蔚来汽车的合作中，绝影智能车舱为其5款欧洲销售车型搭载了多项AI技术，带去人性化、智能化、场景化的智能车舱体验，大大提升了这些车型的国际市场竞争力。为高合HiPhi Z豪华纯电超跑GT搭载DMS驾驶员感知系统与OMS乘员感知系统，不仅可及时预警驾驶员疲劳分心状态，还可智能感知乘员手势进行美颜拍照，一路守护驾乘安全的同时丰富车载娱乐体验。

2023年被称为AI大模型爆发元年，也是AI公司为千行百业创造价值产生质变的一年。有理由相信，绝影智能车舱将以技术为矛，用“绝影速度”让中国造车势力在国际舞台大放异彩。

关键词：