对话长城汽车AI Lab负责人杨继峰：让大模型All in造车

车东西（公众号：chedongxi）

文 ｜ 漠影

2023年，大模型已经席卷科技圈。

可怕的是，大模型引领的这波浪潮，不仅仅是噱头，是实打实地在改变很多行业。

现在大模型正随风潜入夜地开始侵入汽车圈，但车企的敏感度显然有着很大差异。让我没想到的是，看似传统汽车品牌的长城汽车，居然是最积极的入局者之一。

在和长城汽车AI Lab负责人杨继峰的一次深入交流后，也让我对大模型如何深入造车行业，有了新的认知。

与吴会肖、杨继峰等长城汽车智能化相关业务负责人交流

他们不仅仅是在将大模型运用到自动驾驶开发、智能座舱开发这样和AI关联度更强的业务里，甚至到生产和供销管理等传统环节都在尝试用大模型的思路实践。给我的感觉就是，大模型已经大有在公司里一杆子插到底的势头。

具体他们是怎么想的，又是怎么做的，我总结了一些关键要点。

一、核心逻辑：从产品经理定义到AI生成

AI技术背景的大牛杨继峰谈到大模型有些滔滔不绝，专业词汇、系统架构图也不少。

不过我从他的话里捕捉到的一个非常核心的观点是，以智能座舱为例，AI大模型的到来，会让智能座舱的功能定义从产品经理定义变成AI生成座舱，因为产品经理能够定义的功能、想法是优先的，而大模型则会基于大数据和AI大模型的强大算法，在交互逻辑、交互方式、交互内容上打造更符合每个人需求的体验，让车真正活起来。

长城汽车技术中心AI Lab的整体构成

杨继峰称这将是一次范式变革，长城汽车正在推动这样的变革在年底前完成。

大模型上车已经成为智能驾驶、智能座舱前沿玩家的基本共识，共识之后拼的就是团队能力了。

大模型上车最难的是什么？杨继峰认为是多模态感知架构，他认为这比大模型的典型应用要难很多。大模型算法模型的强弱不是关键，工程能力和产品视角更重要。

“明年会产生多模态的产品壁垒”，杨继峰说。

二、整车已经变成了一个AI问题

大模型怎样在车企里“红旗飘飘”？

现在汽车主机厂大部分AI研发在围绕自动驾驶展开，长城汽车也不例外，2019年底投资成立毫末智行，之后布局Coffee OS智能座舱，已经发展到Coffee OS3。

一般看一家企业的AI能力强不强，主要看三个方面，算法能力、数据能力、算力基座，从首个引入Transformer全栈自研的智能驾驶系统、到全栈自研智能空间、还有全栈自研智能语音以及算力&数据基座，长城汽车也是按这个框架在构建自己的AI能力。

哈弗枭龙Max座舱

杨继峰认为，现在整车已经变成了一个AI问题，他们的自动驾驶大模型DriveGPT的本质是把人怎样驾驶的变成了一个大语言模型，对自己的预测、对其它目标的预测以提供合适的驾驶策略。

AI时代下如何定义汽车，杨继峰认为从大模型到端到端的智能驾驶是关键。具体展开的核心做法就包括构建：1、感知大模型，达到训练数据集400万Clips，感知性能提升20%。并用鱼眼相机去做深度感知，并达到很低的5米。2、认知大模型，认知算法通过率提升30%，用来解决很多博弈场景的问题。3、3D场景构建大模型，让重建精度达到10cm，场景重建效率提升5倍。

三、变革才刚刚开始：AI时代下，从智能座舱到智能空间

进一步看，大模型带来的云端E2E模型已经开始广泛应用，智驾的研发速度显著增加，城市NOH面临范式拐点，重感知＋轻地图＋大模型范式虽然交付难度更大，但具备更长时间、更多场景的迭代机会。

大模型的认知涌现，能否有效解决复杂多样场景的泛化问题，是大模型范式能力的下一个重要的智能驾驶间题。

回到杨继峰更具体在推进的技术应用，那就是智能座舱的交互和体验，他认为AI时代下智能座舱正向智能空间演变。

基于Space GPT的智能座舱方向

比如他举了几个例子，现在常规套路的醒神模式真的能解决疲劳问题吗？传统的方法可行度仍然不足，因此需要用全新的多模态框架去解决这个问题。

不仅仅是看你打没打哈欠、眨没眨眼，而是要输入用户的历史驾驶数据，行驶数据等等得到一个更综合靠谱的研判结果。

因此就有了最开始的结论，过去，智能座舱是被产品经理定义出来的一个产品组合，现在将发生从定义座舱空间到生成座舱空间的本质区别。

在这样的思路下，就可以用AI认知模型去解决疲劳的判断。从多模态感知到任务输出得到这样的逻辑：疲劳监测任务输出、心情预测任务输出、用户行为任务输出、视线追踪输出。

为此，长城打造了Space GPT这样的专用空间认知大模型。可以在智能座舱实现用户对生态喜好认知、音乐适配认知、交互行为预测认知、导航出行需求认知。

四、细看Space GPT-AIGC大模型

从文生文大模型到用户特定助手：AI助手

从文生图大模型到AI壁纸：AI壁纸、灵感画图

从大模型+知识库到车企专属的哦那个车专家和服务助手：动车专家、知识服务

这是Space GPT解决问题的逻辑，回到AI的本质问题，人工智能能否构建一个智能空间？AI提供一个怎样的驾乘空间呢？

在智能座舱的语音交互方面，他们打造了语音算法新范式——大模型范式同样为对ASR、NLU、NLG等语音算法模型的范式升级机会。

可以基于大模型的语音标准进行自动化生产，比如让一个句子换成50种不同的说法，再去做训练。因此，杨继峰认为SpaceGPT一次基于AI的技术焕新，从智能座舱时代走向空间智能时代

五、无所不在，无所不能的大模型实践

当然和杨继峰的交流还仅限于此，期间，交流中也谈到了大模型对设计创意过程的影响，可以节省创意验证时间。

还有研发新范式的尝试，通过代码大模型，提供自动代码补充及智能纠错提醒、建议代码方案、提升程序工作效率同时，降低代码出错率。

通过大模型打造的研发新方式在加上知识库已经成为解决问题的经典思路，比如知识问答工具，就能很好地利用大模型自然语言处理能力，在智能客服、标准查询、用户说明书、智能诊断等方面发挥作用。

结语：用AI视角，回看30年造车经验

杨继峰认为，汽车一定是一个AI问题，所有过去30年长城汽车造车过程中形成的惯性的方面，用值得用AI思维去审视和重构。

比如他们曾尝试把企业内部的文字档案变成向量空间的数据，把所有业务部门研、产、供、销的业务数据、代码变成了AI数据。

并建立基于AI的数据架构、计算架构、云端架构。“当所有问题都变成AI问题的时候，也就变成数据驱动了”，杨继峰说。

大模型思路对企业的终极影响是，让大模型范式下，每个企业都是AI企业，这也是对车企组织新的挑战。