持续进化 理想汽车VLA司机大模型技术分享

近日，理想官方推出“理想AI Talk第二季——理想VLA司机大模型，理想汽车董事长兼CEO李想分享了对于人工智能的最新思考，VLA司机大模型的作用、训练方法和挑战，顺便分享了对于创业和个人成长的见解。

李想将AI工具分为三个层级，分别是信息工具、辅助工具和生产工具。现阶段很多人将AI作为工具使用，但会有部分的无效结果和无效结论，仅具参考价值。其实可以把AI当辅助工具来提升效率，如现在的辅助驾驶，但仍需人类参与。以后AI发展成生产工具后，将能独立完成专业任务，显著提升效率与质量。

“判断Agent（智能体）是否真正智能，关键在于它是否成为生产工具。只有当人工智能变成生产工具，才是其真正爆发的时刻。就像人类会雇佣司机，人工智能技术最终也会承担类似职责，成为真正的生产工具。”李想表达了人工智能的见解。

现阶段，L2、L2+组合驾驶辅助仍属于辅助工具阶段，而VLA（Vision-Language-Action Model，视觉语言行动模型）可以帮助AI真正成为司机，未来的VLA就是一个像人类司机一样工作的司机大模型”。VLA的实现不是一个突变的过程，是进化的过程，经历了三个阶段，对应理想汽车辅助驾驶的昨天、今天和明天。

第一阶段，理想汽车2021年起自研依赖规则算法和高精地图的辅助驾驶。第二阶段，理想汽车2023年起研究，在2024年正式发布了端到端+VLM（Vision Language Model，视觉语言模型）辅助驾驶。

端到端模型在处理复杂问题时其实是有局限的，虽然可以借助VLM视觉语言模型辅助，但VLM使用开源模型，使其在交通领域的能力有限。同时端到端模型也难以与人类沟通。理想汽车2024年起开展VLA研究，奠定了基础。

第三阶段，VLA将开启“人类智能”的阶段。它能通过3D和2D视觉的组合，完整地看到物理世界，而不像VLM仅能解析2D图像。同时，VLA拥有完整的脑系统，具备语言、CoT（Chain of Thought，思维链）推理能力，既能看，也能理解并真正执行行动，这不就成老司机了嘛。

VLA的训练分为预训练、后训练和强化训练三个环节，类似于人类学习驾驶技能的过程。预训练相当于人类学习物理世界和交通领域的常识，通过大量高清2D和3D Vision（视觉）数据、交通相关的Language（语言）语料，以及与物理世界相关的VL（Vision-Language，视觉和语言）联合数据，训练出云端的VL基座模型，并通过蒸馏转化为在车端高效运行的端侧模型。

后训练可以理解为人类去驾校学习开车的过程。随着Action（动作）数据的加入——即对周围环境和自车驾驶行为的编码，VL基座变为VLA司机大模型。得益于短链条的CoT，以及Diffusion扩散模型对于他车轨迹和环境的预测，VLA具备实时性的特点，实现了在复杂交通环境中的博弈能力，这一点很重要。

强化训练可以把它当作人类在社会中实际开车练习，目标是让VLA司机大模型更加安全、舒适，对齐人类价值观，甚至超越人类驾驶水平。

VLA司机大模型可以通过简单通用的短指令由端侧的VLA直接处理，复杂指令则先由云端的VL基座模型解析，再交由VLA处理。

除了提升专业能力，VLA司机大模型还需解决安全性和模型黑盒的问题。模型能力越强，越需要职业性约束确保能力下限。为了保障VLA司机大模型避免学习加塞等违规行为，理想汽车在强化训练环节投入大量资源，在2024年底组建超过100人的超级对齐团队，职业素养还是要有的。

为解决模型的黑盒问题，理想汽车结合重建和生成两种路径，VLA可以在世界模型中低成本、准确地验证现实问题，提升解决问题的效率，有效应对模型黑盒带来的挑战。

理想汽车实现技术快速跃迁的背后，是从研究、研发到能力表达，再到将能力变成业务价值的基本功积累，最终实现技术落地。

理想汽车坚持自研，通过技术赋能用户价值。在辅助驾驶方面，由于英伟达Orin-X芯片无法直接运行语言模型，因此理想汽车依托自有编译团队，自研底层推理引擎，使芯片可通过INT4（4比特整型）量化的方式运行VLM。

理想汽车在VLA司机大模型的语言能力研发上提速显著，节省了近9个月的时间和数亿元成本。理想汽车也选择开源自研的汽车操作系统——理想星环OS，回馈社会。

今年7月，理想汽车将迎来成立十周年。创业不容易，其中的酸甜苦辣只有走过的人知道。回顾几次创业经历，李想表示，从高中创办个人网站至今，自己的思维方式没有什么变化：遇到问题解决问题，解决别人不愿解决的难题，解决用户的痛点，不断向他人学习。不同的是，如今面临的问题更复杂、服务的用户群体更多、公司规模和组织也更庞大。“几次创业一路走来，最难时有人相助，遇坑也能迅速爬出，一帮人齐心协力变得更好，这是种幸运，也没什么可后悔的。”

李想表示，在AI面前所有的人性都应被保留，无论好坏，因为一切人性都是文化、生命、性格、能力的特质，也是人类真正的生命力所在。

从增程电动和5C超充技术解决电池成本高、充电难、充电慢的问题，到自研汽车操作系统攻克传统汽车操作系统性能差、开发缓慢、芯片匹配周期长等挑战，理想汽车用实际表现回应了质疑声。自研VLA时，理想汽车更是踏入了人工智能的无人区，希望理想汽车能带给我们更多前沿技术，让我们共同期待。