全栈量产智驾应用算法在C1200家族芯片上的部署 | 研讨会回顾

10月30日，智猩猩联合黑芝麻智能策划推出的「智猩猩在线研讨会黑芝麻智能山海工具链专场」顺利完结。

在此次在线研讨会上，两位主讲人黑芝麻智能嵌入式工程师李俊何、Nullmax售前产品高级经理周政，分别以《黑芝麻智能山海工具链：深度学习模型量化与部署实战》、《全栈量产智驾应用算法在C1200家族芯片上的部署》为主题，进行了直播讲解。

本次研讨会，周政主讲环节的重要信息如下：

MaxDrive智驾方案已经在黑芝麻智能A1000、C1200家族芯片上实现应用和部署，并且已经有客户项目正在开发和定点。

我们基于一颗C1296芯片、6V的相机以及必要的相关传感器，结合Nullmax基于BEV的算法和功能软件，经过小于两个月的开发周期，目前在实车上已经实现了高速NOA +记忆行车+HPA相关功能，取得了比较优异的性能表现。

我们在板端通过实测BEV-OD模型，通过将量化后和量化之前的指标对比，可以看到平均精度均值、平均平移误差、尺度误差、角度误差、速度误差等指标，在量化后的精度损失非常小，可以很好地支持功能算法的开发。

我们在黑芝麻芯片平台上应用了基于多V的BEV-OD视觉感知算法，可以解决例如同一个目标在不同视角下重复检测的问题，可以提供障碍物检测更高的准确率以及更精准的航向角，对于下游的planning更加友好。

以下是本次研讨会周政的主讲实录整理。如对直播回放以及Q&A有需求，可以点击底部【阅读原文】前去观看。

周政：大家好，我是来自Nullmax的周政，目前负责产品和售前的相关工作，非常荣幸受到智猩猩和黑芝麻智能的邀请，来和大家分享我们和黑芝麻智能通过紧密合作所取得的阶段性成果。

首先我介绍一下Nullmax。Nullmax是一家人工智能科技公司，致力于打造全场景的无人驾驶应用。公司坚持渐进式发展路线，目前已经打造了平台化的车端、云端软件系统，覆盖了完整的上层应用、中间件以及云端数据系统。Nullmax在前装量产领域也广受认可，目前已经实现了在不同的芯片算力、不同的芯片平台上大规模生产和应用。

下面介绍下我们Nullmax的发展历程。我们的CEO&创始人徐雷博士于2016年在硅谷创立了Nullmax，并组建了核心团队，是全球最早创立的自动驾驶公司之一。视觉感知是Nullmax的核心标签之一。在2017年到2018年，我们上线了L2的行泊ADAS功能，比如HWP、TJA、HPA等，具备了行泊一体的产品形态；在2019年6月份发布了业内第一个行泊一体产品。从2020年至今，我们迎来了技术落地，开始为很多OEM的多款车型做量产项目开发。产品交付范围覆盖了行泊的感知算法及行泊功能的开发，比如NOA、HPA等功能。在2023年9月公司获得了B轮融资7.8亿元，支持公司持续加大研发投入，拓展市场布局。在2024年7月我们发布了NI纯视觉端到端技术，同时公司扩展海外市场，推动更大规模的量产落地。

01 全栈自研的自动驾驶大脑Max

下面是我们的技术架构「全栈自研的自动驾驶大脑」，我们叫做Max。目前我们打造了覆盖云端、车端的平台化软件系统。

左面是我们自研的云端数据闭环系统，叫做MaxCloud。这个系统是Nullmax完全自研的，没有任何第三方的license和IP。目前该系统包含了数据的可视化分析、过滤、部署、模型训练、评价，以及稀少数据集，还有大量的来自客户和我们自己平台开发产生的数据积累。这套系统的作用在于可以支持我们从海量的数据中高效提取一些有价值的信息，用于模型训练以及迭代。

右面是车端系统MaxPlatform。它包含了感知、PNC等完整的上层应用MaxStack，以及中间件产品MaxOS，支持从一体机产品到中高阶域控产品平台和量产开发。

02 新一代端到端自动驾驶技术Nullmax Intelligence

在今年7月，我们举办了一场技术发布会，发布了NI (Nullmax Intelligence)，这是我们为了应对接下来的无人驾驶和具身智能的应用，正在大力投入研发的一套技术。

上可以看出，支持多模态的输入和输出。我们以视觉为基础，同时也支持声音、文本、手势等信息，输出HMI信息（可视化结果）、语言描述以及行为动作。

下面并行的安全类脑（Safety Brain Inspired）。它可以通过类脑神经网络，借鉴生物趋利避害的本能，从而确保整个系统的安全。这是我们认为的最终形态。

03 行泊一体产品MaxDrive

目前Nullmax和黑芝麻智能的合作是全方位的。我们的MaxDrive行泊一体产品可以支持在不同算力的芯片，在多传感器的配置组合上进行开发，覆盖从8T到超过50T不同算力等级的芯片，从5V到11V的相机配置，也可以支持多传感器做融合的开发，比如Radar、 Lidar的组合。

目前MaxDrive已经在黑芝麻智能A1000、C1200家族芯片上实现应用和部署，并且已经有客户项目正在开发和定点。

04 黑芝麻智能系列芯片应用实战

下面分享一下我们和黑芝麻智能在实际项目上的开发落地的案例。

一颗C1296芯片、6V的相机以及必要的相关传感器，结合Nullmax基于BEV的算法和功能软件，经过小于两个月的开发周期，目前在实车上已经实现了高速NOA +记忆行车+HPA相关功能，取得了比较优异的性能表现。

下面请看一下视频，这个视频是前段时间在公司周边录制的一个高速NOA的视频。可以看到能实现丝滑的功能体验，如智能汇入匝道，超车变道，智能选择最优车道等功能。感知算法是Nullmax核心的IP之一。我们在黑芝麻智能芯片平台上应用了基于多V的BEV-OD的视觉感知算法，可以解决比如同一个目标在不同视角下重复检测的问题，更高的航向角准确率，对下游planning模块更加友好。

这是我们在公司附近实录的一个7V的视频。从视频里可以看出，它可以支持行人、车辆、两轮车、三轮车、卡车、公交等多种障碍物检测，在一个BEV里准确，连续稳定地检测和跟踪目标。从视频里可以看到，对于车辆和两轮车的车头，车尾，转弯过程，均可以连续稳定的检测。

分我们用到了一个城市建图算法BEV_MAP。可以看到右面的图是实时感知输出的，基于点的形式表示的道路拓扑关系的效果。目前我们的BEV_MAP网络可以支持输出道路边界、中心线、停止线、栅栏等元素，准确感知路口环境。

再回到芯片本身，刚才李俊何老师也提到模型量化精度，是衡量一款芯片性能非常关键的指标。我们在板端实测BEV-OD模型，通过将量化后和量化之前的指标对比，可以看到平均精度、平均平移误差、尺度误差、角度误差、速度误差等指标，在量化后的精度损失非常小，这可以很好地支持功能算法的开发。

在量化后的余弦相似度上，我们以64张图像作为测试集，横坐标表示图像帧，纵坐标表示相似度的值。可以看到，最后量化输出特征的余弦相似度可以非常好地达到95%以上，可以很好地支持Nullmax功能算法开发。

我们在板端实测了感知模型输出的帧率及任务耗时。我们先看一下帧率，我们实测了在BEV-OD板端的运行帧率，可以稳定达到20帧到25帧，满足下游的定位、规划、控制模块使用。

推理模型的任务耗时我们实测是小于35毫秒的。

通过以上展示的，实车的功能开发效果演示，感知效果演示，以及对芯片自身的量化精度、帧率耗时等实测结果，可以说明，黑芝麻智能芯片是一颗性能非常优异的自动驾驶芯片，我们也在加速软件版本迭代，不断优化性能表现，请大家保持关注。

以上就是我的分享，谢谢大家。