北京2022年12月23日 /美通社/ -- 随着人工智能技术的广泛应用,智能驾驶系统正在成为汽车的标配。而作为识别周边环境的“火眼金睛”,“感知”模块是智能驾驶系统安全、高效运行的核心,而视觉感知更是其中无比重要的一环。浪潮信息AI团队长期关注AI算法在自动驾驶中的应用,并致力于用软硬件的算法和技术创新推动行业的进步,做出创新性的成绩。最近,浪潮信息在自动驾驶感知权威数据集 NuScenes 评测中,自研算法 DABNet4D 获得 0. 624 的NDS精度,位列Camera-only榜单第一名。
近日,浪潮信息人工智能与高性能应用软件部自动驾驶AI研究员赵云博士,在题为《探索自动驾驶纯视觉感知精度新突破 -- 多相机的时空融合模型架构算法优化》的自动驾驶线上研讨会上,向我们揭开了这一自动驾驶感知算法的神秘面纱。
多相机多任务融合模型优势
自动驾驶汽车完成自动驾驶出行任务,离不开感知、决策、控制三大要素。其中感知系统是车辆和环境交互的纽带,相当于无人汽车的眼睛。根据所用的传感器以及传感器数量和种类等,自动驾驶感知算法可以简单的分为单传感器(单任务和多任务)模型、(同类和不同类)传感器融合模型等四类,并各有其优缺点。
自动驾驶感知的关键是3D目标检测任务,又分为基于相机、Lidar的3D目标检测,以及相机、Lidar、Radar融合等技术。尽管目前对于3D目标检测已经有不少的研究,但是在实际应用中仍然有许多的问题,其难点主要在于:
遮挡,遮挡分为两种情况,目标物体相互遮挡和目标物体被背景遮挡
截断,部分物体被图片截断,在图片中只能显示部分物体
小目标,相对输入图片大小,目标物体所占像素点极少
缺失深度信息,2D图片相对于激光数据存在信息稠密、成本低的优势,但是也存在缺失深度信息的缺点
现有方式大都依赖于物体表面纹理或结构特征,容易造成混淆。
目前,基于相机的方法与基于Lidar的方法准确度差距正在缩小,而随着Lidar成本降低,融合技术在成本和准确度的平衡上存在优势。
基于多相机多任务融合模型的3D目标检测技术正是在成本优势与日益增长的准确度两相促进下得到越来越多的认可。目前,多相机多任务融合模型主要遵循特征提取、特征编码、统一BEV、特征解码和检测头五大部分。
其中,统一BEV 就是鸟瞰图,亦即将图像特征统一投射到BEV视角下,用以表示车周围环境。“统一BEV”的工作可以分为两大类,一种基于几何视觉的变换,也就是基于相机的物理原理,优势在于模型确定,难度在深度估计;另一种是基于神经网络的变换。
浪潮DABNet4D算法三大创新突破
据赵云介绍,浪潮DABNet4D算法遵循上述框架,采用基于几何视觉的变换方法,设计了端到端的模块化整体架构,通过将环视图检测统一到BEV空间,为后续的工作提供了很好的模板。
DABNet4D模型被划分为四个部分,Image-view Encoder,View-transformer,BEV-Encoder,Detection Head。其中Image-view Encoder为图像编码模块将原始图像转换为高层特征表示。 View-Transformer模块负责将图像特征转换到BEV坐标中,主要包括三个模块:深度预测模块、特征转换模块和多帧特征融合模块。BEV-Encoder & Heads主要是对融合BEV特征进行编码;Heads用来完成最终的3D目标检测任务。
创新突破一 数据样本增强
为平衡不同种类的样本数量,浪潮信息AI团队创新研发了基于3D的图像贴图技术。主要是通过从整个训练数据集中根据每个样本的3D真值标签,提取样本数据构建样本数据库。训练过程中,通过在样本数据库中采样获取备选样本集合,按照真值深度值从远至近贴图,并将对应的Lidar数据进行粘贴。
创新突破二 深度信息优化
基于图像的3D目标检测,由于摄像头拍摄的照片和视频是将原有3D空间直接投射至2D平面中,所以会丢失深度信息,由此所面临的核心问题为如何精确地估计图像中物体的深度。针对此问题,浪潮信息AI团队进行了两方面的改进工作:一是建立更复杂的深度估计网络,通过设计更深、更多参数的深度神经网络,以增大深度估计网络的预测能力和感受野;二是采用两层级联深度估计网络结构,第一层估计网络估计的深度作为特征,输入到第二层级联网络中。除了进行网络创新设计优化,在训练阶段也采用深度监督、深度补全、损失函数等优化方法。
创新突破三 四维时空融合
对于自动驾驶车辆而言,它所处的环境更像是一个动态变化的三维空间。为进一步引入车辆所处的动态中的历史,通过引入时间信息进行时序融合,提升velocity预测的精度,实现对暂时被遮挡的物体更好的跟踪效果。对此,浪潮信息AI团队做了以下几点创新:1、更精细的时空对齐操作,使前后帧特征结合的更精确。根据不同时刻车辆的位姿以及车辆、相机、Lidar坐标系的转换关系,获取不同时刻相机与指定Lidar的坐标系的转换关系,进一步减少由于采集车辆自身运动对多帧BEV特征对齐带来的影响;2、从sweep数据帧随机选取作为前一帧与当前帧进行匹配,大幅地增强数据的多样性;3、不同时序帧同步进行数据样本贴图增强,使得速度、转向等预测更精准。
致胜NuScenes自动驾驶评测
本次浪潮DABNet4D算法所登顶的自动驾驶NuScenes榜单,其数据集包含波士顿和新加坡两大城市收集的大约15小时的驾驶数据,覆盖了城市、住宅区、郊区、工业区各个场景,也涵盖了白天、黑夜、晴天、雨天、多云等不同时段不同天气状况。数据采集传感器包括了6个相机、1个激光雷达、5个毫米波雷达、以及GPS和IMU,具备360°的视野感知能力。
NuScenes数据集提供二维、三维物体标注、点云分割、高精地图等丰富的标注信息。目前,基于NuScenes数据集的评测任务主要包括3D目标检测(3D object Detection)、3D目标跟踪(3D object Tracking)、预测轨迹(prediction trajectories)、激光雷达分割(Lidar Segmentation)、全景分割和跟踪(lidar Panoptic segmentation and tracking)。其中3D目标检测任务备受研究者关注,自从NuScenes挑战赛公开以来至今,已提交220余次结果。
浪潮DABNet4D算法在训练与评测过程中使用的底层硬件支撑是浪潮NF5488A5 AI服务器。开发过程中,模型在训练集上进行单次训练运行 20 个 epochs(without CBGS),需要耗费 约360 个 GPU 小时。
而为了满足此类算法超高的AI算力需求,浪潮信息提供集群解决方案,采用 Spine-Leaf 的结构进行节点扩展,集成超 2000 GPU 卡集群,达到 90% 的扩展性。同时,该评测也是在 AIStation 的平台基础上进行开发,有效加速了浪潮DABNet4D算法的开发与训练。
自动驾驶技术发展撬动AI算力需求爆发
自动驾驶技术感知路线之争一直是行业关注的焦点,虽然特斯拉纯视觉方案在业内独领风骚,但多传感融合方案被业内视为实现自动驾驶安全冗余的关键手段。
为了更好的衡量3D检测效果,其评价指标已经从原来的2D的AP已经逐渐变为AP-3D和AP-BEV。在数据集的选择上也从KITTI逐渐变为更大和更多样的NuScenes数据集。
未来,基于LiDAR、相机等多源感知融合算法将有力地提升模型的检测精度,同时,Occupancy network、Nerf等先进算法模型也会逐步应用于自动驾驶感知模型的开发与训练中。
自动驾驶数据量急剧增大、自动驾驶感知模型复杂度逐步提升,以及模型更新频率逐渐加快,都将推动自动驾驶的蓬勃发展,也必然带来更大的模型训练算力需求。
【更多研讨会精彩瞬间,请访问“视频号-浪潮数据中心业务-12月9日直播回放】
【撰文/林示】昨天,路特斯科技宣布又从一级市场获得7.5亿美元融资承诺,这都临近在美国纳斯达克完成借壳上市,此时上赶着来“送钱”肯定是非常看好路特斯科技上市后的股价。“送钱”的投资
是什么样的一台车,让编辑部三位同事旷工也要去体验?是硬核越野的外观设计?是可以把车当作游戏厅随意去耍的玩法?还是自由自在的感觉和同价位最强的脱困能力?到底TA们带着探索06干嘛去了?点开视频了解吧!
日前,比亚迪公布了两项历史性数据。一个是,10月比亚迪卖了30.18万辆,首次突破30万辆关口,是首个达此成就的中国品牌。另一个是今年Q3净利润达104.13亿元,这是比亚迪首次实
11月26日,华为和长安汽车双方公布,11月25日签署了《投资合作备忘录》。该备忘录显示,华为拟设立一家从事汽车智能系统及部件解决方案研发、设计、生产、销售和服务的公司,长安汽车拟
大家好,欢迎收看天天资讯,本期为大家介绍,日前,斯巴鲁汽车(中国)有限公司根据《缺陷汽车产品召回管理条例》和《缺陷汽车产品召回管理条例实施办法》的要求,向国家市场监督管理总局备案了召回计划。
小鹏这段时间的心情,应该是挺忐忑。何小鹏和余承东的骂战才刚结束,另一边X9和理想MEGA又再另辟战场。在广州车展前夕,小鹏召开Q3财报会议,何小鹏发话——「X9将成为大型纯电MPV
每年一度的车坛盛宴广州车展即将落下帷幕,广州车展之所以备受关注,是因为正好处于每年的年末,厂家都会发布新车,并且公布未来的计划和发展方向。那么这次车展都有哪些车型,具有影响力呢?问
丰田埃尔法之所以成为“神”,是因为它开创了一个稀有的细分品类,并附加了丰田品牌的势能和明星车的标签。可是“神”总会被替代,而魏牌高山敢于做这个替代者。虽然定位在40万级家庭高端MP
随着新能源市场的快速发展和中国自主品牌的崛起,高端MPV市场成为近年来迅速崛起的新红海,其中无论是商务接待还是家庭出行,能耗低且没有里程焦虑的插电式混动车型,成为位居销量榜前列的常
争议不断!Yoke半幅式方向盘到底是好是坏?你买车会选择它吗?
11月28日至12月2日,首届中国国际供应链促进博览会(下文简称“链博会”)在北京举办。特斯拉以“超级智造,链接全球”为主题,携中国智造的Model 3焕新版、Model Y两款车
中国新能源汽车市场渗透率,持续高位运行。乘联会数据显示,10月新能源乘用车零售销量达到76.7万辆,同比增长38%,环比增长3%,渗透率达到了37.7%,较2022年同期渗透率提升
“一直有鹏友问我们,小鹏什么时候能有一台承载大家庭梦想的车型。一个大家庭需要一台什么样的智能电动汽车,一台好看、好开、好坐、好装的全能产品应该如何打造。之前我也在思考这个问题,在我
四川首家Ford Beyond福特纵横纵享空间——绵阳盛荣长兴盛大启航Ford Beyond福特纵横提供顶级的户外越野产品和体验,丰富多样的个性改装,以及全球化的社群体验,致力于成
捷途品牌,隶属于奇瑞汽车集团,自创立之初,就显露出其对于市场定位的清晰思路。初始阶段,捷途品牌专注于提供经济实惠的七座SUV选项,这一策略在X70、X90和X95等车型的推出中得到
11月26日,全新一代保时捷帕拉梅拉在上海正式首发亮相,新车除了在外观上有些许改变外,同时还搭载了一套全新的底盘控制技术——Active Ride主动悬挂系统。在这项技术的加持下,
特斯拉最近又上新闻了,这次连撞11车,幸好没有严重的人员伤亡,我们之前已经报道过了。比较有争议的地方,是现场的行车记录仪画面,显示了刹车尾灯是亮起的状态。根据车主所言,这台车是一台
11月21日,特斯拉宣布,Model Y长续航版售价上调2000元至30.44万元。值得注意的是,这已经是近一个月内第四次涨价。此前,特斯拉分别在11月14日,11月9日以及10月
日前,汽车焦点从一汽-大众官方处获悉,新款揽巡正式上市,新车共推出6款配置车型,售价区间为27.49-32.59万元,从配置售价表来看,新款揽巡将取消首发版车型,新增黑光骑士版以及