华为荣获ICRA2020国际自动驾驶3D物体检测挑战赛冠军

【报道】近日，第二届大规模自动驾驶数据集nuScenes挑战赛（Workshop on Benchmarking Progress in Autonomous Driving，ICRA）落下帷幕。

在3D物体检测挑战赛中，华为诺亚方舟实验室与华为Octopus自动驾驶云服务联合团队Noah CV Lab Octopus获得3D检测赛道第一名（mAP：64%，NDS：69%）。

大幅领先第二名CenterPoint（UTAustin）mAP 3.1、NDS 1.5个百分点，超过上届挑战冠军模型mAP 11.4、NDS 5.7个百分点。

参与单位包括：华为诺亚方舟实验室、德克萨斯大学奥斯汀分校、约翰霍普金斯大学、上海交通大学、中科院自动化研究所、卡内基梅隆大学、香港中文大学和商汤科技等世界知名企业、大学或研究机构。

图1：nuScenes挑战3D检测排名（图片来自nuScenes）是nuTonomy于2016年发布的大规模自动驾驶数据集。

它包含多个场景、10,000张图像、400,000个激光雷达扫描和10,000个3D边界框。

其规模精度超过了KITTI、百度ApolloScape和Udacity等公开数据集。

nuScenes不仅需要识别10种物体，还增加了速度、属性等预测。

同时，3D目标检测对于类别差异显着的数据集也更加实用。

通过LIDAR、Camera、RADAR等多传感器数据，使自动驾驶车辆能够检测车辆、行人、障碍物等物体，保证行驶安全，是自动驾驶领域需要解决的核心问题之一。

常见的2D目标检测和检测。

它无法提供感知环境所需的所有信息。

它只能提供目标物体在二维图片中的位置以及对应类别的置信度。

3D目标检测结合了深度信息，可以提供目标的位置、方向和大小等空间场景。

信息，对于后续自动驾驶场景的路径规划和控制至关重要。

在本次挑战中，Noah CV Lab Octopus团队提出了多模态（图像、激光雷达）连续特征融合策略和多模态自适应。

数据增强技术极大地提高了现有3D检测框架的性能。

在3D点云目标检测过程中，难点主要体现在遮挡、远距离/小目标、旋转角度（头部方向）的学习上。

如下图所示，在复杂场景的3D点云目标检测中，左下角是一个停车场。

停放车辆的前方方向不一致，也造成很大的遮挡，尤其是停车场远端的车辆识别困难。

很大。

另外，画面右侧行人和非机动车密布，相互遮挡也不少。

但我们可以看到，华为的3D目标检测算法仍然给出了高度准确的标注结果。

图 2：nuScenes 3D 目标检测结果比较。

2D目标检测在自动驾驶领域也发挥着非常重要的作用。

主要用于交通灯状态识别、交通标志检测、电子眼检测、辅助3D目标检测等任务。

2D目标检测以相机拍摄的图片作为输入，输出是检测目标在图片中的位置和范围。

截至目前，华为Noah CV Lab团队在COCO BBOX检测中稳居第一（年度挑战赛尚未开始），检测准确率mAP为58.8%，领先第二名1个百分点。

图3：COCO检测排行榜排名* COCO的全称是Common Objects in COntext。

它是微软团队发布的一个可用于图像识别的数据集。

它现已成为2D图像标注的标准测试平台，是当前物体识别和检测领域最权威、最重要的基准测试平台之一，它汇集了谷歌、微软、Facebook，以及众多顶尖大学和优秀人才。

国内外创新企业踊跃参与。

* MS COCO数据集总共提供了80类对象实例分割和91类项目分割，超过33万张图像（其中超过20万张带有标签）。

该数据集主要解决目标检测和目标检测问题。

图像之间的上下文关系以及目标在 2D 图像上的精确定位。

华为Noah CV实验室在现有框架的基础上，集成、优化和验证了大量最新的检测框架和模块，大幅提升了基础2D检测框架的性能，并在COCO测试集上实现了SOTA性能。

。

如下图所示，蓝色框是groundtruth，绿色框是模型给出的检测结果。

可以看到，对于图中的红绿灯、较小的杯子和有遮挡的女性手袋，模型都给出了出色的效果。

表现。

图4：COCO 2D目标检测结果对比。

近年来，在自动驾驶的探索上，无论是汽车企业还是互联网企业都付出了巨大的努力，投入了大量的人力、物力进行研发。

华为Octopus自动驾驶云服务为自动驾驶研发企业提供一站式数据服务、训练服务和仿真服务能力。

通过自动化数据处理管道，开发公司可以快速支持自动驾驶算法的训练、模拟和调优。

基于自动驾驶云服务丰富强大的数据处理能力，可实现路测场景自动分类、疑难案例挖掘、数据自动标注等，实现数据集生成效率70%提升，大幅提升缩短自动驾驶的开发周期和成本。

。

对于自动驾驶开发公司来说，数据驱动的机器学习算法已经成为行业主流。

然而，目前基于监督学习的算法需要大量人力进行数据标注，无法有效解决自动驾驶场景中的长尾问题。

依赖人工标注的感知模型训练对于亿级路测数据来说是不可行的。

因此，构建基于2D和3D目标检测算法的路测数据自动标注能力，解决人工数据标注的瓶颈，是推动自动驾驶产业发展的重要一步。

发展的关键一步。

华为诺亚CV实验室一直致力于人工智能前沿技术的研发，涵盖计算机视觉、语音语义、推荐搜索、决策推理、人工智能基础理论等领域。

在自动驾驶方面，华为智能汽车云服务产品部与诺亚方舟实验室组建联合技术团队（诺亚CV实验室章鱼），开展自动化数据识别、传感器融合算法、SLAM/VIO算法、智能决策和推理、路径规划与运动控制、智能交通系统仿真等业务方向的研究。

华为章鱼自动驾驶云服务依托联合团队和诺亚方舟实验室的最新研究成果，优化自研算法，多项算法模型精度达到业界领先水平。

算法的好坏主要通过数据集的测试结果来判断。

自动驾驶中最重要的测试任务包括3D目标检测、2D目标检测、语义分割、实例分割、场景流预测、光流预测、深度估计、目标跟踪等，其中3D目标检测和2D目标检测是几乎所有自动驾驶数据集都会关注的基准任务场景。

3D目标检测数据集包括Kitti、nuScenes、lyft dataset、Waymo open dataset、appllo scape、H3D等，其中nuScenes和Waymo是最重要的测试集。

2D目标检测使用COCO测试集作为基准。

华为选择了业界最权威的开源数据集作为算法验证集进行测试。

通过不断优化算法设计，数据挖掘算法在数据集上实现了SOTA性能，增强华为在自动驾驶数据迭代领域的竞争力。

模型在开源数据集上得到验证后，华为还将在自有数据集上验证闭环数据挖掘系统，构建高质量的亿级数据标注能力，满足量产算法的数据规模要求。

商业环境。

可以说，华为自动驾驶云服务无论是算法性能还是商用能力都处于领先水平。