Apollo: 感知模块综述

Perception 模块在自动驾驶系统中扮演着至关重要的角色，感知各个子模块的功能是通过 lidar、radar 和c amera 3 种传感器实现的，每种传感器分别都执行了目标识别和追踪的任务，最后通过 fusion 对传感器的数据做融合，每个传感器都实现了物体识别的功能，摄像头还实现了车道线识别和红绿灯检测的功能，每个传感器执行的任务流程也大概相似，先进行预处理，然后做识别，最后过滤并且追踪目标。

在自动驾驶系统中，感知模块主要负责识别车辆周围的障碍物以及交通标识等，因此感知算法的好坏直接关系到自动驾驶的安全性，如何更快的迭代开发感知算法就成为了关键。在 Apollo alpha 中，对感知模块进行了组件化重构，提供了多种开发模式。当现有功能完全适用于用户的开发需求，可以不需要开发代码，通过修改组件配置或者模型参数实现场景的功能需求；组件开发，当用户的场景需要引入新的需求和其他组件共同完车作业任务，比如增加激光雷达背景分割功能，只需在满足上下游消息通道订阅发布的同时完成相应开发即可；插件开发，例如激光雷达目标检测障碍物过滤组件中我们提供了两种过滤插件方法，如不能满足用户的需求，可以根据提供的插件开发文档进行相应过滤插件开发，通过插件开发方式，开发者可以更加专注于算法本身，而不需要过多关注框架的实现。

Apollo 自动驾驶平台是以高精地图和定位模块作为核心。其他的模块都是以这两个模块为基础。感知模块识别自动驾驶汽车周围的环境，对环境信息和车内信息的采集、处理与分析，也即环境感知，它是智能车辆自主行驶的基础和前提。感知的结果会传递给后面的模块进行使用。

原有的感知框架，lidar、camera、radar、fusion 四部分内容定义在四个模块中。Lidar 和 camera 每个模块内部功能复杂，学习成本较高。感知框架拆分后，模块依赖关系清晰。Lidar 和 camera 的感知流程分为多个模块，依赖关系呈线性状态；radar 和 fusion 的功能在单个模块内，功能如框图所示。感知新框架下，lidar 和 camera 相比之前每个模块功能更加轻量化，更有利于二次开发。每个组件都可以单独启动调试。

Apollo 9.0 根据功能对模块做了进一步的划分，使得每个组件的功能更加聚焦，方便按需选择对应的模块进行优化升级，下面是整体的目录说明：

目前 Apollo 采用组件的方式按需使用，同时为了方便扩展，例如更换模型，采用插件的方式来添加新的模型。

激光雷达检测用于 3D 目标检测，它的输入是激光雷达点云，输出为检测到的物体的类型和坐标。开发者关注较多的是pointcloud_map_based_roi、lidar_detection 和 lidar_detection_filter 三个组件。其中 pointcloud_map_based_roi 会涉及相关的 roi 过滤规则，lidar_detection 组件是目标检测过程中模型部署相关内容，Apollo 和 paddle3D 已经打通模型训练部署至 apollo 全流程，后续课程实践也会涉及该方面内容。Apollo lidar 感知模块提供 4 种目标检测模型，开发者可以根据配置文件，选择不同的检测器，来验证检测效果。通过最新的算法插件，开发者更加专注于算法本身，而不需要过多关注框架的实现。lidar_detection_filter 组件为检测障碍物过滤相关功能。激光雷达跟踪用于追踪上面检测到的 3D 目标对象，它的输入是激光雷达点云检测结果，输出为跟踪到对象的 ID。

camera 检测流程中，开发者的关注重心在 camera_detection_multi_stage、camera_detection_single_stage 以及 camera_tracking 组件，其中 camera_detection_multi_stage 和 camera_detection_single_stage 组件设计 2D、3D 模型部署、预处理等功能，开发者可以针对性的替换模型和开发相关功能，camera_tracking 中功能整体性较强，开发者可以针对相应的追踪策略修改组件中的配置项。camera_detection_multi_stage 检测流程输出的是 2D boundingbox，相比于 camera_detection_single_stage 组件直接输出3d检测结果，多了将 2D 信息转换成 3D 障碍物信息的过程。

多传感器融合模块对多个传感器的检测结果做融合。它的输入是 lidar、camera、radar 检测目标结果，输出是融合后的结果。其中列举几个重要基类的作用：BaseFusionSystem 相当于融合模块的入口，会初始化 ProbabilisticFusion 概率融合算法，BaseTracker 更新追踪到的轨迹状态，BaseGatekeeper用于判断是否发布追踪到的障碍物到最终通道中。

多传感器融合组件功能详细功能框图如下所示：

radar_detection 是一个完整的功能组件，其中包含预处理、检测、追踪以及相应过滤功能。

红绿灯检测流程开发者关注 traffic_light_detection 和 traffic_light_recognition 这两个组件，分别对应红绿灯检测和识别功能的模型部署等。

目前提供可以直接下载的 record 包有以下 2 种。

当然 Apollo 还提供了数据集转 record 的工具，方便开发者把开源数据集的数据转成 record 在 Apollo 中进行测试。工具的名称为adataset，支持的数据集有 KITTI、nusense。

Apollo 提供预训练好的模型，用户可以通过 amodel 工具来下载和管理模型。开发者可以通过该工具下载安装模型仓库中的模型，展示系统中已经安装的模型和模型的详细信息。通过对模型进行标准化和模型管理工具，开发者可以非常方便的安装部署训练好的模型，并且管理这些模型，实现模型部署效率提升。

例如：要安装模型：

查看当前系统中有哪些模型：

当前已经支持模型下载地址：

如果您在使用文档的过程中，遇到任何问题，请到我们在【开发者社区】建立的 反馈意见收集问答页面，反馈相关的问题。我们会根据反馈意见对文档进行迭代优化。