| 算法升级之4D毫米波解读 | 您所在的位置：网站首页 › 雷达数据分辨率怎么调 › 算法升级之4D毫米波解读 |
算法升级之4D毫米波解读
   本文主要内容毫米波雷达概述4D毫米波雷达介绍Apollo新增4D毫米波雷达驱动Apollo新增4D毫米波数据结构Apollo新增radar4d_detection组件Apollo新增4D毫米波目标检测模型训练代码库毫米波雷达毫米波雷达是工作在毫米波频段（频率30～300GHz，波长为1～10mm）的雷达 与微波雷达相比，毫米波雷达具有体积小、质量轻和空间分辨率高的特点 与红外、激光等光学传感器相比，毫米波穿透雾、烟、灰尘的能力强，具有全天候、全天时的特点 毫米波雷达——必要性毫米波雷达在自动驾驶技术中具有重要意义，其必要性主要体现在以下几个方面： 毫米波雷达的探测距离通常在200-300米之间，这种远距离的探测能力使得毫米波雷达能够及早发现目标，为车辆提供足够的反应时间摄像头测距不准，毫米波雷达、激光雷达可以精确测距毫米波雷达可以直接输出目标的多普勒速度摄像头和激光雷达在恶劣天气下不能正常工作，包括扬尘、雪、雾、暴雨、漆黑及空气污染等各种恶劣天气和环境条件下，相比之下，毫米波雷达可以正常工作激光雷达价格昂贵，毫米波雷达在成本上比激光雷达有优势毫米波雷达在自动驾驶技术中扮演着重要角色，为自动驾驶车辆的安全行驶提供了重要保障   传统毫米波雷达传统毫米波雷达可以称为3D雷达（2D+1D），即其可以探测目标的距离，水平角，Doppler速度（目标相对于主车的radial velocity） 传统毫米波雷达目标检测的缺点主要有以下几点： 角度分辨率不高：对目标的检测只局限于零散的一些反射点，无法对目标的轮廓进行成像，无法输出精确的bbox、heading角；对一些弱反射目标的检测，会存在漏检或误检的情况；传统毫米波雷达的波束较宽，对于小目标的识别能力有限，容易出现漏检的情况缺少高度信息：传统毫米波雷达无法测量目标的俯仰角缺少类别信息：无法输出目标准确的类别（人、自行车、机动车）抗干扰能力有限：传统毫米波雷达的信号处理能力较弱，容易受到干扰和噪声的影响，从而影响目标检测的准确性因此，在自动驾驶等领域，需要更高性能的毫米波雷达来提高目标检测的准确性和可靠性 传统毫米波雷达检测效果示例：   传统毫米波目标检测pipeline 传统毫米波目标检测性能难以通过算法进行优化 4D 毫米波雷达传统毫米波雷达不能测俯仰角，井盖、减速带、立交桥、天桥、路边金属牌会导致雷达误动作，4D毫米波雷达通过增加纵向天线及处理器，多了俯仰角的测量，可以测量障碍物的高度，过滤天桥、减速带等障碍物，避免雷达误动作传统毫米波雷达角度分辨率低，4D毫米波雷达采用多个发射天线和多个接收天线，之前的毫米波雷达一般拥有12个通道（3发4收），而现在的毫米波雷达可以实现48个通道（6发8收，2级联）或192个通道（12发16收，4级联），通道阵列可以提供1°方位角分辨率和2°俯仰角分辨率，通过实现更高的角度分辨率，形成更密集的点云，能呈现出更多细节信息，如障碍物的形状，弥补了传统雷达难以识别静态障碍物的短板，所以4D毫米波雷达也叫做4D成像雷达，可以使用类似lidar的目标检测方法对点云进行处理，实现精确的目标检测 Apollo新增4D毫米波雷达驱动支持傲酷4D毫米波雷达——Oculii Eagle 驱动输出对应proto：oculii_radar.proto    Cyber_monitor 通道：/apollo/sensor/oculii/PointCloud2  4D毫米波雷达点云效果演示：园区场景（行人）   4D毫米波雷达点云效果演示：路口场景（机动车和非机动车）     Apollo新增4D毫米波数据结构 Apollo新增radar4d_detection组件点云预处理根据输入的message的measurement_time设置frame的时间戳如果message的点云数量大于0，对每个点做遍历：过滤掉值为nan的点过滤掉x、y、z值过大的点对z值进行判断，过滤掉过高的点云由于不同毫米波的rcs返回值存在差异，根据配置去调整偏置计算点云每个点的绝对径向速度，根据定位设备提供的主车速度，通过毫米波外参转换到毫米波坐标系下，投影到毫米波和目标的径向方向上，和雷达测量的目标多普勒速度进行求和，得出每个点的绝对径向速度进而得到了一帧的点云，进行坐标转换后，可以求出这一帧的世界坐标系的点云目标检测pipeline 目标检测网络——PointPillars 利用pillars（垂直columns）的方式将4D毫米波点云转化为稀疏伪图像 使用2D网络进行特征的学习 使用SSD检测头进行bbox的回归训练metrics由于速度特征的存在，并不是所有的数据增强方法都可以使用支持镜像翻转和缩放注意使用好速度特征注意多帧融合由于4D毫米波点数较少，设置参数时注意：每个pillar内的最大点数：10Pillar大小：[0.16, 0.16, 5]参考：《Multi-Class Road User Detection With 3+1D Radar in the View-of-Delft Dataset》 平均速度计算 注意：这里的目标平均速度不同于4D毫米波点云预处理时的绝对径向速度，这里是把每个点的目标多普勒速度从毫米波坐标系转换到世界坐标系，然后与主车的速度求和，是一个三维的向量 Roi过滤 目标跟踪 目标检测结果自行车   行人  机动车   Apollo新增4D毫米波目标检测模型训练代码库https://github.com/ApolloAuto/apollo-model-radar4d  训练部署方法  4D radar 开源数据集开源数据集 Astyx2、RADIal、Coloradar、K-Radar、TJ4DRadSet、VoD    
|
【本文地址】