除草机器人机器视觉关键技术综述与基准（1）

本文对除草机器人的研究现状进行了全面的文献综述，为除草机器人相关研究提供参考。通过在各大平台基于关键词如“除草机器人”，“视觉导航”，“杂草检测”，“精准农业”，“深度学习”(DL)和“机器学习”(ML)来搜索和选择相关文献。在对这些工作进行详细分析的基础上，重点介绍了目前流行的DL方法在除草机器人上的应用，并对几种基于DL的杂草检测算法的性能进行了系统评价。

2.基于机器视觉的除草机器人的研究现状

在农业生产中使用除草机器人的巨大经济效益吸引了许多国家的组织和研究人员的注意。随着相关技术的不断创新和研发资金的稳定投入，出现了许多实用机器人原型。此外，由于杂草检测和定位技术在视觉除草机器人中发挥着极其重要的作用，组织和研究人员为作物中的杂草识别做出了巨大的贡献，并发布了相关的杂草图像数据集，推动了杂草检测技术的发展。本节回顾了过去30年中的视觉除草机器人，并总结了用于除草检测的公开图像数据集。

2.1.基于机器视觉的除草机器人

基于机器视觉的杂草控制机器人的研究主要已经在大学和研究机构开始并持续进行。图2总结了自20世纪90年代以来备受关注的典型基于机器视觉的除草机器人。这些机器人可以总结出以下特点和困难。首先，这些机器人主要是轮式移动机器人，配备了视觉传感器，如RGB摄像机、双目摄像机或红外摄像机。因此，拍摄图像的质量取决于配备的摄像机的性能，但应强调提高粗糙地形下的图像稳定性。其次，这些机器人通常应用于植物高度较低的农田，如甜菜、胡萝卜或幼苗，但不能应用于植物高大的农田。此外，杂草控制的质量取决于杂草检测算法的精度和速度。因此，基于机器人视觉的杂草检测算法在现实环境中的鲁棒性应该通过关注这些复杂因素来提高，如杂草的种类、杂草的生长期和光照条件。最后，尽管目前的除草机器人仍处于原型开发阶段，但除草机器人已逐渐商业化，用于农业杂草控制。

图2 典型的除草机器人。

2.2 公共数据集

作物中杂草的检测和分类是除草机器人的主要任务，也是机器人除草技术商业化发展的主要障碍。由于杂草和作物通常具有相似的颜色、纹理、形状和其他特征，因此检测作物中的杂草是一项具有挑战性的任务。目前，基于机器视觉的杂草检测和分类方法通常需要大量的注释数据来进行模型学习和测试。随着研究人员越来越关注杂草检测算法，互联网上发布了公开的数据集，以促进社区发展。

一些示例图像如图3所示。这些数据集可分为具有图像级注释（ILA）、像素级掩码注释（PLA）和边界框注释（BBA）的图像。这些公共数据集大多是ILA和PLA数据集，前者通常用于图像尺度的杂草和作物分类，后者通常用于语义图像分割。相比之下，用于目标检测的公共BBA数据集相对缺乏，尽管基于DL的目标检测算法被认为是目前解决杂草检测问题的最有效方法。在某种程度上，这些数据集提供了在设计和测试杂草检测算法时有用的图像和注释。然而，仍然缺乏用于广泛评估的作物和杂草数据集，如ImageNet或Ms COCO。

图3 公开数据集的样本图像：（a）作物/杂草田间图像数据集，（b）甜菜2016，（c）植物幼苗数据集，（d）胡萝卜杂草，（e）甜菜/杂草数据集2018，（f）叶片计数数据集，（g）CWF-788，（h）深杂草，（i）三叶草图像数据集、（j）杂草玉米/莴苣/萝卜，（k）注释食品作物和杂草图像数据集。

基于机器视觉的杂草检测算法的目标是训练带有注释数据的模型，然后可以用于预测新数据的结果。因此，为了训练有效的杂草检测模型并评估学习模型的性能，数据集通常分为训练数据和测试数据。训练集用于训练和调整模型的超参数。测试集用于对训练集拟合的最终模型进行无偏评估。训练集、验证集和测试集之间的关系如图4（a）所示。保持验证是划分数据集的一种简单而常见的方法，如图4（b）所示。它以一定的比例将数据集拆分为训练集和测试集，例如8:2、7:3、6:4等。数据集拆分比例取决于模型和数据集中的样本数量。对于非常大的数据集，也可以选择99:1甚至更高的分割比。如果数据集相对较小（样本数