除草机器人机器视觉关键技术综述与基准（1）

用微信扫码二维码

分享至好友和朋友圈

长三角G60激光联盟导读

据悉，本文回顾了过去30年中提出或构建的典型基于机器视觉的除草机器人，以及一些用于杂草检测的开放数据集。本文为第一部分。

摘要

由于除草机器人在节省劳动力和农药方面的明显优势，它是现代和可持续农业的关键技术之一，越来越受到研究人员和开发人员的关注。近年来已经发表了一些关于基于机器视觉的除草机器人的论文，但是没有明确尝试系统地研究这些论文来讨论机器人除草控制系统的组件，例如视觉导航、杂草检测和定向除草。本文回顾了过去30年中提出或构建的典型基于机器视觉的除草机器人，以及一些用于杂草检测的开放数据集。讨论了基于机器学习（ML）或深度学习（DL）的除草机器人的图像预处理、图像分割、导航线提取和杂草识别等关键技术。为了说明DL算法在杂草检测中的应用，本文提供了杂草对象检测结果，并使用公共数据集对八种基于DL的基线方法进行了比较分析。研究发现，机器人除草控制系统的每个部分仍有许多问题需要解决。由于环境变化和系统复杂性，基于机器视觉的除草机器人仍处于早期阶段。系统综述的结果提供了在除草系统中使用机器视觉的创新趋势的理解，并为未来除草机器人的研究提供了参考。

1，介绍

长期以来，杂草严重影响了农业生产。杂草与作物在田间争夺阳光、水分和养分，导致作物产量和质量下降，给农业经济造成巨大损失。根据公开数据（中国农业部，2019年），2013年至2017年，由于杂草，中国粮食、棉花、石油和其他作物的平均年产量分别减少了5466315吨、86084吨、269913吨和3005109吨。如图1所示，杂草防治面积为10553.2万公顷，杂草受损面积达到9723万公顷。这激发了农业生产和经济发展对杂草防治的巨大需求。在农业技术发展过程中，探索了许多有效的杂草控制措施，如农业控制、植物检疫、锄头除草、生物除草和化学除草。然而，传统的除草方法是劳动密集型和昂贵的；农业化学品的过度使用也造成了严重的环境污染和公共卫生问题。随着农业机械化和信息技术的进步，能够提高除草效率、节约资源、减少环境污染、提高农产品产量和质量的自动除草机器人可以逐步补充甚至取代传统的除草方法。

图1 2013-2017年中国农田杂草危害情况。

田间除草机器人是集环境感知、路径规划、目标识别和动作控制于一体的智能系统。近年来，机器视觉技术发展迅速，取得了显著的进步。最新的机器视觉技术已经应用于农业机器人，这鼓励了除草机器人的进一步发展。此外，随着性能的提高、硬件成本的降低以及识别和控制算法的准确性的提高，构建实用的自动除草机器人成为可能。除草机器人面临各种情况，这增加了除草操作的复杂性。在这个阶段，除草机器人很难在每个除草场景中实现其完整功能。尽管视觉控制除草机器人在国内外得到了广泛而深入的研究，并提出了许多机器人原型和除草检测算法，但该领域的最新研究成果缺乏系统的分析和总结。

本文对除草机器人的研究现状进行了全面的文献综述，为除草机器人相关研究提供参考。通过在各大平台基于关键词如“除草机器人”，“视觉导航”，“杂草检测”，“精准农业”，“深度学习”(DL)和“机器学习”(ML)来搜索和选择相关文献。在对这些工作进行详细分析的基础上，重点介绍了目前流行的DL方法在除草机器人上的应用，并对几种基于DL的杂草检测算法的性能进行了系统评价。

2.基于机器视觉的除草机器人的研究现状

在农业生产中使用除草机器人的巨大经济效益吸引了许多国家的组织和研究人员的注意。随着相关技术的不断创新和研发资金的稳定投入，出现了许多实用机器人原型。此外，由于杂草检测和定位技术在视觉除草机器人中发挥着极其重要的作用，组织和研究人员为作物中的杂草识别做出了巨大的贡献，并发布了相关的杂草图像数据集，推动了杂草检测技术的发展。本节回顾了过去30年中的视觉除草机器人，并总结了用于除草检测的公开图像数据集。

2.1.基于机器视觉的除草机器人

基于机器视觉的杂草控制机器人的研究主要已经在大学和研究机构开始并持续进行。图2总结了自20世纪90年代以来备受关注的典型基于机器视觉的除草机器人。这些机器人可以总结出以下特点和困难。首先，这些机器人主要是轮式移动机器人，配备了视觉传感器，如RGB摄像机、双目摄像机或红外摄像机。因此，拍摄图像的质量取决于配备的摄像机的性能，但应强调提高粗糙地形下的图像稳定性。其次，这些机器人通常应用于植物高度较低的农田，如甜菜、胡萝卜或幼苗，但不能应用于植物高大的农田。此外，杂草控制的质量取决于杂草检测算法的精度和速度。因此，基于机器人视觉的杂草检测算法在现实环境中的鲁棒性应该通过关注这些复杂因素来提高，如杂草的种类、杂草的生长期和光照条件。最后，尽管目前的除草机器人仍处于原型开发阶段，但除草机器人已逐渐商业化，用于农业杂草控制。

图2 典型的除草机器人。

2.2 公共数据集

作物中杂草的检测和分类是除草机器人的主要任务，也是机器人除草技术商业化发展的主要障碍。由于杂草和作物通常具有相似的颜色、纹理、形状和其他特征，因此检测作物中的杂草是一项具有挑战性的任务。目前，基于机器视觉的杂草检测和分类方法通常需要大量的注释数据来进行模型学习和测试。随着研究人员越来越关注杂草检测算法，互联网上发布了公开的数据集，以促进社区发展。

一些示例图像如图3所示。这些数据集可分为具有图像级注释（ILA）、像素级掩码注释（PLA）和边界框注释（BBA）的图像。这些公共数据集大多是ILA和PLA数据集，前者通常用于图像尺度的杂草和作物分类，后者通常用于语义图像分割。相比之下，用于目标检测的公共BBA数据集相对缺乏，尽管基于DL的目标检测算法被认为是目前解决杂草检测问题的最有效方法。在某种程度上，这些数据集提供了在设计和测试杂草检测算法时有用的图像和注释。然而，仍然缺乏用于广泛评估的作物和杂草数据集，如ImageNet或Ms COCO。

图3 公开数据集的样本图像：（a）作物/杂草田间图像数据集，（b）甜菜2016，（c）植物幼苗数据集，（d）胡萝卜杂草，（e）甜菜/杂草数据集2018，（f）叶片计数数据集，（g）CWF-788，（h）深杂草，（i）三叶草图像数据集、（j）杂草玉米/莴苣/萝卜，（k）注释食品作物和杂草图像数据集。

基于机器视觉的杂草检测算法的目标是训练带有注释数据的模型，然后可以用于预测新数据的结果。因此，为了训练有效的杂草检测模型并评估学习模型的性能，数据集通常分为训练数据和测试数据。训练集用于训练和调整模型的超参数。测试集用于对训练集拟合的最终模型进行无偏评估。训练集、验证集和测试集之间的关系如图4（a）所示。保持验证是划分数据集的一种简单而常见的方法，如图4（b）所示。它以一定的比例将数据集拆分为训练集和测试集，例如8:2、7:3、6:4等。数据集拆分比例取决于模型和数据集中的样本数量。对于非常大的数据集，也可以选择99:1甚至更高的分割比。如果数据集相对较小（样本数 /阅读下一篇/ 返回网易首页 下载网易新闻客户端