现代农业机械研究：基于YOLOv7和PSP的火龙果采摘检测方法

在阅读本文前点个关注，每日分享有价值的信息，感谢支持

水果采摘机器人正在成为近年来最热门的话题之一。中国是世界第二大火龙果生产国。如今，火龙果通常通过切割与根部相连的树枝来手动收获，这会导致大量的劳动强度。正在对火龙果采摘机器人进行研究，以实现自动采摘，这可能会大大减少劳动力。

视觉智能对水果采摘机器人至关重要。然而，大多数关于水果采摘视觉系统的研究只关注水果的识别和位置，这对火龙果来说是不够的。火龙果的树枝非常坚硬，这意味着采摘火龙果的唯一方法是将树枝与果实一起切开。

自动采摘火龙果的困难在于，火龙果复杂的姿势使其难以准确找到切割的根部位置。因此，为了实现自动采摘，我们需要开发检测火龙果位置及其根部位置的方法。

用于水果检测的常见方法是传统的基于机器视觉的方法和基于深度学习的方法。前者需要手动提取特征来识别水果，它通常不那么坚固，这使得它很难在复杂的自然环境中应用。近年来，基于深度学习的对象检测算法被广泛认为是有前途的水果检测工具，因为它们具有更好的推广能力，可以分为两类：

一阶段算法和两阶段算法。通常，两级算法的推理速度比单级算法慢，但两级算法的准确性更高。对于拣选机器人来说，拣选效率和拣选准确性都很重要。YOLO和RCNN是单级算法和两级算法的代表，许多研究人员基于这些模型提高了推理速度和检测准确性。

Xu等人提出了一个改进的CBF模块，并用Specter模块取代了瓶颈CSP模块，这提高了YOLOv5s模型的检测精度和检测速度。同样，在训练YOLOv5s时使用了CIoU损失功能，以降低错过检测率和错误检测率。

Yang等人将BCAM引入网络，并在YOLOv5s模型的骨干颈部之间添加了BCAM，从而获得了很高的检测精度。至于火龙果检测，一些研究人员在检测方面做出了相关贡献。例如，YOLOv4的骨干被Mobilenet-v3取代，以检测火龙果，从而减小模型大小并提高速度。

然而，这种方法使模型的平均精度略有下降。Zhang等人<22>提出了一种改进的YOLOv5s，以在不同光线条件下准确检测火龙果。上述这些方法只是对水果进行定位和分类，这很难应用于只采摘一些水果，如火龙果。

为了解决龙果因姿势多样性而自动采摘的困难，这项工作的目标是提出一种根据火龙果生长姿势进行分类的方法，并检测火龙果的头部和根部位置，以确定生长方向并实现自动采摘。我们使用边缘计算机开发了这种方法，并构建了火龙果采摘系统。使用拣选系统，我们还进行了一些拣选实验。

一、材料和方法

1、数据集构建

本文中使用的火龙果图片取自南京市林乐农业果园。用于收集图像的相机是MV-CE200-10UC。它们是在不同的天气条件（多云和阳光明媚）、白天（早上、中午、晚上和晚上）、照明条件（强光、弱光和人造光）和拍摄距离下拍摄的。

在复杂的自然环境中，所有这些图片都使网络模型更加健壮。我们随机裁剪、随机旋转和亮度修改了原始图片以增强数据，在手动消除无效图片后，获得了用于物体检测模型的2458张图片。Labelme软件用于手动标记矩形框区域并生成标签文件。

在随后的采摘实验中，相机被固定在眼睛和手，并安装在机器人手臂的底座上。根据相机视图中龙果的姿势，本文将火龙果分为两类。首先，当火龙果生长在其分支的左侧或右侧时，它被命名为侧面的火龙果（DF_S）。这类火龙果需要检测其位置、生长方向和端点位置，为机械臂的采摘提供基础。其次，当火龙果生长在树枝的正面时，它被命名为前面的火龙果（DF_F）。这类火龙果可以通过直接检测其位置来采摘。

通过使用一些标签文件和原始图片，我们裁剪了所有名为DF_S的火龙果，以训练、验证和测试语义分割模型。数据显示不同时间拍摄的数据集中的一些图片，包括两类火龙果。

2、方法概述

本文提出的方法的流程图如数据所示，可分为以下两个步骤。

第1步：火龙果图像由训练有素的YOLOv7网络处理，以定位水果对象并将其分类为DF_S和DF_F，DF_S被裁剪以进行进一步处理。

第2步：裁剪的图像通过本文提出的PSP-椭圆方法进行处理，以检测火龙果的头部和根部。

3、用于端点检测的PSP椭圆方法

PSP-椭圆方法可以分为三个步骤。首先，来自YOLOv7的裁剪图像首先进入PSPNet以生成分段图像。其次，分段图像通过二元化、形态操作、边缘提取和椭圆拟合进行处理。我们使用拟合的椭圆来计算长轴两个端点的位置，并将两个端点视为火龙果的端点。

第三，以椭圆拟合获得的两个端点为中心，我们从原始图像中裁剪两个K1×K2矩形区域，并使用训练有素的卷积神经网络对矩形图像进行分类，该神经网络可以直接输出一个点是头部还是根。K1和K2是根据裁剪的火龙果图像的大小计算的。

我们在第二步中发现了两个潜在的问题。首先，由少量图像拟合的椭圆将超过分段图像的大小，并影响随后的计算。因此，我们将用0值像素填充分段图像的周围。其次，发现一些噪声点可能会影响椭圆拟合。因此，对于所有拟合的椭圆，我们将用火龙果面积计算它们的IoU；然后，具有龙果面积最大IoU的椭圆是拟合结果。

二、实验环境和培训策略

YOLOv7网络和PSPNet的培训环境如下所示：操作系统是Windows 10，GPU是NVIDIA GeForce RTX 3060Ti，CPU是AMD Ryzen 5 3600X，深度学习框架是Pytorch。

对于YOLOv7网络的培训，我们使用马赛克和混合来增强数据，概率为1.0和0.15。在标签分配中，交集（IoU）阈值为0.2，锚的纵横比阈值为4.0。使用的其他超参数如下：训练纪元为300，训练图像大小为640×640，初始学习率为0.01，卷积内核中的参数根据高斯分布随机初始化。训练最终以最少的验证集损失保存重量文件。

对于PSPNet的训练，用于训练的超参数如下所示：输入图像大小为224×224，训练纪元为100，批次大小为2，重量衰减系数为10-4，初始学习率为10-2，学习率衰减类型为余弦函数，最小学习速率为10-4，优化器为SGD，动量为0.9。在本文中，背景中的像素数和火龙果像素数可能是不平衡的，因此使用骰子损失来减少不平衡样本大小的影响。训练最终以最少的验证集损失保存重量文件。

三、结果

本文中使用的所有评估指标描述如下。

YOLOv7的测试实验中使用了精度（P）、召回（R）、平均精度（AP）和平均平均精度（mAP）。P、R、并集上的交集（IoU）和并集上的平均交集（MIoU）用于PSPNet的测试实验。距离误差（DE）、角度误差（AE）和分类精度（CA）用于PSP-Ellipse的测试实验。

1、YOLOv7的培训和测试结果

使用数据中的数据集，我们训练YOLOv7网络。

如数据所示，训练组中的损失开始下降得更快，后来几乎停止下降。验证集的损失开始下降得更快，当训练达到136个纪元时急剧下降，这表明模型跳出局部最优点，在后期几乎停止下降。

为了验证经过训练的模型具有更好的鲁棒性，对模型进行了测试。测试图像数量为296，DF_S和DF_F的标签数量分别为245和212，非最大抑制的IoU阈值为0.5，输入图像大小为640×640，批处理大小为32。

模型的精度明显低于召回，这意味着模型的分类误差很大。一个可能的原因是，部分水果姿势在两

类之间，很难严格区分。我们还发现，由于训练中有更多的DF_F样本，该模型在检测DF_F方面表现更好。

2、PSPNet的培训和测试结果

我们使用数据集训练PSPNet。培训过程的损失如数据所示。训练集和验证集的损失开始下降得更快，后来几乎停止下降。为了验证经过训练的模型具有更好的鲁棒性，对模型进行了测试。测试图像数量为146，输入图像大小为224×224，批量大小为10。数据显示了测试结果。

如数据所示，我们更关注模型在分割火龙果方面的性能。由于训练中的骰子丢失，所有精度、召回和IoU都达到了非常高的价值。我们还将PSPNet的性能与其他常用的语义分割模型进行了比较，结果如数据所示。

比较实验结果表明，PSPNet的准确性高于其他常用的语义分割网络。与FCN、DeepLabv3、LR-ASPP和UNet相比，PSPNet的精度提高了0.03、0.038、0.045和0.021，召回提高了0.039、0.05、0.072和0.026，联合的平均交点提高了0.021、0.063、0.104和0.014。数据显示了PSPNet分割的图像和火龙果图像的混合结果。

3、PSP椭圆方法的端点检测结果

头部和根部有不同的特征。例如，头部附近可能有花，头部附近的水果形状可能与根部附近的水果形状不同。根部附近总是有树枝。卷积神经网络可以自己学习这些特征，并通过这些特征区分头部和根部。

基于此，我们使用ResNet对端点进行分类，这意味着ResNet在处理两个矩形区域图像后直接输出分类结果。其他一些分类模型也与ResNet进行了比较，以验证其有效性。分类模型是通过在两个端点附近使用一些裁剪的矩形图像来训练的。

为了验证本文提出的PSP椭圆方法的有效性，进行了端到端测试。我们使用200张使用YOLOv7裁剪的地面真实图像进行测试，这些图像被手动标记为端点位置。

关键点回归也是一种检测火龙果终点的方法。我们进行了两种关键点回归方法。第一个是直接回归。这种方法在卷积神经网络的末尾添加了一个完全连接的层，并最终输出四个值，这些值对应于头部和根坐标。

第二个是基于热图。这种方法是以关键点为中心制作圆形热图。离中心点越近，值越大，离中心点越远，值越小。因此，我们训练了ResNet和UNet两种关键点回归方法作为比较实验。结果如表6所示。

四、结论

为了解决火龙果复杂生长造成的采摘困难问题，本文提出了一种火龙果检测方法，包括水果检测和端点检测，使采摘机器人的视觉系统能够定位和确定火龙果的姿势。YOLOv7用于定位火龙果并将火龙果分类为DF_S和DF_F。PSP-Ellipse用于端点检测。

关于龙果检测和端点检测两个关键步骤的竞争算法之间的性能，得出了几项技术发现。在火龙果检测中，YOLOv7的精度、召回和平均精度分别为0.844、0.924、0.932；因此，YOLOv7在所有指标上都优于其他物体检测模型，包括SSD、YOLOv4、YOLOv5、YOLOX和YOLOv6。

在火龙果分割中，PSPNet联合的精度、召回和平均交集分别为0.999、0.943、0.906。因此，PSPNet的性能也优于其他常用模型。在端点检测中，PSP椭圆的距离误差、角度误差和分类精度为39.8像素、4.3°和0.92。与两种关键点回归方法相比，距离误差减少了65.2%和51.1%，角度误差减少了70.5%和47.6%，分类精度提高了119.0%和76.9%。

我们使用本文提出的方法建立了火龙果采摘系统，并进行了果园采摘实验。我们成功地采摘了一些不同姿势的火龙果，这进一步证明了本文提出的方法是有效的。

参考文献：

1、Review of Smart Robots for Fruit and Vegetable Picking in Agriculture. Wang Z., Xun Y., Wang Y., Yang Q.

2、A Method for Litchi Picking Points Calculation in Natural Environment Based on Main Fruit Bearing Branch Detection.Zhong Z., Xiong J., Zheng Z., Liu B., Liao S., Huo Z., Yang Z.

3、Badminton Motion Capture with Visual Image Detection of Picking Robotics. Li C.

4、A Mango Picking Vision Algorithm on Instance Segmentation and Key Point Detection from RGB Images in an Open Orchard. Zheng C., Chen P., Pang J., Yang X., Chen C., Tu S., Xue Y.

5、Recognition and Localization Methods for Vision-Based Fruit Picking Robots: A Review.Tang Y., Chen M., Wang C., Luo L., Li J., Lian G., Zou X.