首页 > 论文范文 > 农业科技论文 > 农业工程论文 > 基于YOLOv8和伪彩色处理的玉米去雄机导航线提取算法

基于YOLOv8和伪彩色处理的玉米去雄机导航线提取算法

2024-10-16 19 上传者：管理员

摘要：抽雄期玉米的去雄打顶是提高玉米产量的重要任务，但该时期玉米的叶片、雄穗和土壤色彩难以分割，这给玉米去雄机的行间导航任务造成了困难。考虑到导航线提取的关键是在农业机械行驶区域内进行作物特征点的检测，故本文通过YOLOv8神经网络自主提取玉米雄穗感兴趣区域(ROI),并在ROI内采用Jet映射和Otsu算法分割雄穗、绿叶和土壤，然后采用FAST角点检测方法提取雄穗特征点并根据导航区域划分特征点集，最后采用最小二乘法拟合作物行检测线。实验结果表明，该算法实现了精确的、快速的玉米抽雄期导航线提取，处理单帧图像(600 pix×700 pix)平均耗时56.7 ms,平均偏差角为1.03°,能够满足玉米去雄机田间导航行驶的需求。

关键词：
ROI
伪彩色处理
作物行检测
农机导航
深度神经网络
加入收藏

玉米是世界三大谷类作物之一，其稳定的生产成为粮食安全的关键任务。随着现代农业的发展，自动化技术广泛应用于玉米农田作业中，农业机械导航是现代农业自动化技术中的重要组成部分[1-4],有望显著降低人力资源成本，提高农业生产效率，同时减轻化学农药对人体健康的潜在危害。

近年来，机器视觉凭借着其计算成本低、适用性好的特点，越来越引起人们的关注，广泛用于田间导航作业。其核心是通过在农机车辆前方加装摄像设备，以实时捕捉农田图像，并利用计算机视觉算法对作物行进行检测并提取导航线引导农用机械自动驾驶。Ji等[5]提出了一种基于随机的基于梯度的Hough变换和多对一合并映射方法的作物行检测算法，相较于传统Hough变换方法能够提高作物行检测速度，但面对作物之间的相互遮挡以及冠层叶片发散严重的情况检测精度较低。宋宇等[6]基于机器视觉提取玉米根茎的特征点拟合导航线，指导农业机器人在玉米行间行走导航。Yang等[7]将图像变换到HSV通道并通过Otsu方法分割玉米雄穗和土壤背景，可以有效的提取玉米抽雄期作物行的特征点并提取导航线，但该方法计算成本太大，难以满足田间导航作业的实时性。韩长杰等[8]采用自适应ROI提取方法和改进的ExG颜色提取算法有效识别率甘蓝作物行，开发了大田甘蓝对行喷雾控制系统。刘成财等[9]采用U-Net深度神经网络对棉花作物行进行学习，提取作物行中心点拟合作物行中心线。Lin等[10]训练了ENet语义分割模型，实现了茶叶行、土地背景和人的像素级自动分类，开发了采茶机导航系统。Adhikari等[11]采用卷积编码器-解码器神经网络学习稻谷行，然后使用学习到的作物行来获得控制信号，指导拖拉机在作物行之间自动导航，方法具有较高的适应性。

对比国内外研究可以发现，基于机器视觉的作物行检测算法已应用广泛，但玉米抽雄期作物行识别线检测仍然是一个困难的问题，主要因为该时期玉米的叶片、雄穗和土壤色彩难以分割。故本文基于YOLOv8神经网络自主提取玉米雄穗感兴趣区域(ROI),接着在ROI区域内进行伪色彩处理将叶片、雄穗和土壤进行分割，然后采用FAST角点检测算法提取叶片特征点，最后采用最小二乘法拟合作物行检测线并计算航向角，引导玉米去雄机实现导航作业。

本文的贡献如下：

(1)采用YOLOv8神经网络预测玉米雄穗的位置，形成ROI区域，减少了图像处理的计算成本。

(2)采用FAST角点检测提取玉米雄穗的特征点，快速拟合出作物行检测线。

(3)构建了抽雄期玉米图像数据库TMI(Tasseled Maize Imageset),验证了本文算法能够满足玉米去雄机田间导航作业的需求。

1、材料和方法

1.1 算法整体流程

本文的算法简单明了，整体流程图如图1所示。首先输入图像，利用YOLOv8神经网络训练的最优模型对玉米雄穗进行检测，根据检测框建立掩码并提取ROI区域。然后通过Jet映射方法和图像二值化处理突出雄穗图像的特征细节。最后在二值化图像中进行角点检测，提取雄穗的特征点拟合作物行检测线，并进一步提取导航线，输出航向角。

图1 算法流程图

1.2 图像采集与算法处理设备

为了验证基于机器视觉分割玉米雄穗和提取导航线的可行性，本文构建了抽雄期玉米图像数据库TMI(Tasseled Maize Imageset),包含1 200张图像信息，涵盖了晴天、阴天、高强度光照、弱强度光照等情况。

TMI数据库的采集地址为安徽省合肥市肥东县(117°28′E、31°52′N)。如图2所示，图像采集设备采用CMOS机器视觉摄像头，采集图像大小为5 472像素×3 648像素，视频帧率为29帧/s, 视频格式为AVI。相机安置高度距离地面垂直高度为3.2 m, 倾斜角度为30°,如图2a所示。因为透视现象，图像上部的作物行分布密集，不利于作物行检测，且导航线提取任务更加关注于导航区域的作物行。本文取农业机械导航区域的图像作为处理对象，去除图像中的冗杂信息，修改图片像素值的大小为600×700 pix, 如图2c所示。

本文提出的算法基于Python3.9实现，Python的编译器为Pycharm Community Edition2022。数据处理机器搭载Intel Core i7-12900k处理器，主频2.70 GHz, 内存64 GB,64位操作系统，显卡为NVIDIA GeForce RTX 3090(24G)。

图2 图像采集方案

1.3 Yolov8神经网络自主提取雄穗ROI

YOLOv8是目前主流的目标检测深度神经网络，整体宏观架构与YOLOv5比较接近，主要分为三个部分：主干、颈部和头部。

(1)主干：

主干网络使用Cross Partial Stage (CSP)的变体，其将特征图划分为用于卷积运算及其输出的单独分量，在保留检测器学习能力的同时，使整体计算复杂度降低。同时其骨干网络的基块使用了C2f模块，C2f模块设计了跳跃连接和额外的分裂操作，丰富了反向传播过程中的梯度流，提高了模型的性能。

(2)颈部：

Neck部分采用PA-FPN结构，同样将Basic Block替换为C2f结构，FPN通过上采样将高层语义特征与底层特征融合，得到用于预测的特征图，PAN与FPN互补，将定位信息从浅层传递到深层，增强多尺度定位能力。

(3)头部：

头部结构为解耦设计，分类和检测过程被分开。同时采用了无锚点的方法，利用对象的中心位置进行定位，预测了它们到边界框的距离，消除了对预锚点的需求。

考虑到以上优点，本文采用YOLOv8神经网络推理玉米雄穗的位置，根据推理的目标框生成掩膜并与原始图像进行位运算，提取ROI区域，为后续处理排除了大量的干扰信息同时也节省了计算成本。ROI提取过程如图3所示。

图3 YOLOv8n网络提取雄穗ROI

图4 ROI提取流程图

1.4 Jet映射分离玉米雄穗

提取了ROI区域后，我们首先对图像进行灰度处理，如图6a所示，但发现此时绿叶和雄穗颜色过于接近，如果直接进行二值化处理，无法将雄穗分离。伪彩色处理能够对灰度值进行彩色值赋予，提高图像辨别力，实现图像增强，在医学、气象等领域被广泛应用。Jet映射是伪彩色处理中常用的算法，由于具有较高对比度，从而可以实现图像细节的突出。对于灰度值在0～255范围映射成Jet模式的对照如图5所示，灰度像素0对应BGR[128,0,0]。进行了Jet映射操作后，雄穗特征变得更加明显，便于后续的图像处理。映射结果如图6b所示。

图5 Jet映射对照图

Fig.5 Jet Mapping Comparison

图6 雄穗特征增强处理

1.5 作物行检测线与导航线提取

在增强了雄穗特征后即可直接对图像进行二值化处理，结果如图7a所示。根据二值化的结果采用FAST角点检测算法提取雄穗特征点，这是一种极快的角点检测方法，尤其在提取了ROI区域后，可以有效排除无关图像信息的干扰，可以达到更高的精度，如图7b所示。这些雄穗特征点被储存在点集M中，随后将ROI分成左右两个区域，在不同的区域内采用最小二乘法对雄穗特征点进行拟合，得到作物行检测线，如图7c所示。导航线即为玉米去雄机行驶区域左右作物行检测线的中线，如图7d所示。

图7 作物行检测线与导航线提取

2、结果和讨论

2.1 深度神经网络训练与评估

为提高神经网络训练的效率，本文采用PASCAL VOC数据预训练模型对网络参数进行初始化，模型优化器为Adam, 初始学习率为0.01,批次处理大小为16,训练次数为300。

在深度神经网络训练过程中，仅用1 200张图像的数据集往往是不够的，容易导致过拟合和鲁棒性差的问题。因此，我们采用了数据增强库Augmentor进行数据增强，包括随机翻转、随机图像旋转(旋转角度：0～25°)、随机缩放(缩放比例：0.3～2倍)、随机亮度变化(变化范围：0.5～1.5倍)、随机饱和度变化(变化范围：0.4～1.6倍)。通过数据增强，我们将数据集扩充到了6 000张图像，有效降低了神经网络对数据的敏感性，提高了泛化能力。最后，为了确保训练的可靠性，我们将数据集以7∶2∶1的比例随机分成训练集、验证集和测试集，训练过程如图8所示。

本文采用mAP(Mean Average Precision) 和 FPS(Frames Per Sencond) 两个指标对模型检测玉米雄穗的性能进行评价，mAP计算公式如式(1)。

式中：P为正确率，R为召回率，TP为正确分类为阳性的样本数量，FP为错误分类为阳性的样本数量，FN为错误分类为阴性的样本数量，AP为每一类的平均精度，N为样本总量。

图8 模型训练

2.2 导航线提取对比试验

为验证本文提取的导航线的精确性和实时性，我们采用精确度(A)、平均角度误差(EA)和每秒帧数(FPS)来评估。在评估精确度时，本文将算法提取的导航线和人工标定的导航线进行比较，若偏角θ小于5°,则视为正确。随便从数据集中抽取300帧图像进行试验，同时与算法一[7]和算法二[12]进行对比，如图9所示。

实验结果表明，本文提出的算法无论在正常光照下和强光环境下准确性和实时性表现都更好，平均角度误差为1.03°,单帧处理时间为56.7 ms, 能够满足玉米去雄机的田间作业要求，算法对比结果如表1所示。

图9 导航线提取对比

表1 不同光照条件下的作物行检测算法性能对比

2.3 航向角提取试验

航向角为机器底盘中轴线与导航线的夹角，用来指导机器在田间行走。当完成导航线的提取后，即可基于机器底盘中轴线Y轴与导航线斜率K计算玉米田间行走航向角δ,计算公式为式(2)。

式中：δ为航向角，K为导航线的斜率，(X1,Y1),(X2,Y2)为导航线上下端点的坐标。

本文从视频中截取了300帧图像进行了导航线提取试验，结果如图10所示。航向角在±2°以内波动，符合玉米抽雄期的生长情况。

图10 航向角输出

3、结论

针对玉米抽雄期的叶片、雄穗和土壤色彩难以分割导致导航线提取困难的问题，本文提出了一种基于YOLOv8神经网络和伪色彩处理方法的抽雄期玉米田间导航线提取算法，首先基于YOLOV8神经网络自主提取玉米雄穗感兴趣区域(ROI),接着采用Jet映射增强雄穗的特征，然后通过FAST角点检测算法提取雄穗特征点以拟合作物行检测线，最后根据作物行检测线提取导航线并输出航向角，可引导玉米去雄机实现自动导航作业。结果表明作物行检测平均准确率97.2,平均角度误差1.03°,单帧处理时间56.7 ms, 满足玉米去雄机田间导航作业的要求。

参考文献:

[1]刁智华,赵明珍,宋寅卯,等.基于机器视觉的玉米精准施药系统作物行识别算法及系统实现[J].农业工程学报,2015,31(7):47-52.

[2]王姗姗,余山山,张文毅,等.基于特征点邻域Hough变换的水稻秧苗行检测[J].农业机械学报,2020,51(10):18-25.

[4]廖娟,汪鹞,尹俊楠,等.基于分区域特征点聚类的秧苗行中心线提取[J].农业机械学报,2019,50(11):34-41.

[6]宋宇,刘永博,刘路,等.基于机器视觉的玉米根茎导航基准线提取方法[J].农业机械学报,2017,48(2):38-44.

[8]韩长杰,郑康,赵学观,等.大田甘蓝作物行识别与对行喷雾控制系统设计与试验[J].农业机械学报,2022,53(6):89-101.

[9]刘成财,黄河,史杨.基于卷积神经网络的棉花作物行检测[J].仪表技术,2021(3):5458+5470.

基金资助:全国重点实验室开放课题,基于多源异构传感器的作物行感知及垄间导航路径动态规划研究(SKLIAPE2023012); 安徽省重点研发计划项目:液态畜禽粪肥多路匀施精量供肥关键技术及装备研发(2022i01020011); 国家级大学生创新训练项目:作物垄间自动对行驾驶系统(202410364035);

文章来源:刘雨杰,郭延超,杨宇昂,等.基于YOLOv8和伪彩色处理的玉米去雄机导航线提取算法[J].拖拉机与农用运输车,2024,51(05):47-51+68.