首页 > 论文范文 > 工程工业论文 > 重工业论文 > 机械工业论文 > 基于机器视觉的工件自动分拣系统设计

基于机器视觉的工件自动分拣系统设计

2024-09-02 13 上传者：管理员

摘要：【目的】机械臂自动分拣系统的研究主要集中在机械臂逆运动学求解和目标检测等方面，缺乏系统的整体设计。【方法】以工业机器人ROS系统为中心，既可以搭建由摄像头、机械臂、树莓派系统、HSV颜色识别、机械臂抓取等软硬件组成的基于ROS话题框架的自动分拣系统；也可以搭建由摄像头、机械臂、树莓派系统、PC上位机、YOLOv5目标检测、机械臂抓取等软硬件组成的基于ROS服务框架的自动分拣系统。同时，分别使用YOLOv5、YOLOv7、YOLOv8等算法在同一台服务器上进行模型训练，训练轮次为100轮，并对比了不同检测算法性能。【结果】采用HSV颜色识别的机器视觉系统响应速度快，但对光照环境、工件颜色要求高，系统适应性差；而YOLOv5目标检测识别率高、精度好，具有普遍性，对工件要求低，适合于一般工作场合，但识别速度有待提高。【结论】采用ROS系统部署分拣系统的不同功能模块，可实现工件的集中式识别和分布式抓取，且各节点分工明确，但该系统仍存在深度学习算法的模型对目标识别速度较慢、光照阴影影响识别精度等问题。未来仍需不断优化深度学习、强化学习的算法，提高目标检测的精度和性能，为未来的智能制造、智能生活提供有力支持。

关键词：
HSV
ROS
YOLO
机器视觉
深度学习
加入收藏

在2015年国务院印发的《中国制造2025》计划中，明确提出了智能制造的发展目标和路线图，这标志着我国智能制造进入了一个新的发展阶段[1]。工业机器人是智能制造的核心技术，而工业机器人的主要部件是多关节机械臂或多自由度的机器装置。现代机械臂具有智能感知、智能控制、协同工作等特点，能完成各种复杂的、特殊的任务，可实现降本增效的目标，在智能制造领域发挥着重要的作用。受到工业智能制造的启发，机械臂及其衍生品开始推广到农业、物流、医疗、军事等领域，推动了相关产业的发展和繁荣[2-3]。

随着工业机器人和人工智能技术的发展，机械臂自动分拣系统的研究不断走向纵深。郝晗等针对六自由度机械臂运行缓慢提出了一种基于改进型遗传算法的轨迹优化算法[4]。王森等采用HHFOA算法解决了冗余自由度的双臂协作机器人手臂的逆运动学求解问题[5]。陈志鹏、李琪璐等使用OpenMV、OpenCV和CamShift跟踪算法进行目标定位并完成物料分拣[6-7]。张群燕等提出了一种由树莓派统一控制的物品智能分类抓取机械臂，该机械臂能够对贴有二维码的快递实现自动分拣[8]。陈思宇利用LabVIEW进行颜色识别来设计六自由度的机械臂分拣系统[9]。杨环宇等采用YOLOv4模型研究了五自由度机械臂的柑橘智能识别与采摘[10]。刘博文等采用改进YOLOX算法，实现了猕猴桃机械臂采摘中果实的分类识别与空间定位[11]。

上述学者的研究内容主要是针对机械臂逆运动学求解和目标检测的问题，缺乏系统的整体设计。本文旨在探讨工业厂房或实训车间工业零部件自动分拣系统的设计，以工业机器人ROS系统[12]为中心，一个节点对摄像头采集的图像运用颜色识别、基于深度学习的目标检测算法获取工件的名称和位置等信息，以主题形式对外发布或提供服务。另一个节点获取目标工件的信息，运用逆运动学等相关技术完成机械臂轨迹计算和运动规划，驱动机械臂的控制系统对目标物体进行抓取、移动、释放等操作。本文使用Python作为系统的开发语言，使用长方体（cuboid）和圆柱体（cylinder）作为工业零部件的实验物品。

1、HSV颜色识别分拣系统设计

A.R.Smith在1978年创建了一种颜色空间HSV，它是RGB颜色空间的一种替代方案，H、S、V参数可以反映不同的光照，能够有效地表达人眼对颜色的感知。HSV颜色空间被广泛应用在图像处理、视频分析等领域[13]。本文采用ROS话题框架实现工件的HSV颜色识别、抓取，系统框架如图1所示。

图1 HSV颜色识别分拣系统框架

使用OpenCV库分别获取视野中两种工件不同位置的H、S、V值，将它们的HSV最大值和最小值保存下来，作为识别工件时的两组HSV阈值参数。工件识别节点中，取摄像头一帧图像进行HSV判别。判别方法是计算指定区域内工件分别属于两组HSV阈值的像素点的总数，用两组像素点总数与该区域总像素点总数相除，得到该工件分别属于两类物品的可能性的比值，用两个比值与设定值相比较作为判别依据，如工件属于cuboid类HSV阈值的比值≥设定值时判定属于的cuboid，属于cylinder类HSV阈值的比值≥设定值时判定属于的cylinder，否则不予判定。实验发现，设定值小于0.5时，识别工件既属于cuboid又属于cylinder的比例达到80%，因而无法识别；设定值大于0.9时，识别工件cuboid和cylinder都不属于的比例达到38%，识别率较低。无法判定时输出nothing，可判断时输出为cuboid或cylinder，最后以话题“/msg”发布出去。机械臂抓取节点中，当订阅到名称为非nothing工件时，利用运动学逆解算法进行机械臂的舵机角度计算和运动规划，最后驱动机械臂对目标工件进行抓取、搬运、释放。表1是20次实验中，不同设定值下每类工件识别正确的次数。

表1 不同设定值时识别数据统计

本文的实验环境下，设定值在0.65能较好地识别工件。采用HSV颜色识别的机器视觉系统，要求同种工件颜色一致且单一，不同种类工件颜色区别度大，周围环境光照稳定。因而该系统对环境要求较高，系统适应性差。

2、YOLO目标检测分拣系统设计

早期的目标检测算法主要是AdaBoost、SVM、DPM机器学习方法[14]，精度较差。目前通常使用的深度学习目标检测算法有one-stage和two-stage两大类型，后者精度高、计算量大。YOLO是one-stage目标检测算法，它具有高度的实时性能和较高的准确性，其特点在于它可以一次性完成目标检测和定位，无需单独对图像进行区域限定，广泛应用于视频监控、自动驾驶、智能安防等领域。YOLO版本众多，有v1到v8、YOLOX、YOLO-World、YOLOF、YOLOR、YOLOS等。YOLOv5因能提升检测的性能而被业界广泛使用。

为提高YOLO各版本算法的精确度，需要采集大量工件图片，通过程序在较短时间内用摄像头采集大量图片，图2为采集的部分工件图片。使用LabelImg工具对样本集中每张图片的目标进行标注，这里工件的标签为cuboid或cylinder。

图2 部分采集的图片

按3∶7比例将数据集划分为验证集和训练集。分别使用YOLOv5、YOLOv7、YOLOv8等算法在同一台服务器上进行模型训练，训练轮次为100轮，并预测，结果如表2所示。表2中的mAP@0.5表示IoU阈值为0.5时预测的平均准确率。

由表2可知，5种检测算法都能达到检测精度要求，YOLOv5s算法比YOLOv7、YOLOv8对应系列有着更少的参数量和更快的检测速度，且占用系统资源少，适合嵌入式系统端。将训练好的YOLOv5s模型应用在系统中，同时对多个工件进行目标检测，识别性能较好、响应较快、结果准确。图3为使用YOLOv5s训练模型对多个工件进行检测的结果。

图3 工件检测效果

表2 不同检测算法性能对比

相比于HSV颜色识别，基于深度学习的YOLO目标检测算法会消耗更多的资源，ROS的话题模型不再适合工件分拣系统。基于同步通信机制的C/S模型可节省大量资源，提高系统性能。本文使用分布式ROS架构，服务端部署在虚拟机，客户端部署在树莓派，树莓派通过扩展板驱动机械臂运动，YOLOv5目标检测分拣系统框架如图4所示。

图4 YOLOv5目标检测分拣系统框架

启动ROS集群后，先运行服务端，再运行客户端。将工件放置到摄像头视野中，最后实现了目标检测和抓取。图5是客户端发送请求后收到的响应信息，且实现了机械臂抓取；图6是服务端收到客户端请求后的响应信息，且实现了对工件的识别。

图5 客户端的请求信息

3、结束语

工业零部件的自动分拣系统设计中，对环境稳定、位置固定、色彩单一的工件使用HSV颜色识别进行检测和抓取具有极佳性能，且响应速度快，而采用YOLOv5进行目标检测具有普遍性，对工件要求低，适合于一般工作场合。采用ROS系统部署分拣系统的不同功能模块，可实现工件的集中式识别和分布式抓取，且各节点分工明确。实验中发现，该系统仍存在深度学习算法的模型对目标识别速度较慢、光照阴影影响识别精度等问题。但随着人工智能技术不断发展，基于机器视觉的机械臂自动分拣系统的研究将不断深入，对深度学习、强化学习的算法也在不断优化，算法、优化策略的选择能提高目标检测的精度和性能，为未来的智能制造、智能生活提供有力支持。

图6 服务端的响应信息

参考文献:

[1]《智能制造发展规划(2016—2020年)》正式发布[J].电子政务,2016(12):90.

[2]曹希凡,杨震,刘民进,等.机械臂在猕猴桃加工中的应用研究[Z].咸阳:陕西省农业机械研究所,2021-03-18.

[3]王雨娇.基于机器视觉的工业机械臂自动控制系统[J].流体测量与控制,2021,2(6):37-40+43.

[4]郝晗,文志强.基于改进型遗传算法的六自由度机械臂轨迹优化[J].组合机床与自动化加工技术,2020(12):56-59.

[5]王森,张志献,赵沛洲,等.基于改进果蝇算法的冗余机械臂逆运动学分析[J].机械设计与研究,2022,38(5):47-53.

[6]陈志鹏,徐广涞,陈显扬,等.基于OpenCV的物料分拣搬运机器人的设计[J].计算机技术与发展,2021,31(3):196-200.

[7]李琪璐,路彤,李明宇,等.基于机器视觉的颜色分拣机器人设计[J].单片机与嵌入式系统应用,2022,22(12):54-57.

[8]张群燕,许磊,李相红,等.物品智能分类抓取机械臂[J].电脑编程技巧与维护,2022(2):132-135.

[9]陈思宇.基于机器视觉的六自由度机械臂分拣系统设计[J].内燃机与配件,2022(11):43-45.

[10]杨环宇,黄文静,李义华,等.基于树莓派平台的柑橘智能识别与采摘[J].中南林业科技大学学报,2023,43(8):192-201.