摘要:为解决制鞋行业中喷胶精度不高、灵活性差、生产效率低的问题,设计一种基于机器视觉的鞋模喷胶系统。该系统硬件由工业摄像头、工控机及路由器构成,软件则采用图像识别库OpenCV与图形界面应用程序开发框架Qt编程实现,并部署在Linux操作系统上运行。经实际测试,该系统可针对不同类型鞋模喷胶,具有较高的灵活性,对于位置摆放不一的鞋模亦可喷涂,精确度高,达到了提高制鞋企业生产效率、节约成本的目的。
加入收藏
引言
我国是制鞋大国,为全球鞋业市场提供60%的鞋类产品。随着“中国制造2025”的推进,工业机械手在制鞋行业中得到广泛运用。喷胶在制鞋行业中是一道重要工序,很多制鞋企业在生产过程中运用工业机械手进行喷胶。目前,大部分鞋业制造商采用编程鞋模示教的方式驱动机械手操作[1],该方式存在精度不高、灵活性差、生产效率低的问题。因为每次手动示教需要的时间较长,鞋底种类繁多,所以示教的效率较低。另外,由于在实际生产过程中,鞋底摆放位置不一,且编程示教容差相对较小,因而喷涂精度不高,从而导致制鞋企业生产效率低下。
随着电子和物联网技术的快速发展,计算机运算速度突飞猛进,图像处理已在工业中获得广泛运用。与此同时,工业机械手在制鞋行业中也已得到大力推广与应用。如何把两者有效地结合,并寻找高效的解决方案,是该行业的一大热点。本文设计一种基于机器图像处理的鞋模喷胶系统,该系统可灵活地驱动机械手喷胶,还可处理不同类型的鞋底,且具有容差大、精度高等特点。使用该系统可提高制鞋企业的生成效益,促使传统制鞋企业逐渐向智能工厂转型,从而提升我国制鞋行业的自动化水平。
1、系统总体设计
1.1总体结构
本文鞋模喷胶系统的硬件主要由两台工控机、一台路由器及一个工业摄像头组成。为控制成本,该机器CPU采用Intel奔腾J2900芯片,主频为2.41GHz,搭配2GB内存空间,硬盘采用Sandisk/闪迪MSATA3SSD16GB。从整体上看,该机器具有较高性价比。路由器则使用适合稳定传输较大图像的水星MW315R300M型号机器。另外,工业相机选取GigE网线传输图像的BasleracA2500-14gm相机。各机器用途如下:
(1)工控机1,用于搭载鞋底喷胶示教软件;
(2)工控机2,用于运行图像处理组件,进行图像识别计算处理;
(3)路由器,用于传输转发数据;
(4)工业相机,用于拍摄鞋模图像;
(5)机械手,用于喷胶。
另外,整套系统的软件组件均部署在具有以太网功能的Ubuntu14.04操作系统上。本文系统的软件组件主要包含两部分:图像处理组件,该组件需要安装图像识别库OpenCV2.4.13,用于对鞋模图像进行识别计算处理,以提取鞋底轮廓;喷胶示教组件,该组件由图形界面应用程序开发框架Q编程实现,主要用于展示鞋模轮廓,指引机械手按照轮廓进行喷胶处理。
基于机器视觉的鞋模喷胶系统总体结构如图1所示。
图1系统总体结构图
1.2工作流程
针对本文设计的机器视觉鞋模喷胶系统,在第一次运行时,用户需将棋盘格置于工业摄像头下方,用于相机标定。后续运行中,机器传送带上的硬件装置不断触发摄像头拍照,并将所获取的图像传送至图像识别端。图像识别端在获得图像后,通过算法提取鞋底轮廓,然后将其相机坐标转换成世界坐标,再通过TCP/IP协议将轮廓数据发送至喷胶示教器。示教器接收完数据后,在其界面上显示鞋底轮廓,最后示教器按照鞋底轮廓指引机器手进行喷胶处理。系统工作流程如图2所示。
图2系统工作流程图
2、系统实现
2.1相机标定实现
相机标定的目的是将图像像素点的横纵坐标转换成机器手可以识别的世界坐标[2]。该功能由图像处理组件与工业摄像头协同完成。在摄像头采集黑白分布明显的棋盘格图像并传送至图像处理组件后,由图像处理组件中的算法获取棋盘格图像中的角点信息与世界坐标,再根据这些数据计算可得相机内参系数、外参系数、图像旋转向量及图像位移向量。通过图像旋转向量与图像位移向量即可得到相机坐标到世界坐标的转换参数,从而实现坐标转换[2]。
其中,角点识别由图像处理组件中的角点检测算法(Harris Corner Detection)完成[3]。该算法的主要流程是取某个像素的一个邻域窗口迭代像素点,观察窗口内平均像素灰度值的变化。已知在图像的平坦区域,角点的所有方向没有灰度变化;而在图像边缘区域,角点则在某个方向有明显的灰度变化。当窗口沿着边缘区域迭代到角度边缘,如发现窗口各方向的平均像素灰度值有明显变化时,即认定该窗口所覆盖的区域为图像上的角点。根据上述算法实际测试,可得到棋盘格的角点如图3圆点所示。
然而,上述算法找到的角点只能达到像素级别,为了使标定参数更加精确,本文采用拟合法进一步提取亚像素角点信息[4],通过拟合法将角点信息锁定在像素点后两位,实际测试获取的精确角点像素信息如图4所示。另外,角点世界坐标由世界坐标转换算法按照棋盘格格子大小与数量产生的序列网状坐标点获得[5]。
图3棋盘格角点图
图4角点精确像素信息
2.2图像识别实现
为了使图像的轮廓像素更易传输,本文采用点云数据处理技术。同时,为了减少干扰信息,本文系统将待处理的图像从彩色图转换成灰度图。另外,为了使图像更加圆滑且轮廓清晰,本文系统采用均值滤波对图像进行模糊化处理,实际测试处理后的图像如图5所示。
图5经过均值滤波后的鞋模
为进一步提取图像的关键内容,本文采用二值法[6]。该方法主要由选定的阈值来确定图像黑白场,公式如下:
公式
式中:255表示白场;0表示黑场;val与dst分别为转换前后的灰度值;thresh为选定的阈值。
图像经过二值化处理后,大致可提取鞋模轮廓,但仍有一些凹凸不平的花纹。为了消除这些干扰,本文系统采用漫水填充操作[7]。具体做法为:选取图像中的背景点,并找到其连通区域,对其进行取反即可得到漫水填充图,具体如图6所示。
图6处理过程的鞋模图
将二值化处理后的鞋模图取反再叠加漫水填充后的鞋模图,并采用Canny算法即可检测出鞋模轮廓[8],结果如图7所示。
图7鞋模轮廓图
获取鞋模轮廓后,将其相机坐标转换成世界坐标,并通过网络传输协议将轮廓数据发送至示教客户端。
2.3示教客户端实现
示教器客户端包含客户端连接设置、确认鞋模与示教机械手三大功能。
在连接设置中,用户可设置目标服务器(图像处理组件)的IP与端口。该功能实现的主要原理是Socket通信。首先,服务器端先初始化Socket,然后与端口绑定(Bind),并对端口进行监听(Listen),再调用阻塞函数Accept,等待示教器连接。当用户设置完服务器IP与端口后,点击连接服务端按钮,示教器客户端随即初始化一个Socket,然后连接服务器(Connect)。如果IP与端口设置正确,即可成功连接上服务器,当图像处理端有识别好的鞋模轮廓数据会立即传输至示教客户端。
在确认鞋模的功能中,可实时显示鞋模轮廓的世界坐标,该功能采用绘点控件实现。控件的主要功能是将获取的点全部显示在控件上,控件内部有一个点数组成员。初始化控件时,主线程获取保存的点信息,并将其存入点数组成员中。程序运行过程中,点数组会一直被清空再重新被赋值,同时控件也通过Update函数进行刷新,最终用户可在图像空间看到获取到的鞋模轮廓图,示教器客户端如图8所示。
图8示教器客户端图
示教机械手的主要功能是使喷胶示教器通过TCP/IP协议将鞋底轮廓世界坐标数据发送至机器手,机器手根据这些坐标数据运动进行喷胶处理。
3、结语
从制鞋行业出现的主要问题出发,本文提出了一种基于机器视觉的鞋模喷胶系统设计方案。该系统能够灵活处理不同摆放位置的鞋底,同时增高旋转的角度容差,从而提升鞋底喷胶的精度。另外,由于不需要对鞋底编程示教,因此系统的整体灵活性得到了显著提高。另外,整套系统人机交互界面整洁,方便用户操作。目前,在国家对中国制造与智能工厂的倡导下,本文系统已得到大力推广。当然,在图像识别时还存在一些不足,如有噪点影响时需要人工干预,全程自动化将是本文系统今后改进的方向。
参考文献:
[1]王晖,黄新栋,刘军辉.复杂鞋模的三轴加工及专用组合夹具设计[J].模具制造,2011(12):66-69.
[2]李盛前.基于视觉技术的水下焊接机器人系统研究[D].广州:华南理工大学,2016.
[3]高晶,吴育峰,吴昆,等.基于角点检测的图像匹配算法[J].仪器仪表学报,2013,34(8):1717-1725.
[4]张东晓,鲁林,李翠华,等.基于亚像素位移的超分辨率图像重建算法[J].自动化学报,2014,40(12):2851-2861.
[5]李璐璐,赵文川,伍凡,等.摄像机标定中的特征点提取算法研究与改进[J].光学学报,2014,34(5):179-186.
[6]姚萌,贾克斌,萧允治.基于关键区域的二值化场景特征快速提取方法[J].计算机工程与应用,2018,54(6):14-18.
[7]陈佳鑫,贾英民.一种基于漫水填充法的实时彩色目标识别方法[J].计算机仿真,2012(3):4-9.
[8]杨先凤,吴媛媛,赵玲.基于Canny改进算子的油管裂纹检测算法[J].计算机工程与设计,2018,39(3):798-803.
[9]钟允晖.面向制鞋喷胶的机器人运动控制研究及其系统开发[D].杭州:浙江工业大学,2012.
[10]孙磊.注塑鞋底铝模具的设计及制造技术研究[D].大连:大连理工大学,2017.
陈俊仁,高凤强,熊魁.基于机器视觉的鞋模喷胶系统设计与实现[J].物联网技术,2019,9(05):40-42.
基金:福建省教育厅人才计划项目(闽教科[2018]47号);漳州市科技局项目(ZZ2017J34)
分享:
糖尿病是一种以胰岛素分泌不足或胰岛素功能障碍引起的一种代谢性疾病。而糖尿病足则为其最常见的并发症,严重则会造成致残获致死,危害性巨大。而随着近几年的病患数量逐年剧增,糖足的发生率也逐年增多,尽早的预防足部疾病的恶化,从而减少溃疡的发生也进一步避免截肢的风险。糖尿病在早些时期的预防和日常生活调养十分重要。
2021-03-16伴随国民经济水平不断提高,物质生活得到显著的改善,审美需求发生较大的转变,人们对现代鞋靴设计提出了更高要求。近年来,鞋靴已经成为彰显个人审美的媒介,在市场发展中收获了越来越多的消费者。将传统元素图案运用于现代鞋靴设计中,不仅满足了现代审美需求,同时有利于开创现代鞋靴设计的新风格。
2021-01-20大量实体店受到冲击,实体鞋业也受到影响,面临着转型升级的瓶颈。对于消费者而言,买鞋并不能只靠线上购物即可完成,鞋子的大小、脚感、舒适度需要消费者实际的体验。在线上消费场景无孔不入的今天,如何将线上与线下场景更好的链接,为消费者营造更优质的体验?这是一个亟待解决的问题。
2020-09-19目前,大部分鞋业制造商采用编程鞋模示教的方式驱动机械手操作[1],该方式存在精度不高、灵活性差、生产效率低的问题。因为每次手动示教需要的时间较长,鞋底种类繁多,所以示教的效率较低。另外,由于在实际生产过程中,鞋底摆放位置不一,且编程示教容差相对较小,因而喷涂精度不高,从而导致制鞋企业生产效率低下。
2020-07-02随着轮滑运动的蓬勃发展,轮滑鞋也逐渐受到人们的青睐,特别受到青少年群体的欢迎。尽管轮滑鞋有上百年的历史,但其产品标准却存在发展滞后的情况,GB20096-2006《轮滑鞋》产品标准在2006年5月才发布并实施,制造企业鱼龙混杂,不乏一些企业追求利润,降低产品质量,以次充好,给消费者带来巨大的风险隐患。
2020-07-02健身运动对人的好处不言而喻,其中跑步可以说是一种主流的运动方式。运动鞋是健身锻炼时不可或缺的装备,随着健身运动的流行,其销量大幅增加。运动鞋帮面和内垫常用的材料主要包括天然皮革、合成革、织物等。脚部产生的汗液在运动的过程中对鞋帮面、内垫及内底材料均会产生一定损伤,从而影响鞋子的舒适性。
2020-07-02随着现代生活的提高,人们对高品质的鞋履要求也越来越高;尤其是全手工制作的鞋履,固特异工艺是因发明“固特异沿条结构制鞋技术”的查尔斯.固特异爵士而得名。固特异工艺在际华三五一三工厂有着悠久的历史;不仅用在了军品上,也用在各类劳保鞋上,固特异皮鞋的工艺始终在传承,我公司已将固特异工艺应用在了高级定制鞋中,并对固特异的工艺进行了进一步的创新。
2020-07-02运动鞋的作用主要是确保人体运动过程中脚部始终处于一个恰当舒适的位置,所以需要运动鞋在使用过程中具有良好的耐磨性、支撑性和透气性等。经编间隔织物是一种三维立体结构织物,主要由两个独立编织的表层组织和一种连接两个表层组织的间隔层组织构成,这种三维立体结构使得间隔织物具有优良的抗压弹性和散热透气性,可以满足作为运动鞋材在日常使用中的性能需要。
2020-07-01目前,针对人员安全检查设备如通过式安检门、手持式金属探测器等,该些设备可对人身上携带含金属违禁物品进行检测,但对鞋的检测是一个盲区。针对以上检查盲区我们开发了鞋内安全检测仪,一种针对鞋子进行检查的安检设备,当人立于检测区上方时,它能自动地对鞋子进行实时检测,能够区分出鞋子内部携带金属属性,以确定被测对象是否带有违禁金属物品,达到快速、实时安检的目的。
2020-07-01皮鞋内底部件,被称作“皮鞋的脊梁”,支撑着皮鞋的基本形态。因皮鞋款式的不同,内底部件又有传统内底与现代内底(组合内底、注塑内底)的区别。正是这种区别,才有了内底结构和机械设备的从无到有的发展史。无论传统内底和现代内底,都是从西欧引进的“舶来品”,由此推动了现代皮鞋的发展。
2020-07-01我要评论
期刊名称:皮革科学与工程
期刊人气:1477
主管单位:中华人民共和国教育部
主办单位:中国皮革协会,四川大学
出版地方:四川
专业分类:工业
国际刊号:1004-7964
国内刊号:51-1397/TS
邮发代号:62-185
创刊时间:1988年
发行周期:双月刊
期刊开本:大16开
见刊时间:1年以上
影响因子:0.364
影响因子:1.215
影响因子:0.000
影响因子:0.237
影响因子:0.000
您的论文已提交,我们会尽快联系您,请耐心等待!
你的密码已发送到您的邮箱,请查看!