首页 >
论文范文 >
工程工业论文 >
工程综合论文 >
矿业工程论文 >
目标跟踪算法在煤矿推车预警系统中的应用
摘要：煤矿推车预警系统自动化程度低、功能不完善，罐笼人员超载和滞留监测依旧需要人工操作。为此研发了一种煤矿人员多目标跟踪算法。详细介绍了算法总体设计、图像采集、样本标注、模型训练、目标检测和人员跟踪。推车预警系统使用该算法实时检测入罐人数和出罐人数，出现罐笼超载或人员滞留情况联动闭锁停罐。应用结果表明：该算法可以实时检测入罐人数和出罐人数，准确可靠，罐笼内出现超员或人员滞留可联动闭锁，为煤矿安全生产提供了有力保障。
加入收藏
机器视觉是一门交叉学科，如今发展迅猛，势头最猛的当属计算机视觉算法的研究与应用。近年来，基于深度学习的视觉算法在目标检测、跟踪、理解等领域的应用十分广泛，其中煤矿副立井的操车自动化系统已涉及到机器学习。然而，操车系统中的推车预警系统存在自动化程度低、功能不完善等问题，大多数指标监测仍需要人工查看监控视频实现预警提示，存在效率低、人为疏忽预警不及时的缺点，其中罐笼超员、人员滞留问题尤为突出，极易造成安全事故。因此，罐笼区域检测亟需一种高实时性的人员计数方法，以规避上述风险。针对上述技术难题，将深度学习算法、多目标跟踪算法与应用场景相结合，提出了一种应用在推车预警系统的人员计数方法。该方法可用于煤矿副立井推车区域的人员识别、定位跟踪及统计，填补了人工监测的漏洞，实现了人员统计、监测的实时性。
1、多目标跟踪算法设计
(1）总体设计
多目标跟踪算法可以分为传统方法和深度学习方法两大类。传统方法主要基于特征提取、分类器和滤波器等传统的计算机视觉技术，通过提取外观特征（如颜色、纹理、形状等）来描述目标，通过训练分类器来判断目标是否存在，利用滤波器来估计目标的位置和运动信息。深度学习方法使用卷积神经网络（CNN）或循环神经网络（RNN）等模型，直接学习目标的外观特征和运动信息，从而实现更准确和鲁棒的目标跟踪。
本文采用基于深度学习的多目标跟踪算法，包括图像采集、样本标注、模型训练、人员识别与定位、二次确认、人员跟踪（轨迹定位和目标匹配）、人员统计计数等重要环节，具体流程如图1所示。
图1算法流程图
(2）图像采集及样本标注
人员目标跟踪算法与普通的人员电子围栏检测相比，对图像采集帧率、清晰度、拍摄角度有更高要求。首先需使用有线高清摄像机，不建议使用无线网络，图像传输受网络影响容易丢帧，会造成目标跟踪丢失；其次，为保证目标的运动连续性，图像采集帧率应不低于15帧/s；最后，相机安装角度应垂直向下，视场角不低于90°，在人员拥挤入罐时也需清楚地看到人员的头肩。
对待测样本中需要定位的目标进行类别标注，生成所需的数据集。利用矩形框框出目标，给每个目标添加一个标签，比如煤矿工人的标签为“人员”。针对推车预警场景，首先收集检测区域内目标人员的图像作为样本集进行标注，得到标签Label以及标注框BoundingBox，此处Label具有唯一类别person,BoundingBox结构为（xmin,ymin,xmax,ymax），其中（xmin,ymin）为矩形标注框左上顶点在图像中的像素坐标，（xmax,ymax）为标注框右下顶点在图像中的像素坐标；为方便计算，将BoundingBox转换为（xcenter,ycenter,hrect,wrect），其中（xcenter,ycenter）为标注框中心点，（hrect,wrect）为该标注框的高度与宽度；图像样本与人员标注结果融合，构成训练所需的数据集。应该注意的是只标注头肩，不标注全身。当人与人距离较近时，在相机视野中存在相互遮挡现象，如标注全身则会出现腿部无法看清的问题，从而给后期推理检测带来影响。
(3）模型训练
用标注好的数据集训练深度学习模型，得到用于人员识别与定位的目标模型。深度学习模型包括但不限于YOLOv3或CNN模型。本文使用YOLOv3网络作为目标检测模型。该网络以Darknet 53作为骨架，主要由一系列3×3和1×1卷积层、残差结构构成。卷积层用来提取图像的特征。每个卷积层后增加批标准化和Leaky ReLU激活层来降低差异性、加速收敛和避免过拟合。卷积层还运用特征金字塔网络多尺度的思想，以步长为2的上采样提取深层特征，从而获得更多、更全面的图像特征，最后传输至3种不同尺寸的特征图进行相应物体的置信度和位置坐标预测。数据集的划分比例一般为7∶3或8∶2，也可根据经验或计算来决定。根据损失值loss的收敛情况选择合适迭代次数下的对应模型，然后用测试集进行校验，测试合格后得到目标模型。针对推车预警图像数据，鉴于数据规模较小，将数据集按7∶3的比例进行划分，进行模型训练。
(4）目标检测
将相机采集到的每一帧图像实时传入检测模型，对人员进行识别与定位，得到定位结果以及对应的置信度，并依据该置信度二次确认人员的定位结果。置信度是模型识别结果的可信度，判断检测结果的置信度是否处于预设好的置信区间，若处于置信区间则人员定位成功，否则定位失败，继续定位直至符合置信区间。进行识别与定位时调用TensorRT实现模型的推理加速。TensorRT是一种高性能的深度学习推理优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。
(5）人员跟踪
利用多目标跟踪算法对连续帧中的同一人员进行跟踪定位，获得其对应的行动轨迹。该算法包含卡尔曼滤波和匈牙利算法2个重要环节，前者用来预测下一帧图像中人员的轨迹，后者用来将下一帧检测出的目标与之前的目标进行匹配，从而确认目标身份ID，此时用到了卡尔曼滤波的结果。针对推车预警场景，利用YOLOv3模型获得每帧图像中的人员目标后，采用卡尔曼滤波器预测出下一帧该人员的位置，而后用匈牙利算法进行人员定位的数据关联。
步骤①相机采集推车场景的实时图像，并上传至视觉服务器，将第1帧彩色图像Img1作为输入，利用YOLOv3模型进行目标人员的识别与定位。
步骤②利用第1帧图像中识别出的人员目标初始化卡尔曼滤波器，假设第k帧中第i个人员的状态为ski=(poski,velki),poski和velki分别为第k帧第i个人员的位置与移动速度，那么第k帧图像对应的均值和协方差矩阵分别为sk和pk，则卡尔曼滤波器的状态预测方程为
式中Fk———第k帧的运动系数矩阵。
k初始化为1,poski初始化为第1帧人员定位结果的（xcenter,ycenter),velki初始化为0。利用初始化的卡尔曼滤波器对下一帧图像中人员的位置进行预测，得到预测结果BoundingBoxprde(xcp,ycp,hrp,wrp），即对下一帧中BoundingBox(xcenter,ycenter,hrect,wrect）的预测。
步骤③读入下一帧图像，重复步骤①，得到检测结果BoundingBoxdetect(xcd,ycd,hrd,wrd）。依次计算预测结果与检测结果矩形框的面积交比Rarea，则：
式中Judge1、Judge2———判断矩形边界框是否相交的条件；
W、H———相交部分的矩形的宽和高。
依据Rarea建立二者的关联矩阵，然后利用匈牙利算法找到最佳匹配，并用匹配完成的人员对象数据对卡尔曼滤波器进行迭代优化，根据预测结果和检测结果可以得到高斯分布（μi,εi)(i=0,1），其中μi和εi为高斯分布的均值和协方差矩阵，两者的高斯分布为为预测结果的均值和协方差矩阵，为检测结果的均值与协方差矩阵，所以卡尔曼滤波器的更新方程为
式中K———卡尔曼增益。
更新方程中的为更新的最优估计，和最优估计的协方差矩阵Pk′+1用于第k+2次预测以及迭代优化。利用检测结果更新滤波器，结合步骤②的状态预测方程，得到第k+1帧的Pk+1、sk+1，从而更新第k+2帧图像。第k及第k+1帧图像的运动系数矩阵Fk、Fk+1均可以直接获得。若匹配完成后仍有剩余检测结果未能匹配，则用这些结果初始化新的卡尔曼滤波器。此处剩余的是第k+1帧中识别到但未能和预测结果匹配上的人员。若剩余预测结果未能和检测结果匹配，则认为目标被遮挡或跟踪丢失，并记录帧数；当帧数超过设定的阈值，认为该目标消失或丢失，并移除其对应的卡尔曼滤波器。简而言之，当剩余检测结果没能和预测结果匹配上，则初始化；当剩余预测结果没能和检测结果匹配上，则记录帧数。
步骤④记录图像中识别出的人员位置信息，生成对应的跟踪轨迹；相机依次传回多帧连续的实时图像，重复步骤③；当人员轨迹进入预设区域时，进行计数。
(6）推车预警联动
视觉服务器根据MODBUSTCP协议将人员统计结果上传至PLC端进行联动，若超员，则联动提升机禁止罐笼启动，同时声光报警器提示超员乘罐，LED屏幕显示人员数量，提醒人员规范乘坐罐笼。
2、现场应用
本文提出的多目标跟踪算法已经应用于山东枣庄田陈矿推车预警系统，安装于副立井。该矿提升系统采用双勾双层罐（大小罐，上层提人，下层提物），提升高度412 m，井口到车房距离100 m，大罐入罐人数不能超过37人，小罐入罐人数不能超过20人。在井口安全门处部署摄像机实时采集图像，通过服务器机柜运行算法模型，并与PLC控制端进行数据交互。上井口工控机及下井口防爆计算机作为客户端实现视频监控、数据访问及参数配置。本文算法用于检测入罐和出罐人数：当工人乘罐下井，上井口入罐人数超过指定最大负载人数时则联动PLC进行停罐报警；当罐笼运行到下井口人员出罐时，检测出罐人数，根据上井口入罐人数和下井口出罐人数判断罐内是否有人员滞留，如有人员滞留则联动PLC，停止安全门和罐笼动作，确保上下罐安全。该系统在现场已经稳定运行1 a，有效地提升了矿井提升机运输环节的安全性。现场识别效果如图2所示。
图2识别效果图
3、结语
本文提出的多目标追踪算法通过面积交比判断实现目标匹配，支持YOLOv3、CNN等多种模型。与传统图像识别定位方法相比，该算法适用场景广，不易受复杂背景干扰，鲁棒性强。在推车预警系统中创新性地引入深度学习技术，准确实时地判断罐笼中的人数并在超员时报警，使推车预警系统的自动化程度更进一步，避免了人为因素导致的失误，提高生产效率的同时减少了操车作业中的安全隐患，实现了煤矿副立井操车从自动化向智能化的转变，有效提高了煤矿智能化设备的应用、管理与维护水平，提高了矿井提升机运输环节安全与生产管理信息化和决策智能化水平，实现了以智能设备换人的目标。
参考文献:
[1]王子铭,郭龙真,杨帅.基于深度学习和单目视觉的采煤机滚筒测距算法[J].煤矿机械,2023,44(9):182-186.
[2]周亘儒.副井区域人､车智能管控系统研究与应用[J].内蒙古煤炭经济,2022(12):15-17.
[3]郝友花.罐笼事故分析与安全监控系统的研究[J].内蒙古煤炭经济,2017(16):87+119.
[4]李者.煤矿人员定位系统中对于违章行为的判断技术[J].煤矿安全,2012,43(4):56-58.
[5]黄亮.基于双目视觉的客流统计识别系统[D].上海:上海交通大学,2008.
[6]赵安新,杨金桥,杨浩波,等.基于改进DeepSORT和FastReID的室内多目标人员跨镜识别与跟踪[J].西安科技大学学报,2023,43(3):622-630.
[7]孔祥俊,汪君娜,亓玉浩,等.基于机器视觉的输送带撕裂检测方法[J].煤矿机械,2024,45(1):156-159.
[8]陈光,乔梁,黄晓明,等.基于目标跟踪的行为识别方法研究———以安全帽佩戴识别检测为例[J].黑龙江科学,2023,14(8):50-52.
文章来源:谢海峰,曹世奎,方鹏,等.多目标跟踪算法在煤矿推车预警系统中的应用[J].煤矿机械,2024,45(09):186-189.
分享：
电缆卷筒在可逆多点配仓带式输送机系统中使用时，主要是为其驱动、行走电机、制动闸及操控系统提供电源和控制信号。在配煤行走过程中需使电缆卷筒与配仓带式输送机之间的电缆保持适合的张力和垂度，若卷绕电缆张力过大，会促使机械联接结构变形损坏甚至电缆崩断；若张力过小使卷绕电缆垂落在地，则会有电缆碾压破裂所带来的一系列风险。
2024-11-03
随着回采装备的不断革新，对切眼宽度要求越来越大，导致切眼岔门处巷道悬顶跨度逐步增大，给巷道支护带来了较大难度。可见，深井复杂条件下，以大断面、大跨度为特征的切眼巷道支护是业内研究热点[3-5]。结合姚桥煤矿实际状况，对深部工作面切眼大跨度岔门顶板支护进行了成功实践，为类似条件下巷道支护提供技术借鉴。
2024-11-03
通过对两种物探方法在煤矿中的实际应用研究，发现音频大地电磁测深法和井下瞬变电磁勘探法能较好地应用于煤矿井下积水区的探测，为水害防治工作提供依据，结合实际地质资料能够较为准确地识别出采空区、老窑或工作面前方可能的积水区域，从而有效防范水害事故的发生，保障煤矿职工生命安全。
2024-11-03
近年来，随着赋存条件较好的优质煤炭资源被逐步采出，很多老矿井面临着上层遗留煤炭资源复采的问题。在某些特殊条件下，上行开采能够快速提升矿井的生产能力和新井的建设速度、减少巷道工程量和维护量、缓解采区接续矛盾、延长矿井开采年限。
2024-11-03
随着工业化和城镇化发展的快速推进，水资源紧缺和水污染等问题日益突出，已成为制约区域经济稳定发展的主要瓶颈。矿井水是伴随煤炭开采产生的地下涌水，如何高效利用矿井水，使其资源化，不仅保证煤矿正常生产生活使用，同时解决矿区生态缺水问题现已成为煤炭工业建设项目水资源论证的重要内容。
2024-11-02
镐形截齿作为矿山采掘机械装备破岩落煤的关键性零件及易损件，通常以高强度、高耐磨性、高截割效率、可适应多种不同地质条件等优点被广泛应用。有研究表明，我国每万吨煤消耗截齿400～1300把，以2023年煤炭产能47.1亿t、每把截齿平均价格150元计算，每年因截齿消耗造成的经济损失达到282亿～918亿元。
2024-11-01
薄煤层煤矿分布广泛，储量丰富，针对薄煤层开采过程中面临地质条件差、空间小等问题，采用外牵引链驱动方式将牵引装置安装在工作面两侧可以有效降低机身长度、机面高度，增大过煤、过机空间和通风断面。由于采煤机实际工作环境恶劣，外牵引采煤机在外部载荷作用下整机受力复杂，并且外牵引关键部件受力会出现波动。
2024-11-01
随着矿井资源整合与开采的不断延伸，为了不造成资源浪费，在设计采煤工作面时经常存在沿空巷道，造成工作面沿空顺槽受压变形，影响工作面的正常回采[1-2]。东滩煤矿3311工作面轨道顺槽为沿空顺槽，为保证工作面回采安全，在大量现场调研及以往累计经验的基础上对工作面沿空顺槽支护方案及安全措施进行了探讨[3-4]。
2024-11-01
随着数字化设计制造技术的广泛应用，产品设计从早期的图板绘图、二维CAD绘图、二维为主+三维为辅逐步过渡到三维设计+二维出图阶段。20世纪末，美国波音公司首次提出基于模型定义（MBD）技术。基于MBD的数字化设计与制造技术正逐步成为制造业信息化发展的重要趋势之一。
2024-11-01
煤矿井下由于环境特殊且条件恶劣，GPS等地面应用较多的导航定位系统无法在井下完全发挥作用。无线传感网络（WSNs）因为具有成本低、扩展性强、功耗低等优点，常常被灵活布置在矿井下的各个角落，实现对煤矿机器人的实时定位和状态监控，确保煤矿机器人在执行任务过程中处于安全状态，并及时反馈异常情况。
2024-11-01我要评论
期刊名称：煤矿机械
期刊人气：1881
主管单位：国家煤矿安全监察局
主办单位：哈尔滨煤矿机械研究所
出版地方：黑龙江
专业分类：煤矿
国际刊号：1003-0794
国内刊号：23-1280/TD
邮发代号：14-38
创刊时间：1980年
发行周期：月刊
期刊开本：大16开
见刊时间：1年以上
影响因子：0.463
影响因子：0.673
影响因子：0.642
影响因子：1.307
影响因子：0.480
学术期刊咨询、科普杂志阅读、专利申请方案、课题研究设计、专著挂名咨询、论文下载、文献查询、原创文章检测、SCI实验设计方案等多项服务。
服务热线
您的论文已提交，我们会尽快联系您，请耐心等待！
你的密码已发送到您的邮箱，请查看！
2024-09-02
13
上传者：管理员
