摘要:目的:基于改进型You Only Look Once V5(YOLOv5)人工智能开发手术器械识别系统。方法:收集常用外科手术器械10类,包括治疗碗、药杯、弯盘、针持器、血管钳、刀柄、组织拉钩、手术刀片、缝针、棉球。将收集的器械置于同一视野下,随机改变不同器械放置位置和状态,在不同拍照方位、布料背景、光线角度和强弱环境下拍摄照片806张。将拍摄的照片按照7∶3随机划分为人工智能训练组和验证组。采用精确度、召回率、平均精度、平均精度均值和F1得分值等参数比较原始YOLOv5模型和改进模型S-YOLOv5的算法识别性能。结果:与原始YOLOv5模型相比,改进模型S-YOLOv5表现出更高的识别性能,其精确率、召回率、平均精度和F1得分值分别为0.978,0.973,0.926,0.975。改进模型S-YOLOv5对各手术器械的识别准确率均高于原始YOLOv5模型。结论:基于S-YOLOv5的人工智能辅助手术器械识别系统具有较好的分类能力和定位能力,为人工智能辅助手术器械清点提供了初步探索和思路。
手术器械清点是外科手术和操作必不可少的环节,此项工作通常由器械护士和巡回护士配合完成。重复多次、精准无误的器械清点与核对是保证手术和外科操作顺利、安全完成的最基本前提。它在对巡回护士和器械护士提出高要求的同时,也显著增加了人力资源的投入。且在临床工作中,1名巡回护士有时需要管理多个手术间,这在一定程度上制约了手术效率。近年来,随着计算机与互联网技术的快速发展和普及,计算机辅助手术器械识别成为富有前景的潜在可行方案。目前主要存在2种形式的计算机辅助识别方式:1种是基于传统的机器学习(machine learning,ML)方式,另1种是基于卷积神经网络(convolutional neural networks,CNN)模型的深度学习方法(deep learning,DL)。有学者提出了基于机器视觉(computer vision,CV)的器械清点分类方法[1-2],该方法利用形态学骨架提取与像素滑动检索方法确定器械的数量与位置,并将数量与位置作为先验信息预先建立待测物搜索框,再结合模板匹配方法对器械进行分类。缺点主要是泛化性弱,一旦改变了器械种类或样式,就需要重新人工提取特征,依赖专业的知识和复杂的调参过程,而这正好是卷积神经网络的优势所在。新的基于深度学习的图像识别方法也正在研究中[3-4]。本研究基于计算机深度学习,提出了1种将Soft-NMS与You Only Look Once v5(YOLOv5)相结合的改进方案(S-YOLOv5),用于常见手术器械分类和定位。本研究初步探究了基于S-YOLOv5的人工智能辅助手术器械识别系统的分类和定位能力,为人工智能辅助手术器械清点提供了思路和技术支持。
1、YOLOv5算法介绍
YOLO算法的全称是“You only look once”,可以理解为只需要浏览1次就能准确识别出图中物体的类别和位置。它于2016年由Redmon等[5]提出,是最早的单阶段目标检测算法。它将目标检测任务看成回归问题,通过直接处理整张图片来预测边界框坐标、边界框包含物体的类别和所属类别的置信度[6]。经过多年的发展,YOLO算法已经更新至Ⅴ11版本。YOLOv5模型是Ultralytics公司在YOLOv4的基础上进一步改进,于2020年6月9日公开发布。相比于YOLOv4,YOLOv5的速度与精度都得到了较大提升,已成为目前工业界使用的最普遍的检测算法之一。本研究所用的YOLOv5算法版本为6.1,它由3部分构成,整体结构见图1。第1部分为输入端,训练图片输入尺寸为640像素×640像素;第2部分为主干网络,它使用CSPDark Net53网络,从输入图像中提取丰富的信息特征;第3部分为检测层,该部分采用了多尺度进行检测,在特征金字塔网络结构(feature pyramid networks,FPN)后加入1种新的自下而上的路径聚集网络结构(path aggregation networks,PAN),实现了不同尺度特征信息的融合,之后再对生成的3个特征图进行预测。YOLOv5在开源数据集COCO(80类)中有良好预测效果,但是在迁移学习到外科手术器械分类识别任务上检测性能仍需要改进[7]。针对轻度重叠排列、轻度遮挡的器械等问题,有学者应用加速稳健特征算法(speeded up robust features,SURF)提取图像特征信息,采用KD-Tree搜索相似特征矢量,以实现堆叠手术器械的准确识别与定位[8]。本研究在YOLOv5的基础上进行初步改进优化,提出了1种适用于手术器械目标识别的算法模型S-YOLOv5。
图1 YOLOv5_6.1的算法结构图
2、S-YOLOv5算法的改进
YOLOv5默认处理算法为非极大值抑制(non-maximum suppression,NMS)[9],其步骤主要包括:1)将所有矩形框按照不同的类别标签分组,组内按照置信度高低得分进行排序;2)将步骤1)中得分最高的矩形框提取出来,遍历剩余矩形框,计算与当前得分最高的矩形框的交并比(intersection over union,IOU),将剩余矩形框中大于设定的交并比阈值的框删除;3)将步骤2)结果中剩余的矩形框重复步骤2)操作,直到处理完所有矩形框。其主要缺点包括:1)NMS算法是它将相邻检测框的分数均强制归零(即将重叠部分大于重叠阈值的检测框移除),在这种情况下,如果1个真实物体在重叠区域出现,则将导致对该物体的检测失败并降低算法的平均检测率;2)NMS的阈值不太容易确定,设置过小会出现误删,设置过高又容易增大误检。由于本研究中涉及一定程度的物品重叠问题,故采用Soft-NMS算法[10]进行改进。Soft-NMS在进行非极大值抑制的同时,兼顾考虑了得分和边框之间的重合程度,因此更适合本研究。
3、实验结果与分析
3.1实验环境
本研究的处理器为Intel®Core TM i7-8700 CPU@3.20 GHz,32 GB运行内存,显卡为NVIDIA GEFORCE GTX 1070,操作系统为Windows 10,64位。整个实验基于深度学习框架Pytorch 1.10,实验环境是Python 3.8,GPU加速软件为CUDA10.0和CUDNN7.5.
3.2试验数据集
由于目前尚没有公开的手术器械图片数据集,本研究选择性收集最常用到的10类手术器械,参照既往文献报告,数据集被命名为SID10[11]。通过数据增强(几何变换和光学变换)增加数据集中图片数量,另外通过扩增物品数量相对较少的类达到类间平衡。主要用到的拍照方法为:在同样焦距条件下,改变拍照方位、光线角度、强弱、布料背景、器械开合状态、器械正反放置状态以及不同物品的随机组合,以尽可能确保图像所包含的特征信息的丰富性和平衡性,本研究共收集806张图片。
使用开源软件Lable Img进行人工打标签(YOLO格式)的方式英文标注10类物品,包括:治疗碗(bowl)、药杯(cup)、血管钳(forceps)、弯盘(kidney dish)、持针器(needle holder)、组织拉钩(retractor)、手术刀片(scalpel)、刀柄(scalpel handle)、缝针(suture needle)、棉球(tampon)。
3.3评测指标
为了验证S-YOLOv5改进算法的性能,本研究主要使用指标为精确度(precision,P)、召回率(recall,R)、平均精度(average precision,AP)、平均精度(mean average precision,m AP)和F1得分值(F1 score)。具体计算公式如下所示:
精确度定义为真阳性率(TP)与真阳性率(TP)及假阳性率(FP)和之比,如式(1)。召回率定义为真阳性率(TP)与真阳性率(TP)及假阴性率(FN)和之比,如式(2)。m AP是对所有类别的平均精度(AP)求取均值后获得,如式(3)(4)。F1得分值是综合考虑精确度和召回率的调和值,如式(5)。m AP@0.5即将交并比Io U设为0.5时,每个类别下所有图片的平均AP。m AP@0.5:0.95表示在不同交并比阈值(0.50~0.95,步长0.05)时的平均m AP。
3.4模型训练
本研究按照7∶3的比例将数据集随机划分实验组(579幅图片)和验证组(227幅图片)。输入图像尺度为1 280×1 280,批训练数据量为4,训练动量为0.937,初始学习率设为0.01,权重衰减为0.000 5,训练过程持续了300轮,采用随机梯度下降(stochastic gradient descent,SGD)作为优化函数对模型进行训练。本研究训练的模型分别是YOLOv5和改进模型S-YOLOv5,以对比两者的性能差异。
3.5实验结果分析
使用改进后S-YOLOv5模型在数据集上进行实验。实验得到的P-R(precision-recall)曲线见图2,其横轴是召回率,纵轴是精确率。基于S-YOLOv5的各类别手术器械的F1曲线见图3,基于S-YOLOv5的各类别手术器械的混淆矩阵图见图4。由图2中的P-R曲线和图3中的F1曲线可知,曲线越靠近坐标(1,1)位置,算法的性能越好。由图4混淆矩阵图可知,除了缝针误检稍高,其他分类识别准确率都较好。
实验得到的算法性能结果见表1。由表1可知,改进S-YOLOv5算法的精准率、召回率、m AP@0.5:0.95和F1值分别为97.8%、97.3%、92.6%和97.5%。从表2可以看出,改进后算法的平均检测精度m AP@0.5:0.95有明显的提升。特别是对长条形的刀柄、尺度较小的手术刀片和缝针的平均检测精度提升较大,分别提升了3.9%、2.4%和2.4%。
图2基于S-YOLOv5的各类别手术器械的P-R曲线
图3基于S-YOLOv5的各类别手术器械的F1曲线
3.6检测结果
YOLOv5算法和改进S-YOLOv5算法上的检测效果差异见图5。从对比图中可以明显看出,原始YOLOv5算法将血管钳检测错误,但改进S-YOLOv5算法将此器械检测正确且提高了检测的置信度。
表1 YOLOv5和S-YOLOv5算法模型的主要结果指标比较
表2各手术器械目标m AP@0.5:0.95比较
图4基于S-YOLOv5的各类别手术器械的混淆矩阵图
图5 YOLOv5(左)与S-YOLOv5(右)检测不同种类外科手术器械的结果
4、讨论与展望
YOLOv5目标检测算法可以有效辅助临床护士完成外科手术器械的识别和计数,是值得深入探索的研究方向[12]。首先,YOLOv5的检测精准性高,在手术器械全流程跟踪管理中利用该技术可以准确识别出外科手术器械,从而提升器械核查的安全性;其次,YOLOv5准确识别外科手术器械可以有效提高手术或外科操作效率,缩短病人术前手术器械的核查时间,减少对巡回护士和洗手护士的依赖程度;此外,该技术还可优化手术室器械管理水平及运行机制,提升医疗管理质量。总之,YOLOv5在外科手术器械识别领域具有独特的优势,能够有效简化外科手术核查流程、提高手术效率和质量。同时,它也将成为人工智能辅助手术器械清点的潜在研究方向。尽管如此,YOLOv5在外科手术器械识别中也还存在许多不足,如识别高度重叠排列、高度遮挡、任意旋转角度、长条形状、目标极小的器械等情况尚不准确,未来可能需要更大样本的图片数据进行训练,同时,更多高效、低计算量的优秀算法模型有待开发[13]。因此,需要加强这方面的研究,开发出更高效、准确的改良模型以及更稳定、安全的识别系统,才能真正实现YOLOv5在外科手术器械识别中的应用和普及。此外,随着移动信息化技术的发展,目标检测技术结合个人掌上电脑(personal digital assistant,PDA)移动技术也将可能是未来手术器械质量追踪与数据清点实现信息化与智能化的重要发展方向[14]。
综上所述,本研究结合Soft-NMS算法对YOLOv5进行改进,并利用创建的常用手术器械数据集初步展示了基于S-YOLOv5的人工智能辅助手术器械识别系统的分类能力和定位能力,为人工智能辅助手术器械清点提供了初步探索和潜在思路。
参考文献:
[1]汪睿,苗玉彬.基于改进模板匹配的外科手术器械清点方法[J].机电一体化,2022,28(4):51-57.
[2]张志阳,宋成利,李良,等.基于模板匹配的医用内窥镜影像目标识别算法[J].软件导刊,2020,19(3):234-237.
[3]张文凯.基于细粒度图像分类的外科手术器械识别研究[D].大连:大连理工大学,2021.
[4]路宽.基于深度学习的手术器械图像检测方法研究[D].天津:天津理工大学,2021.
[6]刘振忠,周羿帆,王炎.一种基于图像的手术器械位置检测方法[EB/OL].[2023-08-14].
[7]王巍,白天宇.基于单目视觉的手术器械位姿估计模型研究[J].激光杂志,2023,44(1):32-41.
[8]陈贤儿,梁丹,傅云龙,等.Harris与SURF特征点检测的手术器械机器视觉识别方法[J].传感器与微系统,2023,42(2):118-121.
[13]李润浩.基于深度学习的骨科手术器械检测与识别[D].秦皇岛:燕山大学,2022.
[14]余文静,高兴莲,肖瑶,等.基于PDA移动技术融合手术器械质量追踪与数据清点的实践[J].护理学报,2020,27(2):27-29.
基金资助:湖北省自然科学基金计划项目,编号:2023AFB889;
文章来源:朱俊玲,瞿芳,钱贝,等.基于改进YOLOv5的外科手术器械识别系统的开发[J].护理研究,2024,38(21):3923-3928.
分享:
手术器械清点是外科手术和操作必不可少的环节,此项工作通常由器械护士和巡回护士配合完成。重复多次、精准无误的器械清点与核对是保证手术和外科操作顺利、安全完成的最基本前提。它在对巡回护士和器械护士提出高要求的同时,也显著增加了人力资源的投入。且在临床工作中,1名巡回护士有时需要管理多个手术间,这在一定程度上制约了手术效率。
2024-11-07当今社会发展迅速,科技的不断进步和创新推动了医疗器械领域的快速发展。各种有源医疗器械不断更新换代,种类日益增多,其尖端技术和精密程度也在不断实现新的突破。每一项有源医疗器械的研发和制造都体现了工程师们的辛勤工作和创新精神。随着有源医疗器械在医疗和家庭环境中应用的日益普及,它们已成为现代生活的重要组成部分。
2024-11-01近年来受人们生活习惯、饮食结构改变,多类胃肠道疾病发生风险均呈现逐年升高趋势,消化道疾病本身可对患者身体健康与日常生活造成一定程度影响,疾病进展后还可能诱发其他严重并发症,甚至存在一定恶变可能性。无痛胃肠镜的使用能够对各类型胃肠道疾病进行准确诊断,并为后续治疗方案的制定与完善提供数据参考。
2024-10-22根管治疗为牙髓病的常用治疗手段,患者的根管系统较为复杂,因而根管内器械发生折断情况十分常见[1-2]。镍钛根管器械具有极佳的柔韧性,在弯曲根管预备中能提高根管治疗的成功率[3]。但由于加工硬化和金属疲劳等原因,可发生镍钛器械分离,导致治疗失败[4]。
2024-09-26伴随着医疗技术不断发展,许多新型生物材料和高端医疗器械在临床被广泛应用,例如人工心脏、主动脉内球囊反搏导管套件、人工心脏瓣膜、血液透析器、介入导管鞘、腔静脉滤器等,这些医疗器械的使用可以提升患者的生活质量,延长患者的寿命。这类医疗器械在临床使用中均属于与循环血液相接触的器械,在临床使用时应满足基本要求:
2024-09-24无创呼吸机又称气道正压通气呼吸机,是一种以非创伤方式通过口鼻为使用者提供持续的正压气流,用于控制或辅助使用者呼吸的机械通气设备,其包括但不限于睡眠呼吸暂停治疗设备、家用呼吸支持设备、家用呼吸机。无创呼吸机主要由主机、管路、人机连接界面(鼻罩等)、湿化器等部分组成,并可进一步分为单水平无创呼吸机和双水平无创呼吸机。
2024-08-15消毒供应中心为负责院内器械清洗、消毒、灭菌及保养的重要科室,其对手术器械的管理质量与医院院内感染、治疗质量密切相关[1]。在对消毒供应中心常规手术器械护理管理中,主要方法为通过结合既往管理流程、工作人员工作经验实施护理管理,可能会影响护理效果[2]。
2024-08-02腰椎间盘突出症是临床上常见的退行性疾病,腰椎后路椎板切除神经减压椎体间融合术可以通过单侧或双侧椎板切除来摘除患者的椎间盘组织,从而解除硬膜囊和神经根压迫,改善腰腿痛等症状,但是手术创伤较大,相关并发症较多,且术后需要较长时间恢复,具有一定的局限性。
2024-07-27医疗器械相关压力性损伤(medical device related pressure injury, MDRPI)指的是由诊断和治疗的设备导致的压力损伤,损伤部位的形状与所使用医疗器械的类型或形状相符[1]。由于重症监护室(ICU)病人病情严重,需要应用较多种类和数量的医疗器械。因此,ICU病人容易出现MDRPI。
2024-07-23自医用直线加速器用于肿瘤放射治疗以来,因其在剂量率高、应用范围广等方面有着明显优势,在肿瘤放射治疗方面有着越来越广泛的应用。随着医疗技术的进步,医用直线加速器从最开始的二维放疗发展到可以开展图像引导为基础的精确放射治疗技术。精确放疗不仅能够提高肿瘤的处方剂量,还能够最大程度的保护危及器官,降低治疗副作用。
2024-07-19人气:15243
人气:14614
人气:14415
人气:12847
人气:10964
我要评论
期刊名称:齐鲁护理杂志
期刊人气:8088
主管单位:山东省卫生和计划生育委员会
主办单位:山东省护理学会
出版地方:山东
专业分类:医学
国际刊号:1006-7256
国内刊号:37-1257/R
邮发代号:24-127
创刊时间:1995年
发行周期:半月刊
期刊开本:大16开
见刊时间:4-6个月
影响因子:0.690
影响因子:0.241
影响因子:1.185
影响因子:0.343
影响因子:0.076
400-069-1609
您的论文已提交,我们会尽快联系您,请耐心等待!
你的密码已发送到您的邮箱,请查看!