近年来，无人机由于其成本低、灵活性强、安全可靠等优势，被广泛应用于电力巡检、安全环保、仓储物流、智慧交通等领域[1]。无人机的性能关键在于视觉跟踪，适用于无人机的视觉跟踪算法包括机器学习、深度学习以及卡兹曼滤波等非机器学习算法等，核心的原理是通过提取目标特征，学习、识别样本信息，与跟踪器获取的上下文信息进行比对，最终实现目标的准确定位，进而达到跟踪目的[2]。进入21世纪以后，虽然视觉跟踪技术已经取得长足的发展，但是由于无人机应用的环境复杂性和不确定性，在复杂变化环境下，视觉跟踪算法的稳定性、准确性仍然没有较好地解决，还存在着鲁棒性差的问题[3]。以往的研究中，主流的算法是将待检测目标的特征进行深度挖掘，在此基础上应用滤波算法实现跟踪，由于深度特征提取的强大表达能，使得跟踪算法的鲁棒性更好，但其典型问题也很突出，深度特征提前过程中对于目标类别规范性较差的情况，分类效果十分不理想[4]。基于深度孪生网络跟踪算法从目标分类及跟踪上有效地解决了上述问题，核心是将目标跟踪转化为目标匹配，通过模型学习，得到基本特征后，结合匹配算法，从而获得最佳跟踪效果，孪生网络算法通过学习匹配方式进行跟踪，为了达到有效跟踪和精准识别，对其性能的要求较高，目前阶段性能问题仍然是影响算法准确率的难题[5]。

为了解决此问题，本文从自学习的思路提出了一种在线自学习模型，并在线实时更新。将首个画面帧作为目标模型，将后续连续跟踪帧定义为静态模版帧，采取高置信度更新策略，生成最新的动态模版，在其应用于无人机的跟踪过程中，对照学习帧和动态模版获取目标的变化，结合颜色直方图完成特征计算，最后，将得到目标似然概率图融合目标特征，从而抑制外界环境干扰。在特征提取方面，将深度网络的后3层卷积通道数量加倍，生产特征深度卷积模块，并设计了注意力融合架构，结合在线更新自适应学习模版帧的目标外部轮廓，通过持续学习，完成分类和回归任务。在相似度计算环节，引入了基于深度互相关的相似性计算结合距离交并比完成目标框架计算，整体提升目标跟踪的分类能力和跟踪性能。

1、无人机视觉跟踪算法

1.1 算法整体框架

近10年来，无人机作为新生事物迅速发展壮大，在民用的视觉跟踪和军事方面都得到了大量应用。适配于无人机的视觉跟踪技术成为当前研究的热点，尤其在应对复杂环境下的跟踪和识别，如何快速、准确识别，是无人机视觉跟踪的关键所在。由于孪生网络算法在嵌入浅层特征的相似性度量上效果较为理想，在周围环境复杂、光线变化较大的场景时，跟踪效果受环境影响较大，而相似性的计算主要使用孪生网络来实现检测帧到模版帧的比对学习，因此，本文使用深度孪生网络提升远程像素的关联性，同时，增加目标特征的信息，整体算法框架如图1所示。

图1整体算法框图

首先，对模版帧进行图像裁剪和填充，调整至127×127×3的大小，同步填充裁剪输入图像，调整至303×303×3的大小；然后，应用特征提取网络，获得张量，模版帧为4×4×512,检测帧的张量为26×26×512,将其作为注意力信息融合模块和特征深度解析模块，自主学习自适应调整模版帧和待检测帧的相似关联项，使用3×3卷积，用于计算关联相关性的深度值以及网络相关性权重；在此基础上，使用式(1)计算模版帧和动态帧之间的相关性权重，根据该权重值区别目标和周围的复杂背景，从而完成回归任务。

式中：z代表模版帧的特征图；x代表检测帧的特征图；*代表深度孪生网络卷积；bi代表检测瞬时图具体的像素点数值。

应用主干网络提取特征矩阵后，应用处理函数，结合距离交并比计算，得到包含有输出空间信息和目标的特征信息矩阵，进而，进一步提升跟踪结果的准确性，在此基础上，采用非极大值抑制目标排序，排序后的最高值点即为目标预测结果。

1.2 注意力视觉融合网络

本文采用注意力视觉融合网络，以扩展卷积神经网络感受视野的方式，融合不同层次特征后，建立具有级联特征的远程匹配像素对。这个过程中，应用注意力融合网络自动增加与目标高度关联的信息空间维和通道维权重值。当无人机开展视觉跟踪时，有效区分目标和背景，实现对跟踪目标的准确定位。其中的核心在于，将两组一维的内核应用在水平方向和垂直方向上，组成上下文模型，定位目标时，对于通道间关联度的计算，使用跨通道的交叉策略，降低对预测结果的干扰。

注意力融合网络获取空间语义信息的手段为：综合水平和垂直方位计算行列的特征均值，进而得到较为丰富的空间语义信息来有效抑制嘈杂的背景信息。假设使用(1,W)和(H,1)代表池化窗口，则输入张量可以使用a∈RH×W计算，那么，可以使用式(2)表征垂直方向

使用式(3)表征水平方向

图1的架构图，注意力融合网络的输入张量使用公式x∈RC×H×W表示，其中，C代表通道数量，H表示高度，W表示宽度，然后应用内核大小到3的一维卷积水平和垂直方向，来中和当前所在点位与其相邻位置的特征信息候，分解得到远程信息在全局域范围内的上下文空间信息，即水平方位获得yh∈RC×H,垂直方位获得yv∈RC×W,融合yh和yv最终得到y∈RC×H×W,使用式(4)计算该值。

式中：add()表示特征图间的元素之和。根据此原理，得到输出值z∈RC×H×W,该值使用式(5)计算。

式中：f表示一维卷积函数；scale()表示计算不同特征图元素之间的乘积；σ代表随机函数。16×16代表4级池化窗口，12×12代表3级池化窗口，池化后，采用批量归一化对全部的卷积层逐一开展ReLU运算，进一步注意力融合网络的特征提取能力，其中输出值z的通道数使用式(6)进行计算。

在此基础上，采用全局最大池化和全局平均池化，进行深度处理，得到结果值z,进一步丰富上下文信息。

值得注意的是，在视觉跟踪的过程中，带状矩阵Wk代表通道权重信息，其通过自学习获得，假设使用卷积核值为k的一维卷积来实现跨通道的信息交互，Wk涉及K×C个参数，使用式(7)表示与zi临近的k个权重值。

表示与zi相邻的k个通道的合集，采用式(8)对孪生网络学习到的权重参数值进行共享。

使用快速一维卷积实现跨通道交互，设置卷积核的大小为k,计算方法如下：

式中：C1Dk表示标准值下的快速一维卷积运算，其中参数仅使用k个参数。由于wgmp和wgap分别可使用式(10)计算。

式中：网络通道数为常数，其值为2的倍数；C和k之间为线性映射的关系，式(11)用于计算线性映射。

式中：距离p最近的奇数用

代表，则使用式(12)计算zgmp和zgap。

应用特征融合算法后，可得到r∈RC×H×W,即

式中：add()表示不同特征图元素之间的乘积输出后再求和。在此基础上，将目标特征使用BN和ReLU依次处理，综合融合一维卷积核多层网络后，即可得到权重a,进而生产通道信息，参考式(14):

2、自学习孪生网络视觉跟踪

2.1 算法整体框架

本文设计的基于注意融合的自学习深度网络视觉跟踪算法，首先，将高置信度更新策略应用于模版生成环节，用以在无人机快速飞行过程中，分析模型的迅速变化，结合动态模版和静态模版的双模版，实现目标的变化表征；然后，计算搜索区域的目标概率，结合颜色直方图与极大似然估计法，将注意力视觉融合与深度特征有效结合，实现背景抑制。双模版生成精准响应图加权融合后，得出最佳目标定位结果，该算法网络结构如图2所示。

图2跟踪算法网络结构图

2.2 构建双模版

构建静态模版是自学习孪生网络的关键所在，是视觉跟踪的基准，第一步即为精准生成目标的初始信息。在获取视频序列的首发帧后，依据此帧组建以目标坐标点位P为中心的正方形区域，w代表目标的宽度，h代表目标的高度，使用式(15)即可计算出待裁剪的区域。

式中：wτ=w+c×(w+h),hτ=h+c×(w+h)。对于模版中需要加入一定数量的环境背景信息，则使用调整因子c适当调整背景信息。裁剪的正方区域后保留区域，经过缩放后，作为基础模版，输入后续的特征提取网络。缩放的大小为127×127×3。

由于基准模版对目标变化和周围遮挡的情况应对不及时，本文采用动态模版在跟踪全过程中逐帧计算每一次跟踪响应图像的置信度，从中选择置信度值最高的图像帧定位动态模版，并根据更新策略进行自学习，自动更新。高置信度更新策略采取以下方法计算，首先，获得响应图的峰值和响应图的最大波动度，在此基础上，通过动态更新策略对动态模版实时更新来得到当前帧最佳置信度值H。通过大量实验发现，在响应图峰值较大、或者波谷较低的情况下，可以精准定位目标；相反，当响应图峰值、峰谷不突出的情况下，跟踪目标丢失的概率就会增加很多。基于此，本文设计了仅在当前帧的置信度以及最大峰值均超过历史平均值时，才开展模版的动态更新。

式中：mH和mVmax表示历史均值和最大均值；参数α、参数β表示动态模版的更新频率，通过大量实践发现，其最佳阈值为0.8和0.9。恰当使用动态模版，对于构建稳定的目标模型十分必要，其在丰富的历史帧信息的同时，可以有效跟踪目标变形遮挡的情况。

2.3 目标定位

无人机实时跟踪目标过程中，使用快速模型变化及双模版技术从中自动学习目标表现的变化Vs和Vd,对该变化值与模版的图像特征采取叉乘循环卷积的操作，将背景抑制模块自学习获得的特征值，结合搜索区域获得的特征值，对二者应用循环卷积操作，从对应的模版分序列、搜索分序列分别计算相似度值，获得隐形图后，于当前帧的目标位置使用式(17)进行加权融合。 

式中：f(Os)表示静态模版图像特征矩阵；f(Od)表示动态模版图像特征矩阵；*表示循环卷积；f(Zt)表示搜索区域特征；Wt-1表示背景抑制模块的学习特征；corr()用于计算相似度；Rt表示当前帧完成加权后的响应图，其最高位置为最佳预测值；λ是平衡静态模版和动态模版的参数，不同的参数值对算法的影响不同，经过实验发现，最佳参数值为0.78。获取目标的最佳定位后，以预测位置的中心定位进行多尺度采样，设置3个采样因子以及255×255×3的输入网络，得到的最大响应即为最佳因子。目标尺度估计动态更新如式(18)所示：

式中：(w,h)代表当前所在帧的最大响应尺度；(wt-1,ht-1)代表前一帧对应的目标相应尺度；τ代表当前帧与前一帧尺度的变化速度，最佳变化速度为0.4。

3、实验结果

3.1 实验环境

本文选取的实验软件环境为Linux系统的pytorch 1.4,选择的数据集为LSVRC2017_VID数据集和Youtube-BB数据集[6],在该数据集下进行模型的训练，包括200万左右帧的图像，囊括了10种动态变化的属性，具体属性如长宽比、尺度、遮挡情况、目标移动情况、光照情况、相机稳定性、视野变化、角度变化、以及图像不清晰等方面，是目前为止使用人数最多的无人机跟踪数据集。

3.2 评估指标

本文使用OPE(one pass evaluation)作为评估无人机跟踪性能的指标[7],该指标由成功率和精确率两个要素构成，成功率是指当前帧中目标框与真实目标框超出阈值的比率，精确率主要用于评估目标框和真实目标框之间的误差。根据以往实验论证，闽值采用20像素最为适当。

3.3 KITTi数据集实验结果

本文选取了10种当前最为先进的跟踪器做比对实验，实验结果如表1所示。

表1 10种不同跟踪算法在KITTi数据集上的实验结果

由以上数据可以发现，本文提出的算法在相同的数据集中与其他算法对比，无论是准确率还是成功率上，均有较大提高。对比传统的视觉跟踪算法，应用于无人机的视觉跟踪算法在相机抖动以及光照影响时分类和跟踪的准确性较为重要，在复杂环境下，本文提出的算法表现较为出色，结果如表2所示。

表2复杂环境下10种不同跟踪算法在KITTi数据集上的评估结果

表2的结果显示，本文提出跟踪算法的跟踪效果较为突出，对比基准跟踪器，本文提出的算法可以对主管网络实现深度特征提取，并综合考虑了双模版的目标提取和自动更新能力，可以在线主动学习目标的外观特征，更加适用于无人机视觉跟踪。

结合实际效果，对本文提出的跟踪算法的鲁棒性进行实验，选择A1,A2和A3共3类实际场景进行实验，结果如图3所示，跟踪器在跟踪复杂背景下的卡车时，周围背景环境有相似目标、有遮挡目标以及光照的变化时，SiamFC算法、SiamRNP算法、HiFT算法[8-9]直观上已经出现了跟踪漂移，跟踪目标出现了丢失，本文提出的算法优势明显。

图3跟踪算法实际场景测试

在应用汽车场景时，如图3所示，红色汽车正在高速行驶，在截取的564帧画面，对比SiamRPN算法跟踪偏移已经非常大了，但对比本文提出的跟踪算法未出现偏移，精准在相机同样的抖动频率下，大部分跟踪器已经出现了目标丢失，但本文提出的算法依然表现良好，鲁棒性较好。

4、结论

本文针对无人机视觉跟踪目标识别算法在复杂环境下因目标快速移动、光线短时间变化、物体遮蔽以及目标形态变化等因素产生的跟踪识别准确性差的问题，设计了一种基于深度全卷积孪生网络的目标识别跟踪算法，重点从优化深度孪生网络的学习能力提升跟踪性能，通过引入深度互相关运算，进一步提升相似性计算精度，使用增加通道数来增加目标的特征信息，使用注意力视觉信息融合模型来提升模版帧目标的特征提取能力，有效提升了无人机视觉跟踪的准确率和成功率。但本文在有效解决因目标漂移或丢失时，自动开启重新检测的启动检测，不影响跟踪的实时性，进一步增加了无人机视觉跟踪算法的鲁棒性。

参考文献:

[1]陈锐霆,徐瑞吉,应灵康,等.基于视觉传感器采集光流特征的精神疾病识别方法[J].传感技术学报,2024,37(1):163-170.

[2]郭晓冰,刘宁,白云灿,等.基于完整性感知网络的绝缘子串缺陷检测方法[J].电子测量技术,2023,46(20):191-196.

[3]袁博,薛珮芸,白静,等.基于双路特征和混合注意力的微表情识别[J].无线电工程,2024,54(3):615-622.

[4]郎思祺,陈纯毅,申忠业,等.视觉驱动梯度域滤波重构的自适应渲染算法[J].小型微型计算机系统,2024,45(2):425-430.

[5]吴鹏.基于BP神经网络和HOG特征的茶小绿叶蝉识别[J].信息技术与信息化,2024(1):113-116.

[6]崔晨辉,蔺素珍,李大威,等.基于孪生网络和Transformer的红外弱小目标跟踪方法[J].计算机应用,2024,44(2):563-571.

[7]刘晓东,张朦丹,刘琳琳,等.光电效应对半导体应变片内载流子的影响[J].工程机械,2024,55(1):18-22,6.

[8]陶洋,唐函,欧双江,等.稀疏约束与时间一致的背景感知相关滤波目标跟踪[J].小型微型计算机系统,2024,45(3):657-663.

[9]谭燕,吴刘仓.无需精确初始误差的纯反馈系统实用预设时间保性能控制设计[J].系统科学与数学,2024,44(1):45-59.

基金资助:2023年安徽省教育厅自然科学重点研究项目(2023AH051439);

文章来源:方传宝,刘光柱.基于深度网络的无人机视觉跟踪目标识别算法研究[J].太原学院学报(自然科学版),2024,42(04):70-77.