首页 > 论文范文 > 工程工业论文 > 重工业论文 > 汽车工业 > 一种基于高效残差分解网络的车道线检测方法

一种基于高效残差分解网络的车道线检测方法

2024-07-09 9 上传者：管理员

摘要：为提升自动驾驶系统车道线检测的速度，提出了一种利用卷积神经网络进行特征提取，结合分类网络实现多车道线虚实线分类的方法。使用高效残差分解网络(efficient residual factorized ConvNet, ERFNet)对图像进行卷积操作和下采样，采用无瓶颈一维卷积残差结构，利用纵、横两个方向一维卷积穿插提升非线性函数的泛化性能，依据可变填充比获得多尺度上下文信息完成图像特征提取。基于反卷积与上采样结果进行特征解码，恢复原图像尺度并输出分割后的图像。相较于传统语义分割算法，本方法可减少大量特征参数，增强模型的学习能力，在提升检测速度的同时保证检测精度。在直行、转弯、上坡、下坡，道路颠簸，光照不均匀等工况下的仿真测试实验表明，本文方法检测精度可达到95.14%,检测速度较主流算法有较好提升。

关键词：
卷积神经网络
深度学习
自动驾驶
语义分割
车道线检测
加入收藏

在人工智能急速发展的大背景下，以及车互联网等技术的支持下，自动驾驶技术在智能汽车领域的发展极为快速。国际汽车工程师协会将自动驾驶划分为六个等级，L1级别自动驾驶可以简单地控制前后的加减速，L2级别自动驾驶系统可以对方向和加减速进行自动控制，但还需要驾驶员对周围的环境进行观察，目前许多自动驾驶汽车都已经达到了L2级，L3级别自动驾驶技术可基本完成所有自动驾驶操作，现阶段有部分汽车可实现L3级别的自动驾驶技术，L4和L5级别的自动驾驶虽已基本完成，但目前由于成本太高，还难以普及。

在自动驾驶技术中，自动驾驶系统需要采集和感知外界环境的信息，即来自外界的输入，包括图像、声音、温度和湿度等，为自动驾驶提供重要的信息。而在所有输入中，图像是最为重要的外界输入信息，自动驾驶系统能在各种情况下做出正确的判断，即依靠不断地对外界的场景尤其是车道线和车辆的位置信息进行精确的特征提取。

早在1998年，BERTOZZI等[1]将透视变换方法用于车道以及通用障碍物检测，实现了车辆遮挡情况下的前方车道线预测。目前，车道检测已经发展出多种实现方法。基于边缘检测的车道线检测算法，利用Canny边缘检测算法检测图像中的车道线边缘，然后利用霍夫变换将边缘点转换为直线方程，从而提取出车道线[2,3,4]。基于模板匹配的车道线检测算法，利用预先定义的车道线模板与图像进行匹配，通过计算匹配度来检测车道线。基于视觉特征的车道线检测算法，利用图像处理技术提取车道线的视觉特征，如颜色、形状、纹理等，然后通过机器学习算法或者深度学习算法进行车道线检测。基于激光雷达的车道线检测算法，利用激光雷达传感器获取道路上的三维点云数据，通过点云处理算法提取出车道线[5,6,7,8,9]。

本文基于高效残差分解网络(efficient residual factorized ConvNet, ERFNet)开展车道线检测，利用卷积神经网络进行特征提取，再结合分类网络的方法完成多个车道线的预测与分离。与传统方法相比，该方法大幅减少特征参数，在可接受的检测精度下力求提升检测的实时性。

1、基于ERFNet的车道线检测网络

车道线检测属于语义分割的一种，语义分割是计算机机器视觉的基本任务之一，是一种像素级别的分割。目标检测只是简单地将图片或视频中的目标区域用一个矩形框标注出来，而语义分割可以区分不同类别的物体，把视觉输入的图像分割为语义可解释的不同类别，在操作中为不同类别的物体标记不同的色彩[10,11,12]。

本文使用的ERFNet总体网络结构如图1所示，它是ENet的一种变体，属于一种点对点的网络，具有轻量化和像素级图像预测的特点。在图像特征提取时，首先要对图像开展多次卷积和下采样操作。在特征解码和恢复图像尺度时，再开展多次的反卷积和上采样，从而完成图像的分割。相对于传统的语义分割算法，此算法可减少大量参数，且获得感受野的效果也不错，增强了模型的学习能力，既提升了检测速度，又保证了计算性能。

图1 ERFNet框架

图2(a)—(c)分别给出了无瓶颈残差(Non-bottleneck)、瓶颈残差(Bottleneck)和无瓶颈一维卷积残差(Non-bottleneck-1D)的结构。三种残差结构各有优劣，无瓶颈残差结构简单直接，但参数较多；瓶颈残差结构减少了参数数量，但可能会引入额外的模型复杂性；无瓶颈一维卷积残差结构适用于一维序列数据的训练与预测[13]。

图2(a)是无瓶颈残差的结构，它由两个相同尺寸的卷积层组成，没有添加额外的参数。图2(b)是瓶颈残差的结构，瓶颈残差是为了减少模型的参数数量而设计的，它在无瓶颈残差的基础上添加了一个1×1的卷积层，用来降低输入特征的维度，然后再经过一个3×3的卷积层，最后再通过一个1×1的卷积层把特征维度升高。图2(c)是无瓶颈一维卷积残差结构，它是在一维卷积神经网络中使用的一种残差结构。

图2残差结构：(a)无瓶颈残差；(b)瓶颈残差；(c)无瓶颈一维卷积残差

网络结构中的编码部分，是由下采样进行特征图尺寸降低完成的。网络结构中的解码部分，是由上采样进行特征图尺寸还原完成的。下采样中的卷积步长为2,并且级联了多个无瓶颈一维卷积残差以及空洞卷积结构。这种结构的优势在于收敛速度快，整体上也提高了检测的速度。

与二维卷积核相比，网络使用的无瓶颈一维卷积残差结构训练参数更少。在计算中，一维卷积在横、纵两个方向穿插使用，这样使得模拟的非线性函数具备了更好的泛化性能。此外，为了提高卷积感受野，网络中使用空洞卷积，利用可变填充比获得多尺度的上下文信息。

损失函数对神经网络训练精度和速度都有影响，ERFNet中使用交叉熵损失函数[14],即：

该函数是香农信息论的重要概念，主要用于度量两个概率分布间的差异性信息。其中p表示真实分布，q表示预测分布，k表示样本编号，cross_entropy表示交叉熵。

2、车道检测分类

道路上一般包含三种不同类别的车道标线，如图3所示。连续白线表示车辆不能变道或超车，连续黄线表示车辆可以变道但不能超车，虚白线则表示车辆可以变道和超车。

图3车道线示例：(a)连续白线；(b)连续黄线；(c)虚白线

检测得到车道线之后需要对其进行分类，一种方法是从主干网络引出分支网络进行车道线分类，之后融合分割网络与分类网络，但这样会出现两个解码结构给出不一致结果的情况。因此，本文将一个分类神经网络直接级联在分割网络的后面，完成车道线的分类。

表1是分类神经网络的参数和取值。网络输入的特征是每一条车道区域采集的正方形图像，网络输出的是类别判断概率。在分类时，如果出现某样本被分为路面而非车道了类别，说明前一个实例分割网络出现误判，需将对应的假车道线实例过滤。

表1车道线分类网络参数

3、实验和结果分析

对本文所提出的车道检测方法进行性能测试。实验在一台配备了RTX2070S GPU的PC上进行。图像数据集为TuSimple,该数据集中包含6 570组视频片段，每段视频内有20帧的连续图像，视频图像的分辨率为1 280×720,为了更好地进行实验，重新定义图像尺寸为1 280×800。

数据集是车道线的点集合，进行网络训练时需要将连接相邻的点并赋予一定宽度。使用的Tusimple数据集中车辆行驶场景图像有6 408张，用JSON字典格式标签，标签文件中含有lanes和键名，lanes表示车道横坐标，h_samples表示车道纵坐标。

全卷积网络实例分割开展点对点预测，图像中的空间信息得以保留。实验中对卷积核提取的特征图可视化，可以获得编码、解码过程中的特征图。图4给出了实验中随机抽取的输出特征图DownsamplerBlock_1(DB_1)、DownsamplerBlock_2(DB_2)、DownsamplerBlock_3(DB_3)和UpsamplerBlock_1(UB_1)的可视化结果。

由图4所示的特征图中可以看到，前三行下采样DownsamplerBlock输出的特征图分辨率是逐渐降低的，其中，第一行DB_1的特征图抽象程度比较低，能够分辨车道、山峰以及天空，而经过卷积操作提取特征后，在DB_2、DB_3中，特征图中含有了更高级的语义信息。从第四行UpsamplerBlock解码输出的特征图中可以看出，图像分辨率得到了提升，并且车道线像素热值明显高于与非车道区域，车道线与背景已经有了明显的区分。从图4的case3和4中还可以看到，存在车辆遮挡和光照阴影时，车道线特征被完全或部分遮挡导致检测出的车道线不连续。

分割出车道线之后，将车道线实例导入卷积神经网络进行车道线分类，图5给出了虚线与连续车道线的分类结果。实验中，对连续车道线标记为红色，对虚线车道线分配为绿色。从四个算例中可以看出，连续线和虚线都获得了很好的检测效果。

图4车道线特征提取过程

图5车道线检测效果

在评价网络预测正确性时，距离标签20 pixel以内的预测点判定为正确。以此作为评价标准，表2给出了ERFNet网络与SCNN、Proposal-free instance segmentation这两种主流网络性能比较的结果。可以看出，本文方法与两种主流方法检测精确度都很高，均超过了95%。虽然本文方法精确度略低，但是受益于无瓶颈一维卷积残差结构，本文方法的模型参数更少，检测用时35.96 ms,比两种主流方法获得了更多的检测速度收益。对存储和计算能力受限的车载设备来说，略微牺牲精度来换取更快的检测速度是非常值得的。

表2算法性能对比

4、结论

本文基于ERFNet网络提出一种利用卷积神经网络进行特征提取，并结合分类网络实现多车道线虚实线分类的方法。使用ERFNet对图像进行卷积操作和下采样，网络中采用无瓶颈一维卷积残差结构，利用横、纵向一维卷积穿插提升网络泛化能力，依据可变的填充比获得多尺度的上下文信息，实现对图像的特征提取。相对于传统的语义分割算法，本方法减少了大量特征参数，增强模型的学习能力，在提升检测速度的同时保证了检测精度。通过直行、转弯、上坡、下坡，道路颠簸，光照不均匀等工况下的仿真测试实验表明，本文方法检测的精度可达到95.14%,与SCNN等主流高效算法表现相当，但检测速度较主流算法有较好提升。

参考文献:

[2]方遒,李伟林,梁卓凡,等.基于多尺度复合卷积和图像分割融合的车道线检测算法[J].北京理工大学学报.2023,43(8):792-802.

[5]朱均超,卞永鑫,韩芳芳,等.基于改进欧式聚类算法的双目主动视觉点云目标检测研究[J].光电子·激光.2024,34(12):1288-1297.

[9]杨淑琴,马玉浩,方铭宇,等.基于实例分割的复杂环境车道线检测方法[J].浙江大学学报(工学版).2022,56(4):809-815+832.

基金资助:陕西小保当矿业有限公司企业基金(6000220230)资助项目;

文章来源:薛晓强,伊春,杨小勇,等.一种基于高效残差分解网络的车道线检测方法[J].光电子·激光,2024,35(08):817-821.