首页 > 论文范文 > 医药卫生论文 > 临床医学论文 > 临床研究论文 > 面向3D肝脏CT图像分割的改进vnet模型

面向3D肝脏CT图像分割的改进vnet模型

2024-06-18 28 上传者：管理员

摘要：分割3D医学影像是放疗计划的重要步骤。临床上，计算机断层扫描被广泛应用于肝脏及肝肿瘤的3D医学影像图像分割。由于肝脏复杂的边缘结构及纹理特征，肝脏分割仍是一项具有挑战性的工作。针对这一问题，提出了一种面向3D肝脏CT图像精准分割的改进vnet模型。首先，将肝脏CT图像进行HU值截断和重采样，以完成三维数据集的预处理；同时，将vnet解码器和编码器中的卷积核替换为SG模块，即逐通道卷积和逐点卷积的组合，以减小网络模型的参数量。与vnet模型进行对比实验，结果表明该模型方法在肝脏分割数据集上的评估结果总体优越，Dice系数为94.93%,比vnet模型提高了3.49%,大大减少了模型的参数量；同时该方法在MSD脾脏分割数据集和新冠肺炎数据集上也表现出良好的鲁棒性并取得了优越的分割结果。

关键词：
3D
CT
vnet
图像分割
肝脏
加入收藏

1、引言

肝癌是世界上常见的癌症之一。准确分割肝脏图像对肝癌诊断、功能评估和治疗具有重要意义[1]。同时，肝脏和肝肿瘤分割是计算机辅助诊断(Computer Auxiliary Diagnosis, CAD)、肝脏手术计划、治疗计划和治疗后评估的先决条件[2]。目前，计算机断层扫描(Computed Tomography, CT)被广泛应用于肝脏及其肿瘤分割。在临床上大多使用人工手动分割的肝脏区域，这不仅十分耗费时间，还非常依赖于医生的临床经验，这一过程还极易受到医生经验及主观因素的影响[3]。肝脏分割主要的困难是肝脏CT影像背景复杂且高噪声不同图像中肝脏的形状和大小有较大差异，且肝脏大小因人而异[4]。因此，实现肝脏高准确性的自动分割对临床治疗具有重要意义。

目前，肝脏分割方法主要有两大类，分别为传统图像分割方法和深度学习分割方法。

传统图像分割方法主要有基于区域法、边缘分割法以及结合区域和边缘的分割方法3种类型。这些方法依赖于人们对肝脏的先验知识，分割结果受人主观性的影响较大。同时，肝脏复杂的结构与纹理特征，使得上述方法分割结果不佳[5]。

随着深度学习方法的不断发展和应用，卷积神经网络在医学图像处理领域表现出了巨大的优势和潜力。Long等[6]提出了一个基于CNN分割的全卷积网络FCN模型，图像分割正式进入语义分割时代。Ronneberger 等[7]提出了U-Net架构，该架构由捕获上下文的收缩路径和实现精确定位的对称扩展路径两部分组成。其中的跳跃结构提高了模型的准确性并解决了梯度消失的问题，被广泛应用于医学图像。Liu等[1]提出了一种改进的U-Net与图形切割结合的模型，即GIU-Net。其使用改进的U-Net对CT图像进行分割，以获得肝脏的概率分布图，然后使用肝脏序列的上下文信息和肝脏概率分布图，选择肝脏分割过程的起始切片，来构建肝脏切割能量函数，最后通过最小化图切割能量函数来完成肝脏分割过程。Tran等[8]为充分利用U-Net单元的输出特性提出了对单元的各个输出使用跳跃连接的Un-Net模型。随着深度学习研究的不断深入，Çiçek等[9]提出3D U-net, 用三维网络层替代二维网络层。Milletari等[10]提出V-Net架构，与U-net架构类似，V-net添加了残差结构，加快收敛速度，同时使用卷积层代替了池化层，减小了网络内存，被用以处理三维图像。

三维分割网络包括3D unet和vnet等。vnet使用残差结构来加快收敛速度，同时使用卷积层代替3D unet的池化层，减小了内存需求。但是三维语义分割网络大多使用标准卷积，导致参数较多，内存需求大。基于上述原因，本文提出一种基于改进vnet的模型：首先，将肝脏CT图像进行HU值截断和重采样，以完成三维数据集的预处理；同时，将vnet解码器和编码器中的卷积核替换为SG模块，即逐通道卷积和逐点卷积的组合，以减小参数量。与vnet模型进行对比实验，结果表明该模型方法在肝脏分割数据集上的评估结果总体优越，Dice系数提高了3.49%,大大减少了模型的参数量。同时该方法在MSD脾脏分割数据集和新冠肺炎数据集上也表现出良好的鲁棒性，并取得了优越的分割结果。

2、相关理论

2.1 vnet模型

vnet模型如图1所示。vnet模型最早被应用于三维的前列腺磁共振图像分割[11],其是一个端到端的三维的全卷积神经网络，被广泛应于医学图像分割。PDV-net被用于胸部肺叶CT图像分割[12],级联的vnet模型被用来实现多器官的CT图像分割[13]。

图1 vnet模型图

vnet网络主要包括解码器、编码器和跳跃连接3部分。编码器分为几个不同的阶段，每个阶段包含1～3个卷积层和下采样层，每个阶段的卷积层均使用5×5×5的卷积核，每个阶段加入了残差结构[14]。残差结构的加入不仅加快了网络的收敛，还提高了图像特征的利用程度。为了减小网络的内存，下采样过程中使用步长大小为2的卷积层代替传统的池化层。下采样降低图像分辨率，同时增大感受野(Receptive Filed)。解码器对特征图进行解码和恢复分辨率。解码器分为几个不同的阶段，每个阶段包含1～3个卷积层和上采样层。卷积层与编码器的卷积层类似，上采样层使用反卷积恢复特征图的分辨率。vnet使用了与unet类似的跳跃连接，将浅层特征与深层特征进行融合，以提高网络的分割精度。最后使用1×1×1的卷积核产生与输入体积大小相同的两个特征图，通过softmax将体素转为前景与背景的概率分割。

2.2 深度可分离卷积

深度可分离卷积(Depthwise Separable Convolution)是标准卷积的分解形式，由逐通道卷积(Depthwise Convolution)和逐点卷积(Pointwise Convolution)两部分组成。深度可分离卷积能很大程度上降低了卷积神经网络的复杂程度，同时减小了模型的计算量和参数量[15]。深度可分离卷积常被用来构建轻量型网络。MobileNets 网络结构[16]使用深度可分离卷积来减小参数量；Hu等[15]使用深度可分离卷积替换SqueezeNet的标准卷积核，来提高模型的计算效率并减小参数量。

逐通道卷积是在二维平面上进行的，其中一个卷积核只负责一个通道，一个通道只被一个卷积核卷积，这样保证了特征图的输入和输出通道数完全一样。逐通道卷积对每个通道单独进行运算，没有有效利用不同通道在相同位置的特征信息。逐通道卷积如图2所示。输入一张三通道图片，经过逐通道卷积后生成3张特征图像，每一个filter只包含一个Kernel。

图2 逐通道卷积

逐点卷积与常规的卷积运算十分相似。如图3所示，逐点卷积会将特征图在深度方向上进行加权组合，实现通道尺度上的融合，生成新的特征图，弥补了逐通道卷积没有有效利用不同通道在相同位置的特征信息的问题。标准卷积同时对图像进行特征提取和通道融合，深度可分离卷积通过分割特征提取与通道融合来减少参数量。

图3 逐点卷积

3、本文方法

vnet模型分割性能优越，但是其编码器和解码器中含有大量的三维卷积核，训练过程中参数量过多对内存的需求量大。深度可分离卷积通过分割特征提取与通道融合来减少参数量，可以很好地解决标准卷积参数量大的问题。基于vnet模型和深度可分离卷积，本文提出了一种改进vnet模型。vnet网络中5×5×5标准卷积核的大量使用，会导致vnet模型的参数量过多，占用内存过大，增加硬件的负担。本文模型将vent模型编码器和解码器中5×5×5的标准卷积核替换为SG模块，以减小参数量和对内存的需求，如图4所示。

SG模块由5×5×5的逐通道卷积、1×1×1逐点卷积、1×1×1的逐点卷积和5×5×5逐通道卷积组成。其中2个1×1×1的逐点卷积，分别实现输入图像通道数的降维和升维。同时，在第一个5×5×5的逐通道卷积和第二个1×1×1逐点卷积后加入ELU激活函数。也可将SG模块的ELU激活函数表达为：

其中，α为常数。ELU激活函数可以在输入取较小值时具有软饱和性，减小向前传播的变异信息，提升对噪声的鲁棒性。

图4 SG模块与标准卷积

SG模块的使用，使得模型的参数量大大减小，减小了对内存的需求。假设输入和输出的通道数均为32,原始的vnet参数量为5×5×5×32×32=128 000个参数，使用SG模块后，4个卷积核的大小及特征通道数为5×5×5,32;1×1×1,2;1×1×1,32;5×5×5,32,总参数量为5×5×5×32+1×1×1×32×2+1×1×1×2×32+5×5×5×32=8 128。SG模块的使用，使得模型的参数量减少了93.65%,大大缩小了模型规模。

4、实验设计

为了验证本文模型的优越性及鲁棒性，本文共设计了3个实验。分别将本文模型和vnet模型在肝脏分割数据集、MSD脾脏分割数据集和新冠肺炎数据集这3个数据集上进行对比实验。

4.1 数据集及预处理

本文共采用3个公开数据集进行实验。肝脏分割数据集、MSD脾脏分割数据集和新冠肺炎数据集均来自百度Ai Studio平台，数据集的格式均为NIFTI。肝脏分割数据集是3D-IRCADb数据集的子集，3D-IRCADb数据集由10名男性和10名女性的CT图像构成，其中75%的人员患有肝癌。本文选取其中12人的CT图像作为本文数据集。MSD脾脏分割数据集来自2018年医学十项全能挑战赛，训练集和测试集分别包含41和20个病人的CT图像，本文随机选取训练集中的25人作为本文的数据集。新冠肺炎数据集包含20组COVID-19患者的CT图像，并由专家对肺部及感染区域进行分割，本文仅分割肺部区域。所有的数据集均按8∶2划分为训练集和测试集。

分别对3个数据集进行预处理。为了去除无关组织和器官，本文参考公开项目将肝脏分割数据集按[-115,235]的HU值进行裁剪，并进行重采样，将切片大小从512×512调整为256×256;MSD脾脏数据集按[-200,200]的HU值进行裁剪，并进行重采样，将切片大小从512×512调整为256×256;新冠肺炎数据集进行重采样，将切片大小从512×512调整为128×128。本文对所有数据集都进行水平翻转和随机旋转15°,以增加实验数据的适配性。

4.2 实验环境

本文实验环境为PaddlePaddle框架，操作系统为Ubuntu16.04,GPU的版本为Tesla V100,内存和显卡均为32 GB。3个实验的批次大小均为2,训练的迭代轮数分别为4 500,3 000和3 000,均使用随机梯度下降法(Stochastic Gradient Descent, SGD)作为优化器，初始学习率均为0.1。

在整个CT图像中肝脏的占比相对比较小，对肝脏进行分割时，大面积的背景很有可能造成学习过程中损失函数陷入局部极小值，从而导致预测强烈偏向于背景，即将正样本误判为负样本[17]。本文采用混合损失训练，将CrossEntropyLoss和DiceLoss进行混合，这两个的损失函数类的权重比为1∶1。

4.3 实验评价指标

对肝脏的分割结果进行评估，常使用Dice相似系数(Dice Similarity Coefficient, DSC)等评价指标[18]。本文选用Dice相似系数作为评价指标。在语义分割中，Dice相似系数[19]是一种集合相似度度量的函数，通常用于计算两个样本的相似度，取值范围为[0,1]。

其中，TP表示实际为正样本，预测结果也为正样本，即真阳性；FP表示实际为负样本，预测结果也为正样本，即假阳性；FN表示实际为正样本，预测结果也为负样本，即假阴性。

4.4 消融实验

本文共设计3个实验，分别将本文模型和vnet模型在肝脏分割数据集、MSD脾脏分割数据集和新冠肺炎数据集这3个数据集上进行对比实验。使用Dice相似系数作为评价指标，得出的对比结果如表1所列。

表1 本文模型和vnet在不同数据集上的对比实验结果

本文模型在肝脏分割数据集上训练的Dice系数为94.93%,比vnet模型的Dice系数提高3.49%,表明本文模型分割性能优越；同时，在MSD脾脏分割数据集和新冠肺炎数据集上，本文模型比vnet模型Dice系数分别提高了0.99%和0.95%,证明了本文模型具有良好的鲁棒性和优越的分割性能。

本文模型与原始vnet模型的模型大小如表2所列。从表2中可以看出原始的vnet模型大小为174 MB,本文模型的大小为5.3 MB,模型大小减少了约96.95%。本文模型将原始vnet 模型中5×5×5的标准卷积替换为SG模块，即逐通道卷积和逐点卷积的组合，大大减小了模型大小和对内存的需求。

表2 本文模型和vnet模型大小的对比

图5 本文模型与vnet在肝脏分割数据集的Dice系数折线图

图6为本文模型在肝脏分割数据集上冠状面分割的实例图，图7为本文模型在肝脏分割数据集横断面分割实例图。图8为本文模型在新冠肺炎数据集和MSD脾脏分割数据集上冠状面分割的实例图，图9为本文模型在新冠肺炎数据集和MSD脾脏分割数据集横断面分割实例图。

图6至图9的第一行均为原始图像，第二行均为标签图，第三行均为本文模型的分割图。

从图6、图7可以看出本文模型可以比较准确地提取肝脏边缘轮廓特征。将原始标签与分割图像对比，可以看出本文模型的分割图像趋近于原始标签。由图8、图9可以看出，肺部和脾脏的分割图像十分接近于标签图像，说明本文模型分割性能优越，具有很好的鲁棒性。

图6 本文模型在肝脏分割数据集上冠状面分割的实例图

图7 本文模型在肝脏分割数据集横断面分割实例图

图8 本文模型在新冠肺炎数据集和MSD脾脏分割数据集上冠状面分割的实例图

图9 本文模型在新冠肺炎数据集和MSD脾脏分割数据集横断面分割的实例图

为进一步说明本文模型的性能，将其与其他方法在3D-IRCADb数据集上进行分割结果的对比，如表3所列。

表3 3D-IRCADb数据集上的分割结果

由表3可见，当本文模型分别与其他2D,2.5D和3D分割模型进行对比时，本文模型的Dice系数均高于其他方法在3D-IRCADb数据集的Dice系数，说明本文模型的分割性能优越。

结束语针对应用深度学习进行医学图像分割需要大量有标注的数据、专家进行标注需要大量时间和精力以及三维分割网络内存需求大的问题，提出一种改进vnet的模型，在减小内存需求的同时提高了三维图像分割的准确率。

本文将肝脏CT图像进行HU值截断和重采样，以完成三维数据集的预处理。同时，本文模型为改进vnet的模型，将vnet编码器和解码器中的卷积核替换为SG模块，即逐通道卷积和逐点卷积的组合。与vnet模型进行对比实验，结果表明本文模型方法在肝脏分割数据集上的评估结果总体优越，Dice系数为94.93%,比vnet模型提高了3.49%,并且大大减少了模型的参数量；同时该方法在MSD脾脏分割数据集和新冠肺炎数据集上也表现出良好的鲁棒性，并取得了优越的分割结果。在之后的研究中拟增加训练模型的样本模特及样本量，以期待模型有更好的泛化能力。

基金资助:京津冀协同创新项目(17YEXTZC00020)~~;

文章来源:杨舒琪,韩俊玲,康晓东,等.面向3D肝脏CT图像分割的改进vnet模型[J].计算机科学,2024,51(S1):347-352.