一种改进FCN的舌象分割方法：双支FCN2s

黄留挥，程辉

（江汉大学人工智能学院，武汉 430056）

0 引言

舌象分割是中医现代化的重要研究方向之一，它在临床当中为中医的发展和诊断起到重要的作用，将舌象数字化和客观化，能为医师在诊断的过程中提供极大的便利。中医诊断四步法——望、闻、问、切，从表面的特征出发，一步一步深入到人体神经脉络，全面了解人体内的病情状况，其中第一步望诊，是通过观察人的舌头诊断，因为舌头上神经连着人体内的五脏六腑，能够很好反映出体内的情况，但是舌头易受外界环境的影响，给医师的诊断带来极大的困难，并且医师的诊断也受限于医师的中医水平和临床经验。因此，对舌象进行客观化、数字化是一项重要的研究。

在2015年，Xu Qiang，Zeng Yu等人［1］首次利用深度学习神经网络分割技术对舌象进行分割，提出一种基于多任务联合学习（multi-task joint learning，MTL）的舌图像分割分类方法，该方法很好地解决了传统分割自动化弱的问题；Lin Bingqian，Qu Yanyun等人［2］针对舌象收到光线和大小等原因限制，提出一种基于ResNet的深度学习神经网络训练分割舌图像方法；张新峰、郭宇桐等人［3］提出一种基于DCNN和全连接CRF的舌图像分割算法，很大程度上提升分割精度；Zhou Changen等人［4］提出一种新的端到端多任务学习模型TongueNet，利用像素级先验信息对深度卷积神经网络进行监督训练；颜建军、徐姿、郭睿等人［5］针对传统技术分割精度不高、分割难度大等问题，首次提出一种基于Mask R-CNN的舌图像分割研究；Li Lei，Luo Zhiming等人［6］注意到基于深度学习的方法在不同分布式数据集上退化显著等问题，提出一种迭代跨区域舌象分割模型；Zeng Xinxi等人［7］提出一种新颖的端到端边界引导分层网络（BGHNet）；Cai Yuanzheng等人［8］提出一种新的辅助损失函数来提高深度卷积神经网络（DCNNs）的分割性能；Zhou Chengen等人［9］首次提出一种基于半监督舌象分割的重建增强概率模型。

基于深度学习神经网络的舌象分割方法研究，目前相对比较少，卢运西、李晓光等人［10］在文献《医舌象分割技术研究进展：方法、性能与展望》当中，把当前舌象分割进行总结分析，并把舌象分割应用到FCN8s当中；但是分割效果不理想，分割精度较低，分割结果当中噪声较多，对于边缘分割不够精准。因此，本文提出一种FCN2s_2结构模型，通过实验验证，相比较FCN8s分割模型，改进的FCN2s_2在评价指标iou和Dice上都有所提升，分割效果比FCN8s优。

1 相关知识

FCN是Long J、Shelhamer E和Darrell T等人在2014年提出的，它的网络结构是基于VGG网络结构改进而得的，也具备VGG识别网络的一些多层结构自动获取功能，并且可获取不同层次的特征，在浅层的卷积层中感受野较少只能获取局部特征，在深层的卷积层获取感受野增大，可获取抽象特征，抽象特征在识别当中，对物体的表层信息敏感度较低，因此可提高网络模型对目标区域的识别能力。但是该方法也有不足，比如需要对图像当中某一个像素进行分类，则需要训练测试该像素周围一块区域，大大地增加计算量，导致计算效率低下，并且存储的需求也增大，再识别过程中会导致物体细节丢失严重。因此针对这些问题，Long等人［11］提出Fully Convolutional Networks，它是将VGG网络当中的全连接层改为卷积层，从而让网络模型可以接受任意大小的输入图，不需要求训练图和侧视图具有同样的尺寸，并通过反卷积进行上采样恢复图像的分辨率，可以实现给每一个像素进行分类，实现像素之间进行端到端学习，从而实现语义分割。

全连接层输入，如图1所示，将一个2×2的矩阵通过全连接得到一个4维向量的过程。卷积层和全连接层的相同之处在于卷积层和全连接层都是进行一个点乘操作，它们的函数形式相同，但是全连接层的权值是固定的，因此要求特征图的大小和网络模型开始输入的图像大小也需固定，而全连接层提取特征图的局部特征，使用滑动窗口对特征进行提取，因此对特征图的大小和网络模型开始输入大小不需固定。

图1 全连接层输入

反卷积上采样实际上也是一种卷积，一般普通的卷积在特征提取阶段会使得图像分辨率降低，如图2所示的卷积核去卷积4×4得到2×2的输出。但是反卷积上采样在卷积时，需要在图像在像素之间补零，通过在像素之间进行补零，然后使用卷积核进行特征提取，从而得到一个高分辨的特征图。

图2 卷积和反卷积示意图

2 改进FCN的网络模型

2.1 改进的FCN2s模型

由于FCN8s模型分割图像时，准确率较低，提出一种FCN2s_2网络模型分割方法。首先对FCN8s模型结构进行改变，如图3所示，FCN2s在FCN8s的基础上，进一步进行特征融合，把FCN8s最后一步对特征图8倍上采样改为2倍上采样，和pool2最大池化得到的特征图进行融合，进行2倍上采样，得到的特征图，继续和pool1最大池化得到的特征图进行融合，最后2倍上采样输出。以此对每一个经过卷积层提取特征最大池化后得到的特征图都进行融合，极大的丰富了语义信息。

图3 FCN2s模型

2.2 改进的双支FCN2s网络模型

针对FCN2s当中，特征提取卷积层比较少，提取的特征不够全面和详细，改进双支FCN2s网络模型分割方法流程如图4所示。该方法当中，含有两个FCN2s子模型，在个子模型当中，将两个子模型的pool1—pool5和conv7得到的特征图分别进行融合，再把融合的特征，从conv7开始，反向进行2倍上采样，分别与前一个融合的特征再进行融合，把所有特征融合以后，最后进行2倍上采样，最后输出分类分割图。

图4 双支FCN2S_2模型

3 实验

3.1 实验数据集和平台

本文采取网上公开和手机收集的舌象数据集2000张，构成TongueImages数据集，样本如图5所示。数据集分为90%为训练集，10%作为测试集，在使用本数据训练模型时，为了提高模型的泛化能力，需对数据集进行像素级标注，分为背景和舌体。由于基于深度学习神经网络分割，数据集样本数量的大小直接影响到深度模型的性能，样本太少，模型会出现过拟合，因此为了防止过拟合，则需采取常用的方法进行增强处理，对样本进行旋转角度为0.2的随机转动、图像宽度和高度偏移的幅度为0.05、剪切变换的程度为0.05、随机缩放幅度为0.05、随机水平翻转和模式填充为最近邻插值。

图5 部分舌象数据集

3.2 实验设置和评价指标

为了更好的对模型进行训练和评估，在训练中对网络参数设置为：batch_size=2、迭代次数为500、优化器为Adam、损失函数为dice_coef_loss、调正学习率为reduce_lr（对val_loss的值进行监测，学习率的值将0.1*lr的形式被减少，当2epoch过去而模型不能提升时，学习率减少的工作将会被触发）。

该方法使用当前语义分割中比较流行的两个指标进行评价。

k为数据集中的总类数，p ii表示被正确分类的数量，p ij表示第i类数据被标记为第j类的数量，p j i表示第j类数据被标记为第i类的数量。

Dice系数是一种计算集合相似度度量的函数，通常用于GAN网络分割模型的准确率评价，它主要计算真实特征X和生成特征Y的相似度，值的范围为［0，1］。X∩Y表示集合X和Y的交集，|X|和 |Y|表示对应集合的元素个数。

3.3 实验结果分析

3.3.1 总损失函数结果分析

如图6所示，为模型在迭代过程中的损失总函数变化趋势图，该图横轴为模型的迭代次数，纵轴为损失函数的值，总损失函数为（loss-1），因此损失函数越小表示拟合程度越好。从图中可以看出，三个模型的损失函数相差不多，迭代次数在130前，FCN8s和FCN2s损失函数比FCN2s_2低，迭代次数在130后，FCN2s_2的就比这两个低。并且从中可以看出，FCN2s一直都比FCN8s低。

图6 总损失函数趋势

3.3.2 评价指标分析

为了更好地分析不同模型之间的分割精度，该实验采取IoU和Dice评价指标对模型进行评价分析。为了保证公平性，在训练过程中，模型迭代次数、训练过程和实验设置都应一样，各模型的差异性主要是模型不一致，评价加过如表1所示，从中可以看出，不管是IoU评价指标还是Dice评价指标，FCN2s_s模型都为最优，FCN8s分割精度最低，从改进的模型来看，改进的FCN2s比FCN8s模型好，评价指标IoU提高2.27%，评价指标Dice提高1.33%。改进的FCN2s_s比FCN8s模型评价指标IoU提高9.31%，评价指标Dice提高5.94%，比FCN2s模型评价指标IoU提高7.04%，评价指标Dice提高4.61%。

表1 实验平台

表2 评价指标

3.3.3 可视化分割结果分析

如图2所示为不同模型分割结果可视化和原图像与标签图像对比图，第一行为原图像，图像取自TongueImages数据集，第二行为标签图像，第三行到第五行为模型分割结果可视图。从图7可以看出，FCN8s分割结果存在一些不足，对舌象边缘的分割不够精准，FCN2s和FCN2s_2基本上可以把舌体分割出来。

图7 分割结果可视化

4 结语

本文提出一种新的双支FCN2s_2的舌象分割算法。通过增加低级语义信息融合的程度，从而丰富特征提取的语义信息，获取到更多的边界细节，再结合双支的网络结果，增强特征提取能力，实现了对舌象的准确的提取。为了验证算法的有效性，文中采用TongueImages数据集进行实验，和FCN8s相比，该方法在分割当中，分割精度更高，分割边缘更准确。