李 响, 卜 巍, 邬向前
(1 哈尔滨工业大学 计算机科学与技术学院, 哈尔滨150001; 2 哈尔滨工业大学 媒体技术与艺术学院, 哈尔滨150001)
医学病变分割是计算机视觉领域一个具有挑战的方向。 肿块分割对于肿块的形状和病理分类都具有重要意义。 钼靶图像的成像原理是光线通过越密集的组织剩余量越少,成像越亮。 由于肿块病变是一个类球的结构,成像时从病变中心到边缘病变越来越薄,因此病变边缘非常不明显。 语义分割中有很多方法加入边缘检测,有助于场景的分割,而病变由于边缘渐变的特性,标注的边缘不足够准确,训练过程中边缘周围错误标注的像素反而影响网络的训练。 因此,本文利用形态学腐蚀操作生成计算损失的掩码,使错误可能性高的边缘周围部分不参与损失的计算。
乳腺肿块任务可以看作是像素级分类任务,也可看作是肿块的边缘检测任务。 目前有许多传统方法被提出,来解决乳腺肿块分割的问题,包括基于阈值的方法,迭代像素分类,区域增长,区域聚类,边缘检测,模板匹配和随机松弛的技术[1-2]。 经典的统计模型也用于分割问题,例如,Dhungel 等人运用多个深度置信网络(DBN),高斯混合模型分类器和先验作为潜在能量函数,以及结构化支持向量机(SVM)进行分割[3],也提出了使用深度置信网络或卷及神经网络特征作为其潜在能量函数的结构化支持向量机[4]。 仅基于全卷积网络(FCN)方法也可进行图像分割[5]。 但是,典型的全卷积网络结构不能准确地保留肿块边界。 为了克服这个缺点,Wentao Zhu 等人将全卷积网络与循环神经网络实现的条件随机场连接在一起,可增强分割结果的结构性[6]。 Vivek Kumar Singh 等人应用条件生成对抗网络结构实现肿块分割,并以分割结果为输入对肿块形状进行分类。
肿块分割网络的基线网络总体结构借鉴目前分割结果较好的Wentao Zhu 等人提出的网络结构。 本文在基线网络上利用形态学腐蚀操作,生成计算损失的掩码,掩码将损失计算分为三部分:病变区、背景区和模糊区,改变分割结果的对数损失计算,去除模糊区部分损失。 整个肿块分割网络结构如图1 所示。
输入为40×40 的图像块,图像输入4 个不同感受野的全卷积网络,每个全卷积网络包含3 个卷积层、两个池化层,实现特征编码,编码结果为一个特征向量,通过一个反卷积层解码特征向量,获得初步分割结果。 4 个全卷积网络的前两层感受野分别为2、3、4 和5,这样递增的设置可以使网络学习不同尺度上下文的细节特征。 以可学习的权重加权融合4个分割结果,融合结果输入条件随机场。 自适应的权重使网络可以根据数据集的特性选择不同分割结果的比例,加权求和实现了多分类器投票的效果,提高分割准确性。 条件随机场是给定一组输入随机变量X 的条件下,另一组输出随机变量Y 的条件概率分布模型。 实验中应用全连接的成对条件随机场,以全卷积网络的分割结果为条件,将像素标签建模为马尔可夫随机场中的随机变量。 Zheng 等人将条件随机场实现为循环神经网络,每次循环经过四步优化。 应用对抗性训练增强深层网络的鲁棒性,对抗性训练的思想是,如果模型足够强大,它应该对训练示例的小扰动保持不变。 网络训练过程中损失函数对输入图像求导,梯度矩阵方向的小向量作为对抗扰动,叠加到图像上,再一次计算损失函数。
根据像素级分割标签的结构,生成损失选择掩码。 将分割标签分为肿块标签和背景标签两部分,应用直径为3 的滤波核对两部分分别进行形态学腐蚀,腐蚀操作消除了肿块标注边缘的标签,结合腐蚀后的两部分生成掩码。 掩码白色区域是肿块中心部分,为正样本,损失函数为- log(p),掩码黑色区域是远离肿块的背景部分,为负样本,损失函数为- log(1 - p)。 灰色部分损失为0。 因为分割任务即为像素级分类,部分区域不计算损失不会影响网络的反向传播参数更新。
图1 网络结构Fig. 1 Network structure
实验应用DDSM-BCRP 数据集,该数据集为划分好训练测试集的DDSM 子集。 在钼靶图像上采集肿块所在图像块,缩放到40×40 大小。 网络为端到端训练,训练学习率为0.003,以28 的批量大小训练5 000 epoch。 训练采用Adam 优化方法。
医学病变分割算法的评估,主要应用DICE 系数。 为了证明本文方法的有效性,对基线方法和目前较好的肿块分割方法进行了实验对比,对比结果见表1。 本文的基线网络精度达到了91.04%,加入腐蚀损失后方法提高了0.02%。 较目前比较好的方法都有超过1%的显著提高。 分割可视化结果如图2 所示。 病变边缘渐变的现象并不只存在于钼靶图像中,大部分医学图像都有该现象,因此掩码选择计算损失方法可扩展到多种病变分割模型中。
表1 分割结果对比Tab. 1 Comparison of segmentation results
图2 分割实例Fig. 2 Segmentation instance
肿块分割与判断肿块形状、肿块分类和确定治疗方案都有相关性。 肿块分割可获得肿块的形状和边缘。 边缘信息反映了其生长方式和生物学特性。边缘不规则的、有毛刺状的肿块通常是恶性的,边缘光滑、形状规则的肿块一般是良性的。 本文提出了基于腐蚀损失的肿块分割算法,利用形态学腐蚀操作生成计算损失的掩码,使错误可能性高的边缘周围部分不参与损失的计算,进一步提高目前较好的应用全卷积网络和条件随机场进行肿块分割的方法的分割性能。 实验证明了本文的方法要比目前较好的几个分割方法都更加有效。 同时,边缘模糊的特性存在于多种医学图像中,本文的方法具有普适性,后续可应用于其他医学病变的分割算法。