张毅辉,秦品乐,曾建潮
(中北大学 大数据学院,山西 太原 030051)
脑白质疏松症(LA)是一种脑白质区域病变疾病,重点体现为认知功能的紊乱[1],常发生在老年人群中,关于该疾病的病因,当前理论研究及临床实践中尚未明确.但可以肯定的是,该疾病与年龄、高血压、高血脂等病理有关系.临床方面主要运用核磁共振成像(MRI)来鉴定脑白质疏松症,从MRI图像上可以看出:LA重点在脑室前后角位置以及半卵圆中间部位大小不同的斑状上凸显或者片块在T2图像上呈高亮显示[2].在临床上,这一病症可能会导致患者走路不稳、认知功能丧失,甚至是抑郁.诸多医学探究证实,脑白质疏松症引发的认知功能紊乱不仅和脑部疾病产生的具体部位相关,并且和病变区域的面积大小相关[3].目前,医生对病变区域面积大小与部位的判断大多依赖于临床经验,这种经验预估过于主观,会影响对病发程度的正确判断,容易造成误诊.随着图像处理技术的发展,不论是图像增强和分割技术或是变化检测技术[4-6],都能帮助医生对患者病发区域定量定性分析,所以,将图像处理技术应用于脑白质疏松症MRI图像的医学辅助诊断已逐渐成为LA临床诊断研究的一大趋势.
作为当前最重要的图像处理手段之一,图像变化检测技术一直是图像处理研究中的重点和热点,其在医学领域的应用上为人体器官及病变组织变化区域的可视化、量化分析提供了重要的辅助作用.医学影像变化检测方法可以准确检测出患者脑部区域内病灶的生长情况,并通过借助计算机处理技术,对脑部病变区域进行精准检测,然后根据检测结果推断出LA病情的变化趋势,对协助鉴定以及预防有着至关重要的作用[7].
医学图像的变化检测通常分成三个环节[8]:预处理、生成差异图与解析差异图.预处理步骤重点包含了对图像的配准,归一化处理以及去噪等,差异图生成的目的是为了区别两张医学图像中的变化类与非变化类,同时为后续的差异图分析过程提供参考.而差异图生成之后,则需要做更进一步的研究和分析,最后会生成一张二值图,图像中的每一个像素值都表示发生变化或者未发生变化的两类状态.
预处理是医学影像变化检测的基础,由于医学图像自身的特点,会在生成图像时产生同一性质组织在灰度上的差异,因此需要进行灰度归一化操作.灰度归一化操作不但要保存具有鉴定价值的灰度差别,还要减少甚至去除影像中的灰度不一致,进而便于电脑自动做出分析与处理.按照灰度转化的依据能够把当前最常使用的方法划分成两种,即基于灰度直方图的归一化和基于图像内容特征的灰度归一化.
医学影像变化检测领域的传统方法有阈值法、差值法、变化向量分析法、局部转向核等机器学习算法.阈值法是最常用的方法之一,它最经典的算法是无监督最优阈值选择法.该方法通过构建数据模型对没有发生变化或者已经发生变化的数据进行直方图拟合,并结合Bayes最小错误率准则,对直方图中分布数据进行验证,从而获得最优阈值.比较典型的算法有期望最大化EM(Expectation Maximization,)算法[9]和KI(Kittler&Illingworth)算法[10].目前使用最多的阈值算法是GKI(Generalized KI)算法[11],它能够帮助分析者构建出高精度的差异图.但是其计算结果精确与否还与概率密度分布有关联,如果不能建立良好的模型,则效果会不理想,这也是该算法在实际应用中存在的不足.差值法是一种最简单高效的方法,它通过直接把两个影像的像素值进行相减,从而得出差异图像.这种图像处理方法的最大优势是计算快,效率高,不足之处是对配准的要求较高,对噪声非常敏感.文献[12]给出了一类新的差值法变化检测框架,并将其用于脑内多发性硬化检测,该方法在传统差值法的基础上进行了改进,具体分为三个步骤:第一步利用减法计算,对图像中的像素进行标准化处理;第二步是对周围区域的像素标准差相除得出计算结果;第三步通过标准化处理后的图像进行差值计算.其主要思想是加强图像的配准过程,以减少差值配准的误差.该方法的不足是图像偏移或校准很难保证.文献[13]中采用了局部转向核(LSK)方法,综合了像素的局部特征,将参照图像融合到目标图像中,并以此来评估图像之间的差异性,从而做到剔除差异提高最终的精确度.LSK的计算机理就是对两幅图像之间临近区域内像素点与中央像素点位置关系进行推导,从而确定标准内核的大小.而单模态的变化检测办法较易被核磁共振影像中的伪影现象所干扰.因此,文献[14]在计算局部转向核时加入了一种多模态的检测方式,大大降低了伪影所造成的干扰,得到了良好的检测结果.文献[15]提出了一种基于多模态的核磁共振影像的变化矢量分析方法,其方法的特点是能够将各像素模态的灰度值转化为灰度矢量,然后再进行相减得到变化矢量(CV),该方法用广义似然比来评定,根据GLR数值和变化向量角度来进行像素分类,最后用三维形式表现出来.该方法的不足之处是不同的灰度向量相减可能会得到相同的向量,造成的结果就是CV不唯一.文献[16]在邻域比与NSST的图像变化检测算法的基础上,通过复杂推导计算后,对NSCT时间复杂度进行了计算和优化,通过复杂推导计算后,能够得出相对准确的结果,该方法在时间与精度上均要好于固有的NSST运算方法,拥有良好的检测性能.把该方法运用在脑白质疏松症的MRI影像变化检测上,取得了不错的效果.
在上述的医学影像变化检测方法中,如何构建一幅性能优良的DI(差异图)是其关键所在,只有高质量的DI才能为后续差异图的分析环节提供良好的基础.DI可分离性的好坏也会直接影响到最终的分类效果.可见,产生好的DI是正确检测的前提.
传统的机器学习方法通常都要执行繁琐的特征项目工程.首先需要对数据执行深度的解析,接着再对其执行降维操作.而当使用深度神经网络时,一般仅需建立好深度网络,接着把数据传输到网格中就能够达到良好的效果,这就避免了整个操作中最烦琐而且最有难度的特性工程环节,极大地简化了操作流程.
深度学习作为新概念被各界关注[17],尤其是人工智能技术突飞猛进发展之后,带动了数据处理、自然语言以及视觉处理技术的全面提升[18].本文将深度学习应用于医学图像变化检测中,突破了传统的医学图像变化检测的基本框架,在不需要经过滤波和差异图构造的基础上,直接将两个图像进行联合分类.整个过程是通过深度置信网络(DBN)来实现的,具体操作如下:① 将图像1和图像2预处理后,进行联合分类得到粗分类的结果;② 结合粗分类的结果对样本进行合理的筛选并用于深度置信网络的训练,构造出一个性能良好的分类器;③ 利用这个分类器,对图像1和图像2进行分类处理,得出变化类与未变化类.这一算法结构简单明了,不仅简化了变化检测流程,同时也节省了大量计算时间,提高了运算效率,是医学图像变化检测的一个新突破.
本文给出问题陈述和算法的基本框架,详细描述了所提出的方法,并基于真实的脑部MRI影像实验检验了此方法的可行性.
在医学图像变化检测中,任何两幅原始图像都存在着复杂关系,所以想要从中获得变化检测结果是十分困难的,而深度学习可以帮助我们学习和表达这些抽象复杂的关系,深度结构涵盖了多层非线性结构,如深度神经元络中就带有隐层结构,层级越高则概念就越抽象.自动无监督的学习抽象表示的多层特征使得系统能够学习输入到输出的直接映射.关于变化检测问题,则可以运用深度学习算法,得出两幅图像变化类与未变化类,这就省去了滤波和差异图构造的过程,极大地提高了效率.
变化检测技术通常运用在医疗与灾难风险评估,而在这些领域中很少会有先验知识,所以能够进行无监督特征学习的深度神经网络就成为了首选.本文提出的无监督深度学习变化检测算法分为以下四个步骤:① 构建深度神经网络; ② 预分类构造合适样本; ③ 对网络进行训练; ④ 使用训练好的深度神经网络进行分类以获得检测结果.算法流程如图 1 所示.
图 1基于深度学习的变化检测算法Fig.1 Change detection algorithm based on deep learning
2.1.1 RBM能量模型
对深度神经网络分类器的训练,是本文研究的重点内容之一,训练过程就是对隐层中非线性网络进行优化处理,实现权值和偏重合理优化.若是对权重数值随机初始化,在复杂的BP网络中无法找到满意的解.对于接近且满意度高的解,其初始化权重能够确保梯度下降有序进行,要想获取这样一个权重数值,就需要针对每一层进行计算和推导,而限制性波尔兹曼机(RBM)能够实现这一计算过程.
RBM能量模型[19]主要是根据系统能量低稳属性,对神经网络权重参数进行初始化处理,通过该模型能够获取较合理的权重、偏移量.其能量模型如图 2 所示.
图 2RBM的能量模型Fig.2 Energy model of RBM
图中,(v1,v2,…,vl)表示可见单元为L个,(h1,h2,…,hm)表示隐藏单元为M个,这两种类型单元是重叠一体的.Wl×m为可见层与隐藏层上权重矩阵,b=(b1,b2,…,bl)为可见层的偏移量,c=(c1,c2,…,cm)是隐含层的偏移量.可见层与隐含层之间存在于(v,h)相关的能量函数[19]
(1)
系统能量与系统稳定性呈负相关关系,其能量越低则稳定性越好.通过预训练后能够让能量函数最小化,从而保证了网络系统的稳定性.
2.1.2 DBN网络的训练
DBN网络训练是在多个RBM基础上实现的,本文研究的DBN网络结构[20]如图 3 所示.图中W1,W2,W3,W4,W5代表每一层上的权重值,初始值是通过RBM预训练得出的权重数值,网络使用交叉熵作为损失函数并使用反向传播策略进行微调,具体计算公式[19]为
(2)
如图 4~图 7 是本文DBN的训练过程:
1) 输入每个位置的邻域特征,将两幅MRI图像对应位置的邻域矢量化并连接起来,作为神经网络的输入.
图 4邻域特征Fig.4 Neighborhood feature
2) 输入每个位置的邻域特征后,对RBM作预训练,得到初始化的权重和偏移量.
3) 将RBM展开成多层神经网络,即为深度置信网络.
4) 根据反向传播算法,实施优化和微调.
在完成训练与微调后,能够得到深度神经网络,神经网络的输入则是每一个位置像素的邻域特征,网络输出的则是像素类标,通过输出一个逻辑单元来表达变化情况,输出标签为0表示变化类,输出标签为1表示未变化类.
图 5RBM的预训练Fig.5 RBM pre-training
图 6深度置信网络的展开Fig.6 Expansion of deep belief network
图 7网络的BP微调Fig.7 BP fine-tuning of the network
构建神经网络后,需要构造合适的样本集用于网络的训练,由于医学图像的特点,要对原始的MRI图像进行归一化处理,目的是去除成像因素(参数设置、不同设备等)造成的图像灰度差异.本文对样本数据,即每一幅脑白质MRI图像,选取灰度值范围中10%和90%的值作为最小值和最大值,利用min—max方法将灰度归一化为0—255.
在对图像执行归一化操作后,还需要构造合适的样本集来进行深度神经网络的训练,本文的算法是一种无监督的变化检测方法,所以需要进行粗分类来选取合适的标签.由于要同时处理两幅图像,这里提出一种基于GKC的联合分类算法.GKC(Gustafson-Kessel clustering)算法是一种经典的模糊聚类算法,在变化检测方面有着良好的效果[21].本文联合分类的目的是为了进行预分类来选择合适的标签,该算法以灰度级作为输入,首先通过GKC聚类得到初步分类结果(标签),然后再通过计算差异度算子来决定两个像素点标签的归属,具体流程如图 8 所示.
图 8联合分类Fig.8 Joint classification
2.2.1 差异度的计算
具体计算步骤是:首先对图像中对应位置上像素灰度值差异度进行计算,选定位置(i,j).
(3)
当Sij>T时, 可以利用GKC聚类计算方法确定灰度值最终标签,或者使用方差最小原则,对分类参考点实施分类.
2.2.2 方差的计算
在t时间图像中的位置(i,j)处的方差计算公式为
(4)
其中
(5)
(6)
(7)
根据式(1)和式(5),可以得到
(8)
(9)
脑白质疏松症在图像学上有着鲜明的特点,它的病变区域在T2加权影像上LA病变区域呈现斑块状或片状的高亮信号,根据这一特点,本文实验将使用核磁共振图像的T2加权影像,图片的数据集来自由山西省肿瘤医院提供的脑白质疏松症患者的脑部MRI影像.本次实验使用Matlab 8.0,在Pentium IV5.0GHz、内存2 GB的计算机上运行,实验数据集抽样选取了15位病人的样本,并从中选择了两组样本作为测试集.每一组样本集都分为三个部分,其中第一部分是治疗之前脑部MRI影像,第二部分是治疗后的脑部MRI影像,第三部分是专家和医生手工标注出的两幅图像中发生变化的部分,即人工的检测结果.经过对比显示:图像中白色(灰度级255)代表变化类内容;黑色(灰度级0)表示未发生变化类内容.
图 9 和图 10 是两个测试样本的变化检测结果,通过与文献[16]算法的比较来验证本文算法的优越性.
图 9样本集一脑白质MRI变化检测结果图Fig.9 Detection results of chang in white matter MRI for sample 1
图 10样本集二脑白质MRI变化检测结果图Fig.10 Detection results of chang in white matter MRI for sample 2
图中两幅图像分别为治疗前与治疗后的脑部MRI图像,时间间隔为2个月.在对图像的变化检测结果评估时,通常是将变化检测结果与真实结果作比较,而在医学图像变化检测的实际应用中,真实的结果一般是很难得到的,所以人们常用人工检测结果来与计算机自动检测结果来进行比较,以此来评估算法的效果,但此方法具有较强的人为因素.V.Chalana等医学专家提出可以采用多位具有丰富经验的医生共同对手工变化检测得到的结果来作为金标准同计算机自动检测结果进行对比,该方法极大地减小了人为因素的影响,在医学领域得到了广泛认可.本文研究邀请了山西省肿瘤医院神经内科的多位临床医师,将他们利用丰富的临床经验共同制定的手工变化检测结果作为本实验的检测结果评判的金标准.根据图 9 和图 10 以及表 1 和表 2 可以看出,本文算法在错检率和漏检率有所降低,KAPPA系数有所提高,得到的图像也更接近真实图像,能够有效找出脑白质病变区域的变化部分,可以为脑白质病变疾病的辅助诊断和治疗提供参考.
表 1对图 9 变化检测结果的定量分析
表 2对图 10 变化检测结果的定量分析
本文提出了一种基于深度学习的脑白质病变区域MRI图像变化检测方法,将基于联合分类的特征提取与DBN网络相结合,并将该方法应用于实际的脑白质MRI图像上,通过与RNSST算法进行对比以及临床专业医师评定,表明该算法在医学图像变化检测方面具有良好的效果,能够较为准确地检测出脑白质病变区域中的变化部分,实现对病变区域的有效诊断,通过检测结果能够记录病变区域的变化和发展趋势,从而为临床治疗提供更多参考依据,有着巨大的实用价值和理论价值.但本文算法仍存在不足之处,还需要以下方面进行改进:
1) 实验结果很明显可以看出,采用深度学习方法的性能优于其他方法,但是由于医学影像变化检测对标注要求较高,数据样本很难获取,因此,所得出的结论仅是基于稀缺的样本数据获得的,大量数据样本的实验有效性需进一步考量.
2) 本文是基于二维的医学影像切片进行实验的,切片提供的信息量很难达到要求的条件.将二维延伸到三维立体影像可能会得到更加精确的检测效果以及获得更多的额外信息.
3) 由于实验训练数据较少,深度学习方法极易产生过拟合,因此,变化检测细节部分不敏感,可以结合传统的变化检测方法和深度神经网络进行半监督或者弱监督的医学图像变化检测.