冯旭冰,唐 平,赖志飞
(广东工业大学 自动化学院,广东 广州510006)
数字图像处理技术对周围神经准确、高效地建模使得周围神经损伤修复手术的精准实现成为可能[1]。周围神经中含有运动与感觉两种纤维成分,某个功能束又是以占相对优势的一种纤维为主要成分。在进行周围神经图像处理中,要求对神经纤维的性质进行准确识别,相同性质的神经束对位正确,提高周围神经三维重建的精度。
对于利用不同染色方法得到周围神经切片的显微图像,神经纤维的染色特征各有不同。染色技术的限制使得单一染色方法得到的切片图像不能表征全部神经纤维,同时特征数据集是通过不同种的复染图像获得,很难将这些数据集整合在一起。利用信息融合[2]的思想,将3种复染图像作为3个信息源,利用信息融合的方法完成分类。信息融合技术最先应用在多传感器检测系统中,对来自于不同传感器的信息和数据进行综合处理,得到比单一传感器更加可靠的结论[3]。利用一致性的信息融合方法[4]完成3种复染图像的信息融合,同时考虑切片图像制备不精确以及环境噪声和人为干扰等因素会造成神经纤维数据集的不确定性,所以实质上神经纤维特征信息融合过程是一个不确定性推理的过程。在多传感器信息融合的最终判决中应用DS理论[5]的决策方法,能够有效地处理多信息源的不确定信息,祛除冗余信息[6-8]。Xin Zhang[9]利用D-S理论结合信息融合的灰度模型识别方法完成灰暗小目标的识别,Guo He[10]在其文中也有不错的效果。
本文提出利用D-S推理决策将神经纤维特征进行融合决策同时结合信息融合将3种复染图像的信息进行融合得到最终分类结果的方法。本方法可以较好利用不同的复染图像的不同信息以完成3种神经纤维的分类。实验结果表明结合3种复染图像有助于提高神经纤维分类的准确率。
神经切片染色图像的特征凸显程度严重影响后期计算机图像处理的准确率,神经束内不同神经纤维占比率的准确计算直接影响识别3种神经束功能性质的判决标准。由于切片制备以及图像采集中都会引入误差,并且不同的染色方式凸显的神经纤维的特征不同,所以一种染色图像不能精确地凸显周围神经的运动神经、感觉神经和混合神经的神经束功能束性质,也不能完全凸显神经束内神经纤维的髓鞘等特征(如图1所示)。
图1 单种染色方法的神经图像
考虑到以上原因,本文提出利用复染技术得到的具有能差异性地凸显不同的神经束内神经纤维的特征纹理的图像,从多源图像中取得多特征信息。3种图像的样本图如图2~图4所示。三幅图像分别是Karnovsky-Roots-甲苯胺蓝-丽春红2R、Karnovsky-Roots-甲苯胺蓝-变色酸2R、Karnovsky-Roots-甲苯胺蓝-水溶性猩红染色方法得到的图像。
用3种复染图像分割出3种神经纤维图像样本如图5所示,可以从中分析3种染色图像中的神经束区域、神经束膜和神经束间结缔组织的着色、色斑、视觉差异和髓鞘凸显的程度,从髓鞘轮廓包绕的着色轴索,髓鞘轮廓中央无特异着色以及特征色斑位于髓鞘之间等特征分析运动神经纤维特征、感觉神经纤维的和交感神经纤维的特征。利用矩估计方法计算总体统计特征[11],得到样本的平均灰度、灰度标准差、面积、周长、似圆度、RGB 值的统计特征见表1。
图2 Karnovsky-Roots-甲苯胺蓝-丽春红2R 染色方法得到的切片显微图像
图3 Karnovsky-Roots-甲苯胺蓝-变色酸2R 染色方法得到的切片显微图像
图4 Karnovsky-Roots-甲苯胺蓝-水溶性猩红染色方法得到的切片显微图像
图5 九类神经纤维样本
在D-S推理中,已知不确定知识的产生式规则的知识描述,利用概率分配函数的合成规则求取信任函数、似然函数和类概率函数,得出D-S推理的基本模型如图6所示。
表1 统计特征汇总
图6 D-S推理的基本模型
D-S推理是一种建立在非经典逻辑基础上的基于不确定知识的推理。D-S推理用集合表示命题,称为识别框架。它由一些互斥且穷举的元素组成,包含人们认识到的所有可能的结果,记为D ={θ1,θ2,…,θ3}任何时候任意子集取D 中的某一个元素。
定理1 概率分配函数(MASS):对于每个子集A,给定一个概率,称为基本概率分配。设函数M:2D→[0 ,1]满足:
(1)M(θ)=0;
(2)∑ADM(A)=1;
称M 是2D上的概率分配函数。
定理2 信任函数:bel:2D→ [0 ,1] 为bel(A)=∑BAM(B)。
定理3 似然函数:pl:2D→ [0 ,1] 为ppl ((A ))=1-bel( ~ A )。
设不确定知识的产生式规则表示为:IF E THEN H={h1,h2,…,h3}CF={c1,c2,…,c3}。
由上述知识描述获得的概率分配函数
同时,对同类证据得到的不同的概率分配函数,可通过正交和的形式合成
所获取的特征向量测量值不包含有完整的知识描述,应用时需要将我们得到的特征向量转变为所需要的概率分配函数。若已知每种特征之间的支持度,然后将测量值模糊化,那么我们就得到了每种特征的可信度和该特征测量值的可信度,这与概率分配函数中证据可信度和结论可信度是完全等价的。将识别框架中的事件看成模糊集,这符合在证据空间中常用模糊的概念来描述证据,利用将测量值模糊化的方法得到所需的概率分配函数。
考虑测量值服从高斯分布
设两个个传感器测得的数据分别为xi和xj
式中:dij——器的距离测度。多个距离测度dij(i,j =1,2,…,n)构成多传感器数据的距离矩阵。
根据模糊理论中的相关性函数定义
归一化后的关性函数定义为
各个传感器被其它传感器支持的程度,令
式中:F——传感器被其它传感器支持的程度,称为传感器的可信度。传感器测量值可信度u(x)和传感器可信度Fi可得到传感器对最终类别的可信度矩阵
则概率分配函数为
将神经纤维的每一种特征作为一个传感器,获取神经纤维不同的特征信息,计算出神经纤维每个特征所得数据的隶属度,然后将其转化成概率分配函数,最后利用D-S合成规则对神经纤维的多特征值信息进行融合。最终得到神经纤维多特征测量值实际推理模型如图7所示。
图7 多测量值推理模型
根据式(3)~式(6)利用模糊化的方法将特征向量及测量值转化为概率分配函数。
图8为分类流程图。
图8 神经纤维分类流程
中山大学附属第一医院提供的人体周围神经切片显微图像作为本实验的素材的来源,将神经纤维分割提取得到分辨率为25×25的神经纤维图像。实验平台为Window 7操作系统,CPU 为酷睿双核2.1GHz,内存为2GB,显卡为448MB。软件环境为matlab2010b,vs2008 以及OpenCV。
用3种复染图像分割出3种神经纤维图像样本,每种样本60份,共计540张9组样本。利用矩估计方法计算总体统计特征见表1。对9组样本数据进行分类,对最终的分类可信度采取0.5 阈值的激活函数确定最终类别的划分。先利用再代入方式验证分类效果,为较好的估计泛化误差,采用交叉验证的方式,结果见表2~表4。
表2 再代入分类结果统计
在确定单种复染图像神经纤维的类别后,利用上一步得到的概率分配函数,参照流程图中的融合方法,然后再次利用D-S推理得到最终的神经纤维分类结果。单种图像的3种神经纤维的分类结果以及融合后的3种神经纤维的分类结果对比见表5。
表3 交叉验证分类结果统计(一)
表4 交叉验证分类结果统计(二)
表5 3种复染图像信息融合分类结果
从验证方法来看,采用再代入方式得到分类结果明显较交叉验证的方法的结果好,而交叉验证的部分准确率失常,这与样本的非均匀抽样有关。目前由于分割技术的限制,本实验神经纤维分割部分需要结合人工来完成,这样得到的纤维样本未能较好的代表总体,使得样本数据出现偏倚。按种类的分类结果,交感神经纤维的识别率要比感觉神经和运动神经纤维要高得多,这是交感神经纤维的特征较另两种神经纤维突出 (图5),导致这种对某一种类判定准确率高的结果出现,不过由于激活函数的阈值选取的是0.5,所以这并不影响另外两种神经纤维分类的准确率。最后利用基于D-S的信息融合方法将3种复染图像中的信息综合利用,使得3种神经纤维的分类准确率得到了提升,证明了利用了3种染色图像不同的信息特征的有效性。
作为医学三维重建的重要环节,神经纤维分类识别是医学图像处理的一个重要内容。将D-S理论推理决策的方法引入图像的特征分类和多源图像信息融合中,完成神经纤维的分类识别和3种染色图像信息的融合。本文在考虑测量值服从高斯分布的基础上,通过样本特征测量值的模糊化和求取待分类项的各特征值的可信度,完成测量值到概率分配函数的转化,将概率分配函数合成得到最单种复染图像神经纤维的分类结果。在得到3种复染图像神经纤维的概率分配函数后,再次利用基于D-S理论的合成规则完成最终的神经纤维分类。实验结果在实验样本非均匀抽样的前提下,完成了单种复染图像的分类,并利用3种复染图像信息融合的方法,提取不同信息,祛除冗余信息,提高了分类准确率。
[1]ZHANG Yi.Research on key technologies of the visualization digital simulation system of functional fascicular groups inside peripheral nerve [D].Guangzhou:Sun Yat-sen University,2009 (in Chinese).[张毅.四肢周国神经功能束三维可视化的关键技术研究 [D].广州:中山大学,2009.]
[2]WANG Yunfei,LI Hui,LI Yunbin.Evidence theory information fusion algorithm based on fuzzy reasoning [J].Computer Engineer and Applications,2010,46 (36):144-146 (in Chinese).[王云飞,李辉,李云斌.利用模糊推理的证据理论信息融合算法 [J].计算机工程与应用,2010,46 (36):144-146.]
[3]JIAN Xiaogang,JIA Hongsheng,SHI Laide.Advances on mutli-senior information fusion technologies[J].Chinese Journal of Construction Machinery,2009,7 (2):227-232 (in Chinese).[简小刚,贾鸿盛,石来德.多传感器信息融合技术的研究进展 [J].中国工程机械学报,2009,7 (2):227-232.]
[4]LI Hui,PAN Kai,ZHANG Xin.Multi-senior information fusion algorithm based on fuzzy theory [J].Computer Engineering and Applications,2012,48 (10):128-131 (in Chinese).[李辉,潘恺,张新.基于模糊理论的多传感器信息融合算法[J].计算机工程与应用,2012,48 (10):128-131.]
[5]Li Yibo,Wang Ning,Zhou Chang.Based on D-S evidence theory of information fusion improved method [C]//Proc of IEEE International Conference on Computer Application and System Modeling,2010:416-419.
[6]Li Lingling,Li Zhigang,Zhao Quanming,et al.An algorithm of general closeness degree based on evidence theory and its applications in fuzzy pattern recognition [C]//Proc of IEEE International Conference on Control,Automation,Robotics and Vision,2006:1-5.
[7]Guo Yinjing,Geng Ruiduo,Wang Ting,et al.Improving the evidence combination formulas of D-S evidential theory in medical information fusing [C]//Proc of the 2nd International Symposium on Systems and Control in Aerospace and Astronautics,2008:1-4.
[8]KONG Jinsheng,LI Wenyi.Evidence theory information fusion method based on fuzzy set[J].Computer Engineering and Applications,2008,44 (20):152-154 (in Chinese). [孔金生,李文艺.基于模糊集合的证据理论信息融合方法 [J].计算机工程与应用,2008,44 (20):152-154.]
[9]Zhang Xin,Gao Kun,Cai Junbo,et al.A novel infrared small dim target recognition method based on multi-sensor information fusion using evidence theory and grey model [C]//Proc of IEEE Cross Strait Quad-Regional Radio Science and Wireless Technology Conference,2011:1262-1265.
[10]He Guo,Pan Xingiong,Zhang Chaojie,et al.Multi-sensor information fusion method and its applications on fault detection of diesel engine[C]//Proc of IEEE International Conference on Computer Science and Network Technology,2011:2551-2555.
[11]LUO Peng.Study of related technology for visualization and virtual reconstruction of peripheral nerve nerve [D].Guangzhou:Sun Yat-sen University,2012 (in Chinese). [罗鹏.周围神经可视化虚拟重建相关技术研究 [D].广州:中山大学,2012.]