NSST和改进PCNN相结合的甲状腺图像融合

郑 伟，赵成晨，郝冬梅



NSST和改进PCNN相结合的甲状腺图像融合

郑 伟1a, 2，赵成晨1a, 2，郝冬梅1b

( 1. 河北大学a. 电子信息工程学院；b. 附属医院，河北保定 071002;2. 河北省数字医疗工程重点实验室，河北保定 071002 )

针对甲状腺B超图像的低对比度和SPECT图像的低空间分辨率的特点，提出了一种基于非下采样Shearlet变换(NSST)和改进脉冲耦合神经网络(PCNN)相结合的图像融合算法。本文用NSST将两幅经过精确配准的源图像分解，得到低频子带系数以及不同尺度和方向的高频子带系数。低频系数采取区域能量取大的融合规则，高频系数采取改进的PCNN算法，将改进的拉普拉斯能量和作为PCNN的输入项，梯度能量作为PCNN的链接强度，利用点火输出幅度总和取大的融合规则选择高频系数，最后通过NSST逆变换得到融合图像。实验结果表明，本文所提出的算法在主观视觉和客观标准上均取得良好的效果。

图像融合；甲状腺肿瘤；非下采样Shearlet变换；脉冲耦合神经网络

0 引 言

甲状腺癌是最常见的内分泌恶性肿瘤，已进入女性前十位癌谱，近年来发病率正逐年上升[1]。目前临床用于甲状腺癌诊断的影像学方法有B超、CT、MRI和SPECT等，其中B超、CT和MRI图像能够提供精确解剖信息，SPECT图像是功能成像能反映甲状腺肿瘤的良恶性[2]。对比CT、MRI和B超三种方法，CT检查中X射线对人体有一定辐射，MRI价格昂贵，而B超检查对人体无放射性损害、费用低，可重复性操作，并且能够提供甲状腺结构信息。因此，采用图像融合技术将甲状腺B超图像和SPECT图像相结合可提高甲状腺肿瘤的检出率。

医学图像融合是指将成像模态不同的多个医学图像的互补和有用信息相结合使其成为一幅新的图像。目前，甲状腺图像融合算法集中在小波、NSCT、Shearlet变换域[3-6]。文献[3]提出基于小波域的人工鱼群优化算法的甲状腺B超和SPECT图像融合算法，文献[4]提出NSCT与分数阶傅立叶变换相结合的多模态图像融合算法，文献[5]提出Shearlet变换和果蝇优化算法相结合的甲状腺B超和SPECT图像融合算法，文献[6]提出稀疏表示与Shearlet变换相结合的甲状腺图像融合算法。由于甲状腺B超和SPECT图像相差较大，使用小波变换不利于图像细节表示，使用NSCT变换计算复杂性高耗时久，使用Shearlet变换易产生伪吉布斯现象。非下采样Shearlet变换(Nonsubsampled Shearlet Transform，NSST)[7]具有平移不变性和多方向选择性，能更有效地提取图像特征信息，保证融合后图像能更多地保留源图像信息。

脉冲耦合神经网络(Pulse Coupled Neural Network，PCNN)具有全局耦合性和脉冲同步性[8]，NSST和PCNN结合的融合算法受到了研究者们的重视[9-11]。在红外和可见光图像融合方面，文献[9]提出将单个像素作为输入项，空间频率作为链接强度项的算法；文献[10]提出将空间频率作为PCNN输入项，拉普拉斯能量作为链接强度项的算法。在医学图像融合方面，文献[11]提出将拉普拉斯能量和作为PCNN输入项的融合方法，链接强度取固定值。PCNN的输入项在图像处理中占主导作用，链接强度决定着中心神经元和周围神经元间耦合的差异性。由于甲状腺B超和SPECT图像相差较大，单个像素作为输入项容易造成信息损失，融合图像失真，空间频率作为输入项使甲状腺图像融合性能降低。链接强度值取常数限制了PCNN的普遍性，由空间频率或拉普拉斯能量作为链接强度项得到的甲状腺融合效果较差。

本文提出基于NSST和改进PCNN相结合的甲状腺B超和SPECT图像融合方法，将改进的拉普拉斯能量和(Sum Modified Laplacian，SML用SML表示)[12]作为PCNN的输入项，将梯度能量(Energy of Gradient，EOG，用EOG表示)[13]作为PCNN的链接强度值，解决了甲状腺图像融合中信息损失和融合性能差的问题。高频融合规则采用PCNN点火幅度总和取大法，低频融合规则采用区域能量取大法。实验结果表明本文算法在甲状腺图像融合中能够得到良好的融合效果。

1 融合原理

首先，利用NSST将已经配准好的源图像，进行分解，得到低频分解系数，和高频分解系数，。其次，对，采取区域能量取大的融合规则，得到低频融合系数；对，采取改进的PCNN融合规则，将SML作为PCNN刺激输入，EOG作为链接强度项，利用点火输出幅度总和取大的融合规则得到高频融合系数。最后，将和通过NSST逆变换得到融合图像F，如图1。

图1 融合原理图

2 融合规则

2.1 低频区域能量取大融合规则

对源图像多尺度和多方向分解后，得到的低频图像表示图像的近似成分，包含了源图像的主要信息。低频融合规则通常采取简单平均或加权平均方法[14-15]，但这样容易丢失源图像的细节信息，降低图像对比度。由于图像中某一局部区域内的各像素点之间往往有较强的相关性，所以本文采取基于区域能量取大的融合规则，进一步体现出图像的局部特征。低频系数的区域能量表示如下：

式中：=,，其中，表示两幅源图像。表示图像在像素点的低频系数值，´为邻域大小，本文选取的邻域大小为3×3。区域能量取最大值的融合规则如下：

(2)

2.2高频PCNN点火幅度总和取大融合规则

源图像经过NSST分解后的高频系数包含了图像的细节和边缘信息。SML能反映图像的局部清晰度，SML越大，图像的清晰度就越大。尽管图像中每个像素都和PCNN中的神经元相对应，但不是所有神经元的链接强度都相同，应该选取像素的具体特征作为链接强度值。梯度能够很好地检测出图像的边缘信息，梯度能量能反映图像的清晰度特征。因此，本文提出将SML作为PCNN的输入项，将EOG作为链接强度引入PCNN。SML和EOG可表示为

(4)

(5)

(7)

式中：=,，是像素点处的高频系数值，、分别表示图像分解级数和方向数；´为邻域大小，本文选取的邻域大小为3×3，表示改进的拉普拉斯(Modified Laplacian)[12]；表示像素的梯度，表示当前神经元与其他神经元链接的强度。

利用每个高频子带的SML去激发PCNN，得到改进PCNN模型：

由于PCNN输出脉冲的判决只是0和1，为了能够体现出点火幅度差异[16]，本文采取Sigmoid函数[17]计算每次迭代的点火输出幅度。Sigmoid函数的非线性可用来产生脉冲，将点火输出幅度的总和作为高频系数的评判标准，PCNN的输出：

(10)

当迭代次数达到最大迭代次数时，迭代停止。依据源图像，的各个高频系数的点火输出幅度总和，的值来确定融合后各带通方向的融合系数：

3 实验结果及分析

为了验证本文算法的有效性，分三步进行实验。首先对不同变换域进行比较；然后在NSST域内采取不同PCNN融合规则进行比较；最后将本文算法与现有的甲状腺图像融合算法进行比较。从主观评价和客观评价两个方面来评价融合图像的质量。选取标准差(Standard Deviation，STD)，信息熵(Information Entropy，IE)，平均梯度(Average Grads，AG)[4]和互信息(Mutual Information，MI)[18]为4种客观评价参数，标准差被用来测试图像对比度；信息熵反映了图像信息量的多少；平均梯度反映了图像的微小细节和纹理特征；互信息反映了源图像有多少信息转移到了融合图像中。以上参数值越大，融合效果就越好。本文选取的甲状腺肿瘤图像经过严格配准，由河北大学附属医院提供。实验在MATLAB 7.9平台上进行，CPU为2.20 GHz，内存4 GB。

3.1 基于不同多尺度变换域的融合算法对比

为了验证NSST相较于一般多尺度变换域算法的优越性，在小波、Contourlet、NSCT和NSST域内，低频系数均采取加权平均法，高频系数均采取像素绝对值取大法。四种变换均采取四层分解，Contourlet变换、NSCT和NSST的分解方向数均为{2,2,3,3}，Contourlet变换金字塔滤波器为“9-7”，方向滤波器为“pkva”；NSCT的非下采样金字塔滤波器为“pyrexc”，方向滤波器为“vk”；NSST非下采样金字塔为“maxflat”。甲状腺肿瘤的B超和SPECT图像融合结果如图2所示。

图2(a)是甲状腺肿瘤的B超图像，主要反映组织结构信息，图2(b)是甲状腺肿瘤的SPECT图像是功能成像，反映肿瘤的良恶性信息。图2(c)~(f)是不同变换域的融合结果。从图2中可以看出，小波变换融合图像有明显块状效应，Contourlet变换融合图像丢失了部分SPECT图像信息，而NSCT和NSST的融合图像视觉差别不明显。为了进一步说明NSST的优越性，将图2(c)~(f)的融合图像与图2(a)甲状腺肿瘤B超图像做差取反，得到残差图像(g)~(j)。若残差图像中残存的B超图像细节特征越少，说明融合结果越好。从残差图像可以看出，小波变换残留B超特征最多，Contourlet变换的残差图像损失了部分SPECT图像信息，NSCT的残差图像中SPECT图像周围残留了较多B超图像信息，且以上三种变换的残差图像都能看出B超图像轮廓，而NSST残差图像残留B超细节最少，说明融合图像能更多地保留源图像的信息。

图2 不同变换域的甲状腺肿瘤融合图像和残差图像

表1为不同变换域得到的融合图像的客观评价参数。从表1可以看出，NSST的融合图像评价参数中标准差STD和熵IE明显高于其他三种变换方法，平均梯度AG和互信息MI也均高于融合效果差别不大的NSCT变换方法，虽然小波变换的平均梯度和Contourlet变换的互信息分别是最高的，但其他三项指标值均明显低于NSST。可见，NSST更适合作为甲状腺肿瘤图像融合的变换域。

表1 不同变换域的客观评价参数

3.2 基于NSST的不同PCNN融合算法对比

为了验证本文融合算法的有效性，在NSST域内，将本文算法记为SML-EOGPCNN，与其他5种融合算法对比。方法1[9]，低频高频系数均采取由单个像素激发的PCNN的方法，由空间频率决定，记为SFPCNN；方法2[19]，低频高频系数均采取单个像素激发的PCNN的方法，记为NSST-PCNN；方法3[10]，低频系数采取区域方差匹配度融合规则，高频系数融合规则是由空间频率激发PCNN，由拉普拉斯能量和决定，记为SF-EOL PCNN；方法4[11]，低频系数采取区域能量取大法，高频系数采取由SML激发的PCNN的方法，，记为SML-PCNN；方法5，低频系数采取区域方差取大法，高频系数采取和本文算法一致的方法，记为VAR-SML-EOGPCNN。NSST参数按照本文3.1节的参数设置，其分解方向数为{2,2,3,3}和非下采样金字塔为‘maxflat’。PCNN算法参数设定为，，，，，迭代次数最大值为20。融合结果和残差图像如图3所示。

从图3(a)和(b)可看出，单个像素作为PCNN输入项得到的融合图像会丢失SPECT图像的信息，融合视觉效果较差；图3(c)和(e)的融合图像对比度低，边缘不清晰，无法准确判断甲状腺肿瘤轮廓，所得残差图像残留了较多B超图像信息；对比图3(e)和(f)可以看出对于甲状腺图像融合，低频系数采取区域能量取大法要优于方差取大法；对比图3(d)和(f)可以看出，链接强度取常数和由EOG代替所取得的融合效果差别不大，但对比残差图像可以明显看出，链接强度取常数的残差图像残留了较多B超图像信息；图3(f)融合图像亮度适中，符合人眼视觉习惯，残留的B超图像信息最少，保留了源图像的主要特征信息。表2为融合图像客观评价参数。从表2可以看出本文算法四项评价参数均高于其他五种融合算法。综合主观和客观评价可以看出本文算法得到的融合图像相比于其他算法，图像更清晰，能从源图像中得到更多的细节和边缘信息，取得了很好的融合效果。

图3 不同PCNN算法的甲状腺肿瘤融合图像和残差图像

表2 六种融合算法的客观评价参数

3.3 甲状腺图像融合算法对比

为了说明本文融合策略的有效性，将本文融合算法记为NSST-SML-EOGPCNN，与现有的甲状腺B超和SPECT图像融合算法进行对比。方法1[3]，小波域内人工鱼群优化算法，记为Wavelet-AF；方法2[5]，Shearlet域内果蝇优化算法，记为ST-FOA；方法3[6]，Shearlet变换和稀疏表示相结合的方法，记为ST-Sparse。对比方法参数均按照相应参考文献设置，本文算法参数按照本文3.2节设置。图4为融合结果和残差图像。

从图4(a)可以看出，采取小波域人工鱼群优化算法得到的融合图像偏暗，残差图像残留B超信息最多，融合效果较差；图4(b)融合图像部分失真，融合质量欠佳，图4(b)和(c)也残留了部分B超信息；图4(c)和(d)得到的融合图像亮度适中，清晰度较高。表3为客观评价参数，可看出本文算法标准差和平均梯度值均优于其他算法，方法1的熵值和方法3的互信息虽然分别是最高值，但其他项均明显低于本文算法，表明本文算法能更全面地保留源图像信息，在甲状腺B超和SPECT图像的融合精度提高方面是有一定优势的。

表3 不同甲状腺图像融合算法的客观评价参数

4 结 论

本文提出一种NSST和改进PCNN相结合的甲状腺肿瘤图像融合方法。利用NSST的平移不变性和多方向特性对源图像分解，考虑到低频图像局部区域内像素间的相关性，融合规则选取区域能量取大法；针对NSST和PCNN结合的融合算法在甲状腺图像融合中易产生信息丢失、图像失真和融合性能低的问题，将SML作为PCNN输入项，EOG作为链接强度，采取点火幅度总和取大融合规则选取高频融合系数。实验结果表明，本文算法能更有效地保留图像的细节信息，融合图像边缘和纹理清晰，无失真，取得了良好的融合效果，从主观和客观上都体现了本文算法应用于甲状腺图像融合的可行性和有效性。

参考文献：

[1] 罗胜兰，俞敏，龚巍巍. 甲状腺癌的流行现状及其危险因素 [J]. 中国预防医学杂志，2013，14(4)：317-322.

LUO Shenglan，YU Min，GONG Weiwei. Epidemic status and risk factors on thyroid cancer [J]. Chinese Journal of Preventive Medicine，2013，14(4)：317-322.

[2] 于颖娟. 甲状腺癌的诊断和治疗进展 [J]. 中国现代医生，2012，50(18)：18-19.

YU Yingjuan. Diagnosis and treatment progression of thyroid cancer [J]. China Modern Doctor，2012，50(18)：18-19.

[3] 郑伟，张京谱，田华，等. 人工鱼群算法优化的小波图像融合 [J]. 电视技术，2014，38(1)：26-33.

ZHENG Wei，ZHANG Jingpu，TIAN Hua，. Artificial Fish Algorithm Using in Wavelet Image Fusion [J]. Video Engineering，2014，38(1)：26-33.

[4] WANG Peiguang，TIAN Hua，ZHENG Wei. A Novel Image Fusion Method Based on FRFT-NSCT [J]. Mathematical Problems in Engineering(S1024-123X)，2013，11：1-9.

[5] 郑伟，孙雪青，郝冬梅，等. 结合Shearlet变换和果蝇优化算法的甲状腺图像融合 [J]. 激光杂志，2014，35(9)：70-78.

ZHENG Wei，SUN Xueqing，HAO Dongmei，. Thyroid Image Fusion Based on Shearlet Transform and Fruit Fly Optimization [J]. Laser Journal，2014，35(9)：70-78.

[6] 郑伟，孙雪青，郝冬梅，等. Shearlet变换和稀疏表示相结合的甲状腺图像融合[J]. 光电工程，2015，42(1)：77-83.

ZHENG Wei，SUN Xueqing，HAO Dongmei，. Thyroid Image Fusion Based on Shearlet Transform and Sparse Representation [J]. Opto-Electronic Engineering，2015，42(1)：77-83.

[7] EASLEY Glenn，LABATE Demetrio，LIM Wang-Q. Sparse directional image representations using the discrete shearlet transform [J]. Applied and Computational Harmonic Analysis(S1063-5203)，2008，25(1)：25-46.

[8] 金星，李晖晖，时丕丽. 非下采样contoudet变换与脉冲耦合神经网络相结合的SAR与多光谱图像融合 [J]. 中国图象图形学报，2012，17(9)：1188-1195．

JIN Xing，LI Huihui，SHI Pili. SAR and multispectral image fusion algorithm based on pulse coupled neural networks and non-subsampled Contourlet transform [J]. Journal of Image and Graphics，2012，17(9)：1188-1195．

[9] KONG Weiwei，ZHANG Longjun，LEI Yang. Novel fusion method for visible light and infrared images based on NSST–SF–PCNN [J]. Infrared Physics & Technology(S1350-4495)，2014，65：103-112.

[10] 江平，张强，李静，等. 基于NSST 和自适应PCNN的图像融合算法[J]. 激光与红外，2014，44(1)：108-113.

JIANG Ping，ZHANG Qiang，LI Jing，. Fusion algorithm for infrared and visible image based on NSST and adaptive PCNN [J]. Laser & Infrared，2014，44(1)：108-113.

[11] SNEHA Singh，DEEP Gupta，ANAND R S，. Nonsubsampled shearlet based CT and MR medical image fusion using biologically inspired spiking neural network [J]. Biomedical Signal Processing and Control(S1746-8094)，2015，18：91-101.

[12] 杨勇，童松，黄淑英. 快速离散Curvelet变换域的图像融合 [J]. 中国图象图形学报，2015，20(2)：0219-0228.

YANG Yong，TONG Song，HUANG Shuying. Image Fusion Based on Fast Discrete Curvelet Transform [J]. Journal of Image and Graphics，2015，20(2)：0219-0228.

[13] HUANG Wei，JING Zhongliang. Evaluation of focus measures in multi-focus image fusion [J]. Pattern Recognition Letters(S0167-8655)，2007，28(4)：493-500.

[14] MING Yin，LIU Wei，ZHAO Xia，. A novel image fusion algorithm based on nonsubsampled shearlet transform [J]. Optik Communications(S0030-4026)，2014，125(10)：2274-2282.

[15] CAO Yuan，LI Shutao，HU Jianwen. Multi-focus Image Fusion by Nonsubsampled Shearlet Transform [C]// 2011 SixthInternational Conference on Image and Graphics(ICIG)，Hefei，China，August 12-15，2011. New York：IEEE，2011：17-21.

[16] 廖勇，黄文龙，尚琳，等. Shearlet与改进PCNN相结合的图像融合 [J]. 计算机工程与应用，2014，50(2)：142-146.

LIAO Yong，HUANG Wenlong，SHANG Lin，. Image Fusion Based on Shearlet and Improved PCNN [J]. Computer Engineering and Applications，2014，50(2)：142-146.

[17] FORGAC R，MOKRIS I. Feature generation improving by optimized PCNN [C]// 2008Sixth International Symposium on Applied Machine Intelligence and Informatics(SAMI)，Herlany，Jan 21-22，2008. New York：IEEE，2008：203-207.

[18] 郑伟，李凯玄，张晶，等. 基于改进蝙蝠算法的甲状腺SPECT-B超图像配准 [J]. 河北大学学报：自然科学版，2015，35(5)：520-525.

ZHENG Wei，LI Kaixuan，ZHANG Jing，. Registration of SPECT Image and B-type Ultrasound Image Based on Improved Bat Algorithm [J]. Journal of Hebei University：Natural Science Edition，2015，35(5)：520-525.

[19] GENG Peng，ZHENG Xiang，ZHANG Zhigang，. Multifocus Image Fusion with PCNN in Shearlet Domain [J]. Research Journal of Applied Sciences，Engineering and Technology(S1596-3233)，2012，4(15)：2283-2290.

Thyroid Image Fusion Based on NSST and Improved PCNN

ZHENG Wei1a,2，ZHAO Chengchen1a,2，HAO Dongmei1b

(1. a. Electronic Information Engineering College; b. Affiliated Hospital of Hebei University, Hebei University, Baoding 071002, Hebei , China;2. Key Laboratory of Hebei on Digital Medical Engineering, Baoding071002, Hebei, China)

According to the characteristics of type-B ultrasonic image with low contrast and SPECT image with low spatial resolution, an image fusion algorithm based on Nonsubsampled Shearlet Transform (NSST) and improved Pulse Coupled Neural Network (PCNN) is proposed. The NSST is used to decompose two registered source images, and low frequency sub-band coefficients and high frequency sub-band coefficients with different scales and directions are obtained. Low frequency coefficients are fused by the maximum of the regional energy. High frequency coefficients are fused by improved PCNN algorithm. The Sum Modified Laplacian is used for the input of PCNN, and the Energy of Gradient is used for the link intensity of PCNN, thus the high-frequency coefficients are selected by the sum of ignition output amplitude maximum. Finally, the fused image is reconstructed by inverse NSST. Experimental results demonstrate that the proposed algorithm achieves good results in the subjective perspective and objective criteria.

image fusion; thyroid cancer; nonsubsampled shearlet transform; pulse coupled neural network

1003-501X(2016)10-0042-07

TP911.73

A

10.3969/j.issn.1003-501X.2016.10.008

2016-01-07；

2016-04-09

河北大学医工交叉研究中心开放基金项目(BM201103)

郑伟(1972-)，女(汉族)，黑龙江兰西人。教授，博士，主要研究工作是图像处理方面的研究。E-mail：147685650@qq.com。