丘赟立,蒋先刚,范德营
(华东交通大学基础科学学院,江西南昌 330013)
多种搜索算法在医学图片彩色迁移上的应用与分析
丘赟立,蒋先刚,范德营
(华东交通大学基础科学学院,江西南昌 330013)
通过对真彩图像与灰色MRI(核磁共振图像)切片在亮度及纹理等特征上进行配准而实现灰度MRI切片的彩色化,可以得到有效的符合真实人体器官组织的真彩仿真图片。对多种搜索算法如穷举法、随机法、粒子群算法和遗传算法与点邻域亮度分布纹理和局部颜色结构分布相结合并应用于Welsh图像彩色化的算法进行研究和分析。着重分析和修正遗传算法在Welsh彩色化上的应用。该算法将源图像块和目标图像块的亮度特征以及纹理特征构成适应度函数,并依据代数的增加而降低交叉和变异的概率以减少进化后期的跳跃性。其搜索的彩色特征种群经过选择、交叉和变异等操作后逐代进化而得到最终彩色化图像点。最终彩色化的MRI切片的三维重构模型能多层次清晰地反映器官组织的分布和构造。
彩色模型;颜色迁移;遗传算法;适应度函数
在现实生活中,人体的器官组织都是三维彩色实体,而医学上常用的成像技术所产生的图像都是灰色或区域性伪彩色。如果希望通过计算机仿真来协助手术的进行,就不能只靠直接生成的灰色切片图像,而必须将这些切片转换成彩色图像并由此构造相应的三维仿真模型。在灰色图像中,人体器官的不同组织也有可能呈现相同的灰度。如果想要得到符合人体的彩色图像,就必须在真彩图像和灰色图像间建立起亮度、纹理和几何的映射关系,并借此映射关系将真彩图像中的颜色迁移到灰色图像中。最后对彩色化的灰色图像进行三维重构。这样的三维模型具有多层次性,并且能对彩色迁移算法进行校验和修正。
为了将彩色图像中的颜色迁移至灰色图像中,首先要为灰色图像中的每个像素点寻找与彩色图像相符合的像素点。对两幅图像的点进行配准的特征和方法有许多种,采用点邻域和彩色分布的特征,以及穷举法、随机法、遗传算法和粒子群算法等搜索方法,还对不同的特征和不同的搜索算法进行了组合、对比和分析。
灰色图像的彩色化技术主要有两种,包括伪彩色法以及颜色迁移。通常情况下,伪彩色的实现方法有两种,分别是强度分层和灰度级-彩色变换。前者把灰色图像的灰度由原来的256个等级重新分为N个区间Ri,i=1,2,…,N,并给每个区间Ri定义一种颜色,由此得到一幅基于原来灰色图像的伪彩色图像;后者在伪彩色的颜色增强上比前者更为有效。而彩色迁移是在真彩图像和灰色图像间建立映射关系并将真彩图像中的颜色迁移至灰色图像中的技术。为了合理地将颜色从真彩图像中迁移至灰色图像中,要为灰色图像中每一个像素点在彩色图像中寻找一个亮度等特征最相近的像素点,然后才将相应的颜色迁移至灰色图像。为了从图片中提取亮度和纹理等特征,本文先将图片从RGB空间中转换到Lαβ空间,在颜色迁移完毕之后,再从Lαβ空间转换到RGB空间。
本文所使用的真彩图像来自美国国家医学图书馆。这些真彩图像是一系列由数码摄像而得到的人体间隔0.33~1.00 nm的二维真彩图像,并且能够真实有效地反映人体器官在各个切面的分布情况。本文在对真彩切片和灰色图片在亮度和纹理特征的配准的基础上进行颜色迁移,主要步骤包括遍历灰色图像中每个像素点,并为灰色图像中每个像素点对彩色图像的像素块逐个扫描并选择最匹配的像素块,最后将相应的像素块的颜色迁移至灰色图像中。图1(a)是人体腿部切片真彩图像;图1(b)是由MRI(核磁共振图像)扫描得到的腿部切片灰色图像,由于MRI切片和人体真彩图像的成像效果不一样,前者跟被检对象的密度密切相关,后者则跟血液渗透程度和人体组织的自然构成成份密切相关,如脂肪在MRI切片中亮度低而在真彩图像中亮度较高,所以要先将它们在亮度分布上进行映射变换;图1(c)是MRI切片在灰度拉伸变换后得到的图像;图1(d)为对图1(c)进行颜色迁移得到的图像。
图1 一张人体腿部灰度图片彩色化的过程图Fig.1 Color transfer process of a grey image of a human leg
本文采用的方法是Welsh彩色化算法[1-2],并着重研究和修正遗传算法[3-4]以应用于Welsh彩色化算法。Welsh彩色化算法的原理是输入一幅需要彩色化的灰色图像和一幅彩色图像;将两幅图像从RGB颜色空间转换到各分量和亮度与颜色参数间相关性较小的Lαβ[5-6]颜色空间,该空间由Reinhard等人在1998年提出,然后利用遗传算法对彩色图像和灰色图像的像素块的亮度和纹理特征进行配准,将匹配的像素块的颜色迁移至灰色图像中,最后再将图像从Lαβ空间转换到RGB空间,得到彩色化后的图像。
下面将介绍从RGB颜色空间转换到Lαβ颜色空间的过程。
1)将RGB颜色空间转换到基于人眼视觉特性定义的LMS颜色空间
式中:LLMS为长波通道;M为中波通道;S为短波通道。
2)将LMS空间转换到对数空间,以消除空间的歪斜性(Skew)3
)将LMS空间转换到Lαβ空间
式中:LLαβ是非彩色的亮度通道,α和β分别表示颜色的红绿通道和黄蓝通道。
将Lαβ颜色空间转换到RGB颜色空间则可以通过上述方法的逆过程方便得到。
遗传算法是一种模拟生物进化理论的自然选择和遗传机理的进化过程的计算智能模型,通过模拟自然界的进化过程而得到的搜索最优解的方法。该算法首先生成初始种群,用设计好的适应函数对每一代种群的个体进行评价,适应函数是遗传算法的择优标准,然后按照一定的概率执行选择操作、交叉操作和变异操作来产生新的种群,种群经过若干代进化后使得算法收敛,得到问题的最优解。遗传算法主要考虑的问题包括初始种群的产生、适应函数的确定、遗传算子(选择算子、交叉算子和变异算子)的选取。遗传算法的匹配点搜索方式包括2种,分别是在整幅彩色图像中的全局搜索和在随机选取的N个点中的局部搜索。
将遗传算法应用到对彩色匹配点的搜索中能够快速有效地得到最佳的颜色值。遗传算法的初始种群的规模和分布对该算法的性能和收敛情况能产生很大的影响,初始种群在空间的均匀分布既可以提高算法的性能又能够保证种群的多样性以便得到全局最优解。设置该算法的初始的代数计数器t=0,最大的进化代数T=10,并随机生成M=200个个体作为初始种群。该算法的目的就是保留每一代中最优的个体,而其他个体则参与交叉和变异过程并由此产生新的一代。考虑到搜索的有序性,本文将整幅彩色图像分为n×n个子块,并在每个子块里产生一个初始的个体。与一般遗传算法不同的地方是使用二进制格雷码代替普通的二进制编码以减少普通二进制编码在基因变化的时候造成坐标的突变。
选择操作是将选择算子应用到种群中,其目的是在种群中保留优秀的个体。选择算子采用赌轮选择法,即把适应度反序排列的个体按累积适应度筛选。交叉操作是将交叉算子应用到种群中,其目的是使得新一代群体继承上一代的群体。使用单点交叉算子,交叉概率设为0.5。随机生成数字,若小于交叉概率,则执行交叉操作。为了使个体变化程度不致太大而偏离最优解,使用的交叉算子只在低位上发生变化。变异操作是将变异算子应用到种群中,其目的是防止算法陷入局部最优解。将变异概率设为0.005,即当随机数小于0.005时,对个体执行变异操作。为了防止群体的适应度在进化后期出现太大的跳跃性,对交叉概率和变异概率按公式(4)进行适当的调整。
式中:pt为修正后的交叉或变异概率;p0为初始的交叉或变异概率;t为进化代数;cp=0.9为修正系数。
当群体的进化代数达到预先设定的最大代数或适应度值达到指定程度的时候,算法终止进化,并将适应度最高的个体相应的颜色值输出。
适应函数必须能够有效地定量地反映每个个体在整个进化过程中的适应程度,在本文的研究中就是反映灰色图像和彩色图像的像素点在某一局部特征[7-8]的匹配相似程度。点邻域分布特征采用亮度和纹理来衡量,以减小颜色在匹配的过程中产生的误差。
本文对点邻域分布的亮度特征定义为
式中:ΔL为亮度偏差;l0为彩色图像中某像素点的邻域的亮度平均值,σ0为彩色图像中某像素点的邻域的亮度标准差,l1为灰色图像中某像素点的邻域的亮度平均值,σ1为灰色图像中某像素点的邻域的亮度标准差,λ1和λ2分别是两幅图像的亮度均值偏差和标准差偏差的权重。而纹理特征则采用k=0.000 1的均匀性纹理特征。式中:F为适应度;α1为亮度参数的权重,α2为纹理参数的权重,且α1+α2=1。
考虑到匹配的彩色点往往与彩色源图上的点的彩色局部分布具有一定的类似性而不必用穷举的方法进行匹配搜索,且这种基于彩色局部分布样本的方法[9]将更适应于快速的彩色迁移的匹配搜索。由于转换后的彩色图片的匹配首先从待匹配的点的左上角的点向右下进行,对应于当前点的转换后彩色图片的左上部分是已彩色化的区域,这个点P的左、上邻域部分A0,B0,C0,D0的彩色分布与彩色源图的一些区域具有类似性,故从对应于P点的彩色源图像的点的右下角的点相邻的点A开始进行搜索,如果对应的局部结构点的相应适应度(彩色值)小于一个阈值,则为彩色结构类似的搜索结果,否则依次搜索待匹配的点的上面,右上角,和左边的点。如图2所示,该方法首先根据A0和P的相对位置关系选取A2并计算A2的适应度,如果该适应度值小于指定阈值,则P的匹配目标点为A2。否则,依次判断B2,C2,D2的适应度,如果满足条件,则这个点选为匹配目标点,如果A2,B2,C2,D2的适应度值都大于指定的阈值,则要进行全局搜索或者随机搜索。
用遗传算法应用于随机选取的N个点彩色适配值的搜索将比随机选取的N个点的穷举方式搜索的运算效率高,通过在彩色源图上随机选择N=300点,将这300个点以适应度综合函数公式(5)计算并排序,基因编码选择这个序号,彩色源图像与灰色图像的点适应度差越小表示它们越匹配。基因组群体个数为10,进化代数为6,交叉概率仍然取为0.5,变异率仍然选择为0.005。也就是在遗传算法循环计算的每代中从这300个颜色中选择10个彩色得到这一代的最优值,下一代的适配值的选取是有序有理的选择而不是穷举和随机的,同时每个遗传算法的运算次数是被彩色化的灰色图像点的个数,故随机定点选取与遗传算法相结合将有效提高彩色迁移的运算效率。
图2 基于彩色局部分布搜索匹配点的方法Fig.2 Searching method based on local color distribution
实验系统中的开发平台采用Delphi 7,计算机的硬件运行环境是intel酷睿2双核p8700,2.53 GHz的CPU,4 GB的内存。颜色迁移实验图片的分辨率为256×256,彩色迁移算法的效率比较实验的匹配特征包括用匹配点的亮度的邻域的纹理统计和用已搜索彩色分布样本两种,搜索方法包括穷举,彩色点随机选择,粒子群算法和遗传算法和这些方法的组合。这些特征和搜索方法的比较都用Welsh算法的全局彩色化的算法进行。
通过实验可知,在灰色图像彩色化的算法中利用彩色分布特征选取待上色点的匹配目标点,不仅能保证算法的有效性,还可以大幅度提高算法的效率。穷举算法所需要的时间最长,随机算法是通过在彩色源图上随机采样N个点而代表彩色源图的彩色种类,在这N个点中选取最佳适应度点的颜色值,其颜色传递的真实性和耗时取决于采样点的多少,本实验中取随机采样点数N=300。而智能算法中包括粒子群算法和遗传算法,其效率更高。粒子群算法也属于全局优化方法,它没有遗传操作如交叉和变异,而是根据自己的速度来决定搜索。对不同特征和搜索算法的比较中可知,随机取点搜索算法结合遗传算法的搜索效率是最高的。而且由于算法是用Delphi实现的,跟国内外大部分利用Matlab进行的研究相比,具有更强的灵活性和更高的效率。结合不同彩色分布特征和不同的搜索算法得到如表1所示的颜色迁移的效率比较。
为了显示基于灰色切片和彩色切片的不同的三维重构比较效果,在灰度切片重构的直接体绘制中采用亮度传递函数传递,而在彩色切片重构中采用与彩色向量及梯度相关的传递函数为
表1 基于不同特征和搜索方法的颜色迁移的效率比较Tab.1 Efficiency comparison of color transfer based on different features and search method
式中:T是一个控制阈值;ω是考虑颜色的梯度的权衡的一个调节参数;c和g表示点的颜色向量和梯度;光学模型中传递函数o表达为数据场中的一点的颜色和梯度等对重构模型的影响程度。
图3(a)是基于灰度切片的重构模型,图3(b)是基于颜色迁移后的强调红黄色和灰白色偏肌肉和骨结构彩色要素的重构模型,图3(c)是基于颜色迁移后的强调灰白色偏骨质的彩色要素的重构模型,由此可见彩色切片在颜色向量和梯度值取不同权重的条件下更能多层次、多选择地反映人体组织器官的客观构造和人们所需的器官三维细节。
图3 基于灰色和强调不同彩色要素切片的三维重构效果图Fig.3 Reconstructed 3D color model of slices based on grey and other colors
国内外有许多关于遗传算法的文章,但大部分都是由Matlab实现的,许多参数是不可调的,算法的实现和调用方式也不能修改,而且没有应用到医学研究上。本文的原创性主要体现在实验工程是由Delphi编码实现的,而且跟医学研究紧密结合。实验工程中的每一个算法的参数都是可调的,而且相应的实现和调用方式也可以根据实际需要进行相应的修改。本文将遗传算法引入图像彩色化中,利用图像块的亮度和纹理特征值构成的适应度函数并对此进行匹配颜色搜索,进行颜色迁移后得到彩色化的图像,在匹配方法的选择上,随机选择N个样本点比穷举方法明显提高了10倍左右的搜索效率,且基本含盖所有的匹配彩色总类,采用粒子群算法的彩色迁移速度是随机匹配算法的3倍左右,粒子群算法在一定程度上是反映了遗传算法的思想,而随机匹配算法是在有限彩色分群基础上的穷举方法,如果用遗传算法求解随机匹配算法中的最优值,其匹配颜色搜索的速度是最快的,它将是粒子群算法的1倍左右,进一步的研究将放在粒子群算法和遗传算法组合求解匹配颜色搜索上,在这些彩色仿真切片的基础上,通过彩色向量和梯度相关的传递函数得到方便可调的三维模型,并使得上色后的医学器官的组织在颜色和空间分布上的连续性和自然性。
[1]陈倩.一种改进的Welsh灰度图像彩色化算法[J].武汉理工大学学报,2009,31(22):151-153.
[2]LIU X P,WAN L,LIN S,et al.Intrinsic colorization[J].ACM Trans on Graphics,2008,27(5):1521-1529.
[3]牛晓霞,胡正平,刘博.竞争选择多彩色图像自适应颜色迁移算法[J].计算机工程与应用,2009,19(1):119-200.
[4] KOZA J R.Genetic programming:on the programming of computers by means of natural selection[M].Cambridge,USA:MIT Press,1992:45-49.
[5] REINHARD E,ASHIKHMIN M.Color transfer between images[J].IEEE Computer Graphics and Applications,2001,21(5):34-40.
[6]TAMURA H,MORI S,YAMAWAKI T.Textural features corresponding to visual perception[J].IEEE Trans on System Man and Cybernetics,1978,8(6):460-472.
[7]吴晓燕,刘希玉,徐庆.基于改进遗传算法的分形图像编码[J].计算机工程,2010,36(5):205-206.
[8]朱黎博,孙韶媛,谷小婧.基于彩色扩散与彩色传递的图像着色算法[J].中国图像图形学报,2010,15(2):200-205.
[9]李建明,叶飞,于守秋.一种快速灰度图像彩色化算法[J].中国图象图形学报,2007,12(3),536-537.
Application andAnalysis of Multi-searchingAlgorithms to Color Transter between Medical Images
Qiu Yunli,Jiang Xiangang,Fan Deying
(School of Basic Sciences,East China Jiangtong University,Nanchang 330013,China)
This paper researches transferring a gray MRI slice into a colorful one that is valid and matches the human organs through registering the features of brightness and textures between the true colorful and the gray images.This paper probes a Welsh color transfer algorithm based on the combination of several searching methods,and the features of brightness within the neighborhood of a pixel and local color distribution.It particularly analyzes and modifies GA to adapt to the Welsh color transfer algorithm.This method will use the brightness and texture features of source and target images as the fitness function,and decrease the probability of crossover and mutation when the population evolves to avoid the mutation of the fitness of the population in later stage of evolution.The population which is used for searching by color features evolves through selection,crossover and mutation to get the fittest individual.3D color model reconstructed from the colorized slices can clearly reveal multi-level structure and distribution of human organs.
color model;color transfer;genetic algorithm;fitness function
TP391.41
A
1005-0523(2012)03-0061-06
2012-02-21
丘赟立(1987-),男,硕士研究生,主要研究方向为数字图像处理与三维重构。