蒋先刚,丘赟立,范德营
(华东交通大学基础科学学院,江西南昌330013)
基于真彩图像的二维和三维图像更能显示出真实的器官分布细节和层次,而目前的计算机仿真医学模型基本上是灰色基调的。由于医学上常用的人体成像技术如MRI的成像结果是灰度图像,由这样的图像构造出来的三维模型无法清晰有效地反映人体的实际情况,且简单的灰度图像彩色化方法的效果不好而复杂的彩色化方法运算效率不高而无法快速获得能够有效地反映人体实际的彩色切片。2001年Reinhard首次在《Color Transfer Between Images》提出Lαβ颜色空间,次年 Welsh在《Transferring Color to Grayscale Images》提出了基于Lαβ颜色空间的颜色迁移算法,2009年由陈倩在《一种改进的Welsh灰度图像彩色化算法》中对Welsh颜色迁移算法进化了改进优化。本文在他们所作的研究的基础上结合多种搜索寻优算法并作适当的改进以提高迁移颜色算法的效率和质量。本文讨论多种灰色图像彩色化技术,在颜色迁移的匹配点搜索过程中,着重研究和对比多种诸如穷举法、随机法、GA和PSO算法,并重点分析和改进PSO算法。最后对彩色化的图片进行三维重构,得到的三维重构模型还可以反过来对彩色化算法进行检验。
灰色图片的彩色化技术主要包括伪彩色和颜色迁移方法。伪彩色图像中的颜色并非反映器官切片组织的分布颜色。颜色迁移是首先根据一幅灰色图像和一幅彩色图像的特征建立映射关系,然后根据建立的映射将彩色图像相应的彩色值迁移到灰色图像中,最后获得相应的彩色化图像。经过合理迁移而得到的彩色化图像能反映组织构造的真实的颜色效果。本文使用的是Welsh颜色迁移算法,是以灰色MRI切片和真彩色切片的亮度和纹理特征进行配准而实现颜色迁移技术。该算法的处理步骤主要包括对灰色图片进行逐个像素块扫描,而且对彩色图片也进行逐个像素块扫描,并在彩色图像中选择与灰色图像相应像素块最相似的像素块的颜色,然后将选择的颜色迁移至灰色图片中。图1是人体腿部灰色图像彩色化的过程图。图1(a)是作为彩色源图像的人体腿部的真彩色切片;图1(b)是人体腿部的MRI切片;图1(c)是图1(b)经过灰度变换拉伸后的图片,该图片的亮度和纹理特征更符合人体器官的实际情况;图1(d)是利用颜色迁移技术将图1(a)的颜色迁移至图1(c)的彩色化效果图。
图1 人体腿部灰度图片彩色迁移过程
常用的颜色空间中各分量的相关性较大,在进行颜色迁移前,应先将图像从RGB空间转换到一个各分量相对独立的空间中。Lαβ颜色空间是Reinhard等人在1998年提出的,其中L是亮度通道,α是黄绿通道;β是黄蓝通道。该空间的三个通道相互垂直,即亮度与颜色分量是相对独立的。技术实现中首先将两幅图像从RGB颜色空间转换到Lαβ颜色空间,然后建立映射关系并对其执行颜色迁移的相关操作,最后再将迁移所得的图像从Lαβ颜色空间转换回到RGB颜色空间。RGB颜色空间转换到Lαβ颜色空间的具体步骤如 (1)至 (3)所示,而Lαβ颜色空间转换到RGB颜色空间可以由该过程的逆过程得到。
(1)将RGB颜色空间转换到LMS颜色空间
(2)将LMS颜色空间转换到对数空间以消除空间的Skew不对称性
(3)将处理过的LMS分量转换到Lαβ颜色空间
粒子群优化算法 (PSO)是由Kennedy和Eberhart等在1995年提出的一种进化计算算法,PSO算法起初是为了模拟鸟类群体进行觅食的优美且无法预测的运动。后来的进一步研究证明群体中的信息共享对群体中的个体的进化发挥着积极作用。最后对其引入多维度的搜索功能和与距离相关的加速度权重,以及惯性权重而形成了PSO的标准版本。PSO同GA类似,都是基于迭代的进化寻优算法。它比遗传算法规则更为简单,没有遗传算法的交叉和变异操作,但它保存每个粒子在进化过程中经过的最优解作为局部最优解pBest和所有粒子在进化过程中经过的最优解作为全局最优解gBest,并且通过让每个粒子趋于pBest和粒子群总体趋于gBest而获得最终的最优解。PSO首先产生初始种群,然后记录pBest和gBest并按照式 (4)来修正每个粒子的速度和式 (5)来更新每个粒子的位置
式中:t——迭代时间参数,n——粒子的维数,j——粒子序号,xjk(t)和xjk(t+1)——粒子j在t和t+1时刻的位置,vjk(t)和vjk(t+1)——粒子j在t和t+1时刻的速度,pjk——粒子j的局部最佳位置,pgk——粒子群的全局最佳位置,w——惯性权重,c1——认识系数,c2——社会系数,r1,r2∈ (0,1]——随机数
式中:t——迭代时间参数,n——粒子的维数,j——粒子序号,xjk(t)和xjk(t+1)——粒子j在t和t+1时刻的位置,vjk(t+1)——粒子j在t+1时刻的速度。
该算法通过反复调整粒子的速度和位置而实现群体的进化,当进化代数达到设定值或适应度值达到一定的允限时,算法终止并将适应度最高的粒子输出,然后根据它的坐标X,Y获取源图相应的彩色值并将该彩色值迁移至灰色图像中。
为了将PSO应用到Welsh颜色迁移算法中,本文设置PSO中的粒子的位置就是彩色图像中相应像素的坐标,粒子的最大速度取为彩色图像的宽和高的最小值的5%。为了使粒子具有多样性且能从更大范围搜索最优解,将彩色像素划分为m×n个子块并在每个子块中至少选择一个粒子。在本实验中设置代数计数器初值t=1,总代数T=10,粒子个数N=200。
惯性权重w是使粒子保持运动的惯性,而认知系数c1和社会系数c2是将每个粒子推向局部最优解pBest和全局最优解gBest的统计加速项的权重,c1和c2是加速常数。较小的加速常数使得粒子在到达全局最优的位置之前搜索更多的位置但需要更多的时间,而较大的加速常数能使粒子更快地到达全局最优的位置但会导致粒子突然地冲向或者越过全局最优的位置。如果没有加速常数,即c1=c2=0,这时粒子将保持直线运动。在这种情况下,每个粒子能搜索的范围将大大减少,不利于获得全局最优解。如果没有惯性权重,即w=0,粒子的速度没有记忆性而只取决于粒子当前的位置和pBest及gBest的相对位置。如果一个粒子已经处于全局最优的位置上,它将保持静止。而其它不在全局最优的位置上的粒子则飞向pBest和gBest的加权中心。而认知系数c1和社会系数c2分别决定粒子趋向于pBest和gBest的能力或程度。基于全面兼顾,实验中设置惯性权重w=0.9,认知系数c1=2,社会系数c2=2。
适应度函数是用来反映粒子在群体中对目标的适应程度,即灰色图像和彩色图像中相应像素块的相似程度。本文使用图像的亮度和纹理特征来反映像素块的相似程度。适应度函数中,亮度参数的具体定义如下
式中:ls和σs——彩色图片的像素块的亮度均值和标准差,lt和σt——灰色图片的像素块的亮度均值和标准差,λ1和λ2——彩色图片和灰色图片的亮度均值偏差和标准差偏差的权重。而纹理特征采用差分矩特征u)2P(i,j),P是像素块的灰度共生矩阵,u是P(i,j)均值,则相应的纹理参数的定义如下
式中:Ws和Wt——彩色图片和灰色图片的像素块的差分矩特征,则相应的综合适应度函数为
式中:α1和α2——亮度参数和纹理参数的权重,C=100是常量,这样F的取值范围规约为[0,100]。
由于图像中相邻的像素的颜色具有一定的相似性,为了实现快速颜色迁移需在进行PSO搜索前先利用点的彩色局部分布特征的方法搜索匹配点。该方法根据彩色的局部分布特征而首先搜索待彩色化的像素的左边像素对应于彩色图像中的对应像素的右边的像素,利用式 (6)定义的适应度函数计算该像素的适应度值,如果该值小于一个指定的阈值,则将该像素规定为待彩色化的像素的最优匹配结果。如果该像素不满足条件,则依次搜索待彩色化的像素的左上角、上面和右上角的像素对应于彩色图像中的像素的右下角、下面和左下角的像素。如果某一像素满足搜索条件则输出其为最优结果。否则采用PSO进行搜索。另外,如果待彩色化的像素的左边、左上角、上面或右上角的像素是无效的,即认为其是不在图像有效范围内的点,则直接跳过而不必考虑。
由于标准的PSO的迁移效率与随机法和GA相比并没有得到明显的提高,所以本文尝试在下面4点对PSO进行了改进。
(1)设置粒子的取值范围。在标准的PSO中,新产生的粒子有可能在图片的有效点之外,则其适应度值为0。该粒子没有对种群的进化起到积极的作用,应将这类无效的粒子移至粒子有效范围的边界以提高算法的收敛速度。
(2)灰色图像中每一新的下一个待使用PSO进行搜索匹配的点的初始群体使用上一个点的最优群体。一般情况下,彩色图像中相邻的两个点的颜色是密切相关的,所以上一个点的最优群体有较大的可能性会适应下一个点。
(3)在进化的后期对粒子进行减速处理,以免其跨过最优位置而只能获得次优的结果,对粒子的最大速度的调整采用式 (9)
(4)为了防止pBest和gBest对粒子的速度方向的影响产生滞后性,随着迭代次数的增加而按式 (10)线性减少惯性权重w
式中:t和T——当前代数和最大进化代数,w(t)——群体进化到t代时的惯性权重,取wmax=0.9和wmin=0.4——设定的最大值和最小值。
本文所做实验的开发平台为Delphi 2010,相应的硬件环境为Intel酷睿i5 480M,2.66GHz的CPU和6GB的内存。实验所需的彩色源图像采用中国可视人真彩切片。这些切片真实客观地反映了人体各器官组织在各个切面上的分布和颜色特征。实验图片的分辨率均为256×256。穷举法是遍历彩色源图像的每一个像素来搜索灰色图像中待彩色化的像素的最佳匹配点,而随机法则是取彩色源图像的总像素量的15%的像素进行搜索。为了更好地说明改进PSO算法的平均迁移效率,本文在依据点邻域分布和彩色局部分布特征并采用多种搜索算法如穷举法、随机法、GA、PSO、改进GA和改进PSO进行了对比分析实验,而且每组实验进行20次,实验对比结果如表1所示。
表1 基于不同特征和搜索方法的颜色迁移的效率比较
根据表1可以得出如下结论:穷举法虽然能得到理想最优的结果,但是耗时最长,不宜应用于实际的图片颜色迁移;跟穷举法相比,随机法的效率有了明显的提高;与随机法相比,GA和PSO也有了进一步的提高,但是提高的程度并不明显;改进GA和改进PSO的效率是最高的,而改进PSO的迁移效率甚至高达穷举法的20多倍。图2是基于GA、PSO及其改进算法的进化代数与如式 (8)所示适应度的逼近曲线。图2中表明改进PSO的群体的最优适应度值较快速达到90而趋于适应度值为100的全局最优解。
图2 基于不同搜索算法的进化效率
为了突显基于灰度切片和彩色化切片的三维重构图像的效果的优劣,在灰度切片实现三维重构的直接体绘制的过程中使用亮度传递函数,而在彩色化切片实现三维重构的过程中使用与颜色向量和颜色梯度相关的传递函数如式 (11)
式中:T∈[0,1]——阈值参数,ω ∈[0,1]——权衡颜色向量和颜色梯度的参数,γ∈(1,∞)——指数权重参数,c和g——像素的颜色向量和颜色梯度,而传递函数o反映的是数据场中像素点的颜色向量和颜色梯度等因素对三维重构模型的影响程度。
图3(a)是基于灰度切片的三维重构模型,图3(b)是基于强调白黄红的彩色化切片的三维彩色仿真模型,图3(c)是基于颜色迁移后的强调肌肉和血管颜色的三维彩色仿真模型。通过对图3的对比分析可知,基于彩色化切片的三维重构模型的效果明显比基于灰度切片的三维重构模型的效果更好,而且基于彩色化切片的三维重构模型在直接体绘制的过程中选取不同的颜色向量和颜色梯度的权重能多层次地反映出人体器官组织的三维细节和客观构造。
图3 不同颜色权重的器官重构效果
本文在传统的图像彩色化算法中引入仿生智能算法,并对粒子群优化PSO进行了改进性实验,其中通过限定粒子的取值范围、保留最终进化群体作为下一次进行PSO搜索的初始群体、随着进化代数的增加而降低最大速度和惯性权重这些措施和改进对PSO的效率的提高有显著促进。所得的基于改进的PSO的Welsh彩色化算法的效率非常高,比一般的穷举法、随机法、GA和PSO的效率要高出很多倍。今后的进一步研究将会放在GA和PSO的组合求解寻优上。在这些彩色仿真切片的基础上,通过基于彩色向量和梯度的传递函数可以得到三维仿真彩色模型,而这样的三维仿真彩色模型的确能有效地反映人体器官组织真正的颜色和多层次空间分布。
[1]LIU Yong,SHAO Changyong.Improvement of Welsh's grey image colorization arithmetics[J].Modern Electronics Technique,2009(24)141-143(in Chinese).[刘勇,邵常勇.对Welsh灰度图像彩色化算法的改进 [J].现代电子技术,2009(24)141-143.]
[2]CHEN Qing.Improvement of Welsh's grey image colorization arithmetic[J].Journal of Wuhan University of Technology,2009,31(22)151-154(in Chinese).[陈倩.一种改进的Welsh灰度图像彩色化算法 [J].武汉理工大学学报,2009,31(22)151-154.]
[3]LIU Xiaopei,WAN Liang,LIN S,et al.Intrinsic colorization [J].ACM Trans on Graphics,2008,27(5):1521-1529.
[4]XU Zhen,SUN Shaoyuan,DAI Zhonghua,et al.Texture library based color& texture transferring for LLL images[J].Infrared Technology,2011,33(1):49-55(in Chinese).[许真,孙韶媛,代中华,等.基于纹理特征库的微光图像色彩纹理传递[J].红外技术,2011,33(1):49-55.]
[5]ZHENG Zhi,HUANGJian.Analysis of the application mode of color transfer algorithm in images[J].Journal of Fujian Agriculture and Forestry University,2010,39(2):206-210(in Chinese).[郑之,黄键.图像色彩传递算法的应用模式分析 [J].福建农林大学学报,2010,39(2):206-210.]
[6]FENG Jun,XUE Yuncan,JIANG Jinlong.Study on a new modified particle swarm optimization algorithm[J].Journal of Hohai University Changzhou,2006,20(1):10-13(in Chinese).[冯骏,薛云灿,江金龙.一种新的改进粒子群算法研究[J].河海大学常州分校学报,2006,20(1):10-13.]
[7]LIN Jinping,YU Jinxiang.Parameter estimation of multiple linear regression models based on t he improved particle swarm optimization algorithm[J].Computer Engineering& Science,2010,32(4):101-105(in Chinese).[刘锦萍,郁金祥.基于改进的粒子群算法的多元线性回归模型参数估计 [J].计算机工程与科学,2010,32(4):101-105.]
[8]GUO Huiyong,WANG Lei,LI Zhengliang.Two-stage damage detection method based on improved particle swarm optimization algorithm [J].Journal of Southwest Jiaotong University,2011,46(6):926-932(in Chinese).[郭惠勇,王磊,李正良.基于改进PSO算法的两阶段损伤识别方法[J].西南交通大学学报,2011,46(6):926-932.]
[9]LIU Shicheng,ZHANG Jianhua,LIU Zongqi.Application of parallel adaptive particle swarm optimization algorithm in reactive power optimization of power system[J].Power System Technology,2012,36(1):108-112(in Chinese).[刘世成,张建华,刘宗岐.并行自适应粒子群算法在电力系统无功系统[J].电网技术,2012,36(1):108-112.]
[10]Suresh Chandra Satapathy,Gunanidhi Pradhan,Sabyasachi Pattnaik,et al.Performance comparisons of PSO based clustering[J].InterJRI Computer Science and Networking,2009,1(1):18-23.