医学图像信息可视化关键技术研究与探讨

郭艺辉

(广东金融学院 互联网金融与信息工程学院, 广州 广东 510521)

0 引言

科学计算可视化(Visualization in Scientific Computing）是指应用计算机图形学和图像处理的各种方法，将科学计算过程中产生的各种数据和计算结果转换为图形或图像在计算机屏幕上加以显示的技术。随着我国计算机相关技术的发展，科学计算可视化的技术内涵也得到了进一步的扩展，它不但包括科学计算处理数据的可视化，而且包括测量数据的可视化。目前，在数字医学应用领域，基于计算机断层测量数据的3D数字可视化成为科学计算可视化最为活跃的研究领域之一。

在医学成像研究与临床诊断领域存在着大量的经由计算机断层扫描技术（Computed Tomography, CT）、核磁共振成像技术（Magnetic Resonance Imaging, MRI）、正电子放射层析成像技术（Positron Emission Computed Tomography, PET）、单光子辐射断层摄像（Single-Photon Emission Computed Tomography, SPECT）、超声（Ultrasound）和数字减影图像（Digital subtraction angiography, DSA）等得到的二维数字医学断层序列图像。医生对于疾病的诊断往往是通过对二维医学断层扫描数据的分析，经由主观经验构建起器官立体结构。但是，这样的诊断常常缺乏客观性和准确度。二维医学图像三维数字可视化是指借助三维重建技术将二维序列图像转变为三维立体模型，在计算机屏幕再现人体器官真实立体结构。三维数字医学模型可以展示人体器官更加清晰的三维形态以及复杂的空间组织结构，可以帮助医生做出更加准确的判断。医学图像三维重建在医学临床有着广泛的技术应用，目前其已被应用于医学影像诊断和分析[1]、影像数据归档和信息通信处理系统（Picture Archiving and Communication Systems，PACS）、解剖三维影像重建[2]、虚拟医学教学、手术规划与导航、CT仿真、PET诊断、放射医学诊断、放射科信息处理系统（Radiology Information System, RIS）、虚拟内窥镜成像技术（Virtual Endoscope，VE）等。基于断层医学图像的三维医学数据可视化已经成为数字医学领域的重要研究方向之一。

1 医学图像3D数字可视化关键技术分析

医学图像三维数字可视化归根到底是各类算法的研究。尤其是自20世纪80年代美国以及我国正式启动可视化人体计划（Visible Human Project，VHP）以来，众多学者在医学图像分割、医学图像融合、断层数据三维重建以及网格处理等方面做了大量的工作，提出了众多优秀的算法，并且，新的算法近年来依然不断涌现。

1.1 医学图像分割

医学图像分割[3]是数字医学模型三维可视化实现的前提及关键步骤。目前，国内外广泛应用的医学图像分割方法有基于区域的图像分割法，包括区域生长和分裂合并法、阈值分割法、基于随机场的方法、聚类算法与分类器算法等；基于边缘的图像分割法，包括基于追踪的算法、基于边界曲线拟合的方法、基于模型的算法以及并行微分算子法等；结合特定理论工具的方法，包括基于人工智能的、小波变换的、图论的、统计学的、分形的、模糊粗糙集的以及基于数学形态学的方法等。近年来，针对医学图像分割不同的应用需求，又有众多优秀的分割算法被提出，例如，为解决医学图像具有噪声大、图像灰度不均匀分布以及组织边缘模糊等问题，周力凯等人[4]提出了基于多尺度区域与类不确定性理论的阈值分割方法。刘辰等人[5]使用基于卷积神经网络的医学图像分割方法将二维断层序列图像在矢、冠以及横断面三视图下进行分割，然后将分割结果集成为最终结果。

1.2 医学图像融合

在成像过程中，病人由于可能使用了不同的成像技术，例如解剖形态成像（包括CT、MRI等）和功能代谢成像（包括PET、SPECT等）等进行了多次成像，因此同一个患者会产生多模态图像。在一种图像上不容易区分的结构，可能在另一种图像上会很容易被区分开来。医学图像融合（Medical Image Fusion，MIF）[6]就是将多种医学模式或同一医学模式的多次成像，通过匹配融合的方法来实现医学图像上感兴趣区的信息互补。

医学图像多模态融合技术实施之前有一个关键步骤就是配准。医学配准技术主要有两种：基于特征的配准以及基于灰度的配准。基于特征的配准主要包括基于点、曲线、曲面的配准；基于灰度的配准则不需要直接提取图像特征，因此具有更高的鲁棒性、自动性以及更高的精度。近年来，基于卷积神经网络的深度学习技术在在医学图像配准方向也取得了瞩目成绩[7]。

医学图像融合方法主要包括特征级融合以及像素级融合。特征级融合[8]首先通过特征变换或特征选择进行数据降维, 然后再对获得的多个特征信息进行决策识别。目前常用的特征级医学图像融合方法包括：奇异值分解法（Singular Value Decomposition，SVD）、非负矩阵分解法 （Non-negative Matrix Factorization，NMF）、基于模糊集(Fuzzy Set，FS）的方法、基于粗糙集 （Rough Set，RS）的方法、遗传算法 （Genetic Algorithm，GA）、人工神经网络（Artificial Neural Network，ANN）以及基于主成分分析（Principal Component Analysis，PCA）的方法等。像素级融合是在采集得到的图像中原始的像素上直接进行融合。该方法虽然能保持更多信息，但是算法复杂性高，实时性比较差。

1.3 医学断层数据三维重建

从数据可视化的角度，医学断层数据三维重建技术主要分为面绘制（Surface Rendering）和体绘制（Volume Rendering）两种。

1.3.1 面绘制

面绘制技术利用图像分割得到的轮廓线，通过几何单元拼接的方法重构器官表面模型。按照构建方法的不同，面绘制法通常又分为基于轮廓的面绘制法和基于体素的面绘制。基于轮廓的面绘制其策略是，首先求得各个切片中物体的闭合轮廓线，然后将相邻切片之间的轮廓连接，生成一个物体的表面。目前，研究较多的是基于体素的绘制方法，例如移动立方体法（Marching Cubes，MC）[9]。其基本思想是通过插值法计算出等值面与立方体边的交点，然后把这些交点按照一定的方式进行连接形成相应的等值面。MC算法具有较快的运算速度，其精确定义了体素及其内等值面的生成，目前依然是三维重建算法的研究热点。李怡敏等人[10]使用了17种拓型进行三维重建，大大减少了模型表面空洞。胡凌燕等人[11]提出了一种基于区域增长法的通用树结构和移动等值点法的自适应移动立方体算法, 准确重建腹部组织器官。

1.3.2 体绘制

体绘制是近年来发展起来的用于显示体数据的算法，被越来越广泛地应用于医学CT三维成像领域。该技术基于三维空间信息，完整投影整个三维数据场立体空间结构，尤其适合于显示形状以及边界模糊的生物组织器官。体绘制方法主要分为三类：以图像空间为序的、以物体空间为序的以及基于频域空间变换的体绘制方法。1）以图像空间为序的体绘制，从视点出发投射光线，累积最终光亮度后成像，典型的代表是光线投射法[12]。光线投射法是沿着固定方向，例如视线方向，从屏幕图像的像素发出，光线穿越数据场图像序列，穿越的同时进行颜色采样获取，然后累计颜色值，最终得到可视化渲染立体视图。2）以物体空间为序的体绘制法，例如抛雪球法、体单元投影法等，首先沿某个观察方向计算数据点不透明度及颜色值，然后将每个数据点投影到图像平面上，完成数据点的坐标由对象空间到图像空间的变换。接着，设置光照模型，计算数据点遮挡关系以及光照强度，将每一个像素点上不同数据点的颜色累计在一起，然后得到最终颜色，完成数据可视化。3）基于频域空间变换的体绘制方法利用卷积公式将空间域的计算转移到频率域，再将计算结果变换回空间域完成可视化。

2 问题讨论及展望

2.1 医学图像分割

由于人体的内脏、软组织具有形状不规则、结构复杂等特点，因此相比于普通图像，医学图像经常会存在灰度不均匀、边界模糊等现象。然而，医学模型三维重建有一个很重要的基础就是医学图像的准确分割。但是目前在医学图像分割领域依然缺乏一套广泛通用的方法和理论，如何提高断层数据图像分割的准确性和速度是当前医学图像三维重建主要研究的方向之一。

为解决上述问题，学者们提出了用户引导的交互式半自动分割方法以及基于领域知识的分割方法。半自动分割方法先分析断层图像，交互给定分割阈值，对图像二值化，进行区域修整，然后通过在图像上人工标记一些控制点，由计算机通过这些控制点利用松弛算法等自动产生包围所要分割区域的曲线。应用领域知识分割医学图像是指利用病理部位在图像中的灰度分布、区域分布、组织形状等专业知识将病灶分割出来的方法。但是，无论是半自动分割还是基于知识的分割，依然离不开人手工参与。近年来，人工智能，特别是卷积神经网络在计算机医学图像分割技术领域得到了迅速应用和不断发展[13]。基于深度学习的医学影像分割算法包括基于全卷积神经网络的分割、基于U-Net 网络的分割（包括加入密集连接的、融合残差思想的、基于循环神经网络的、集成注意力机制的、面向3D影像的、基于自适应数据集的、基于神经网络架构搜索等的U-Net 网络），以及其他基于多任务学习、多模态融合等的深度学习的分割算法。基于深度学习的图像分割可以从大量医学图像数据中自动提取特征，该技术在数字医学应用中具有非常重要的研究意义。

2.2 医学图像融合

在医学临床应用实践过程中，医学图像融合技术依然有许多问题亟待解决，包括：1）由于需要综合地分析数据、整理数据并舍弃部分数据，其结果必然会出现某些有用信息遗漏及融合图像细节不清晰等问题。如何提高融合质量，保证重建模型的可靠性以及真实感图形的逼真度[14]，是医学图像融合技术需进一步研究的方向之一。2）由于变形移动会影响到匹配的精度，故医学图像融合现今大多应用于受呼吸运动影响较小的组织器官，例如颅脑、盆腔、颈部等，而受呼吸运动影响较大的内脏器官，例如肺、肝胆、胰脏等软组织器官则较难应用图像融合，相关问题的解决方法依然有待研究。

2.3 三维重建技术

面绘制技术的优势是能快速构建组织器官三维立体表面。但是，面绘制技术亦存在不足：1）面绘制可以较好地重建骨骼、牙齿等硬组织器官，但是对于边界模糊不清的软组织则绘制效果不佳。2）面绘制技术在其绘制设计过程中，不仅需要准确地分析相邻切片间不同分支等值线的拓扑关系, 而且需要准确识别各个分支顶点之间的相互连接关系，相应的绘制技术依然还有待完善。3）面绘制技术仅能绘制模型表面，缺乏模型内部信息表达，无法完成某些需要器官内部结构支持判断的病情诊断的需求。

体绘制技术因为能投影整个三维数据场立体信息，因此相比于面绘制而言能获得更好的重建效果。但是，体绘制处理数据量大、流程长，更多地受到硬件的限制，不能满足实时交互的需求。因此体绘制加速一直是研究的热点。近年来，众多加速体绘制算法被提出，包括基于并行加速技术的（并行绘制、GPU硬件加速[15]、光线追踪绘制）、基于数据约减技术的（PDF约简模型、自适应绘制、多分辨率绘制）等。如何在已有的算法基础上，根据医学诊疗具体应用需求实现体绘制加速，以获得最佳组织器官绘制效果、取得最快绘制速度是非常值得深入研究的课题[16]。

3 结束语

随着信息科技的不断发展，计算机技术在医学领域有了越来越广泛的应用[17-18]。本文论述了二维医学图像信息三维可视化涉及到的关键技术，追踪其最新研究进展，讨论其面临的主要问题及解决策略。未来，以三维重建技术为核心的多个学科领域数字化技术的联合运用，必会发展成为数字化临床医疗诊治的新趋势，医学三维数字可视化在现代临床医疗诊疗以及研究中必会发挥越来越重要的作用。