大纵深医学图像裸眼真三维显示

夏妍，张欣然，廖洪恩

清华大学 医学院 生物医学工程系，北京 100084

引言

在医学图像可视化领域的研究中，相比传统二维显示方式，三维显示技术具有更加逼真的观看体验和丰富的空间三维位置信息。同时，计算机断层扫描（Computed Tomography，CT）、核磁共振成像（Magnetic Resonance Imaging，MRI）等医学影像技术的快速发展，医学图像技术能够为医生呈现质量更高的解剖结构用于辅助诊疗。传统二维医用电子显示设备由于缺乏空间信息显示效果，仅能为医生提供单一视角下的病灶图像信息，带来临床诊疗的不便，限制诊疗效率的提高；同时，在部分医疗场景演示过程中，二维图像无法直观地呈现具有三维空间位置关系的解剖结构信息，例如会诊、医疗教学、远程医疗等场景中，实现可裸眼观看三维医学结构的显示效果能大大提高效率及信息显示的有效性，裸眼三维显示的效果将能够代替用于分析、诊断的实物模型，减小医疗成本，精准的立体空间医学图像信息三维显示能够在临床诊疗及医学会诊等领域中发挥重要作用[1]。

随着计算机图形学和电子显示设备的不断发展，包括多媒体、医疗、教育、娱乐等在内的各领域对高性能电子显示设备的需求推动了裸眼三维显示的发展，裸眼三维显示系统的性能逐渐提升[2-4]，基于分辨率、视角、显示纵深等性能的提升，立体全像技术（Integral Photography，IP）在临床诊疗中逐渐具有较好适用性[5-7]。

对立体全像显示性能的优化方法包括建立更加精确的显示和渲染模型[8-9]，减少理论和实际操作的误差；以及硬件光学设置的优化，改进成像模型的精确度等，理论渲染模型越逼近显示模型，则越能充分利用三维显示系统能提供的图像显示性能[10]。目前医用的裸眼三维显示的需求主要体现在医学图像演示、会诊、手术导航、微创手术图像引导[11-12]等对实时影像引导精度要求较高的诊疗领域（图1），裸眼三维显示能够提高医生诊断的准确性及效率，避免平面图像引起的空间深度感问题。在医疗教学演示、集体会诊中，自由观察角度的医学解剖结构存在对于显示纵深要求较高的横截面轴向延伸方向。传统三维显示方法下，由于成像模式的精确度不足导致实际显示过程中像素弥散程度远大于理论分析值，因而空间中纵深较大的范围内像素弥散严重影响可视纵深；另一方面，由于对大纵深三维数据的像素点采样渲染信息不足，三维表面的重建点密度稀疏，重点组织及边缘细节部分显示像素密度不足，因而具有大纵深的三维图像显示质量较差。传统显示方法的问题导致切换视角观看的过程中，图像显示质量下降，影响组织结构的观看。因而实现具有较大可视纵深的裸眼三维显示，对于呈现医学三维结构的全部可视角度十分重要[13-14]。

图1 大纵深三维图像辅助临床诊疗

1 大纵深裸眼三维自由立体显示系统

三维显示纵深的增加会放大显示过程中理论模型与实际模型匹配的误差，因而实现大纵深三维显示效果，需要建立与渲染模型精准匹配的显示硬件，减小由于光学硬件偏差带来的像素弥散及图像畸变等问题。此外，为解决大纵深三维成像过程中的像素点采样渲染信息量不足的问题，需要针对医学数据的特点进行重点结构及边缘细节的高精度渲染处理，将重点部位进行预先分割，并于渲染过程主动超采样重点结构部位，以提高显示的医学图像重点结构及纹理细节质量。

1.1 立体全像精准三维成像校准

为实现高精度大纵深的裸眼三维医学图像显示，需要精准控制立体全像的成像模式，高精度的成像模式校准方法是实现大纵深立体全像医学图像显示的基础。立体全像显示系统的系统组成与三维图像显示方式，见图2。系统由电子显示器、介质及透镜阵列组成，其中，电子显示器应具有较高的像素密度性能以提供高角分辨率的三维医学图像；介质位于显示器与透镜阵列之间，用于调整立体全像的光学模型，精准匹配物距与透镜阵列焦距参数；透镜阵列由多个微透镜元组成，将显示器发出的二维光场调制为原始的三维光场。

图2 大纵深立体全像裸眼三维显示

立体全像成像模式可根据凸透镜成像特性，分为分辨率优先与纵深优先的两种不同理想成像模式[15]。由透镜成像的原理可知，透镜阵列物距与焦距的关系决定空间中成像面的位置。理想情况下，当物距与焦距大小相等时，物体将在空间中无穷远处成像，在此显示模式下，立体全像三维显示系统在空间中具有较大的三维成像纵深范围。

目前的二维医用LCD电子显示器多基于RGB通道模式进行真彩色混色显示，RGB亚像素单元具有一定的物理尺寸，精准大纵深立体全像成像模型下，当基元图像被放置在焦平面上时，将会出现亚像素颜色干扰伪影伪影[16]：从特定空间位置Px到无穷远处的区域内，单个透镜将被一个或最多两个亚像素单元点亮。成像模式校准可通过相机捕获透镜阵列对亚像素的放大情况，用于评估物距与焦距的匹配关系，见图3(a)所示。

图3 精确聚焦模型的校准原理示意图（a）与校准流程图（b）

根据几何光学分析，当基元图像的成像物距与焦距完全匹配时，亚像素颜色干扰伪影发生的空间位置最前端Px可通过式(1)计算：

其中d为单透镜元的直径；dx为亚像素单元的尺寸；gap为基元图像和透镜阵列之间的距离。如果当基元图像远离焦平面，则将会出现两种情况：当基元图像与透镜阵列之间的距离大于焦距，则出现亚像素颜色干扰的空间位置小于Px；当基元图像与透镜阵列之间的距离小于焦距，则出现亚像素颜色干扰的空间位置大于Px。因此，校准方法具有负反馈过程，并且可以按照图3(b)进行。

（1）粗校准。将图像采集设备远离平面P放置，如果没有出现亚像素颜色干扰，调整基元图像与透镜阵列之间的距离，直到采集到亚像素颜色干扰现象。

（2）精校准。将图像采集装置从当前位置移动到靠近临界平面P，如果没有亚像素颜色干扰现象消失，增大基元图像与透镜阵列间的距离直到发生亚像素颜色干扰；重复移动采集设备至足够逼近临界平面P。

1.2 高精度医学图像渲染

立体全像进行裸眼三维显示的过程，对医学数据重要组织结构的采样及重建显示至关重要。基于二维平面电子显示器及透镜阵列调制的裸眼三维显示方式，受限于二维显示器能提供的像素信息量及像素密度情况，目前无法实现完整重现原始二维医学数据精度的效果。由于大纵深三维成像需要呈现的三维医学信息量远超过二维显示平面所能提供的像素信息，因此需要对显示的数据进行重要结构的选择处理及滤波，实现较为精准优化的显示效果[17]。

三维医学数据到二维显示平面的压缩过程被称为图像渲染，通过计算模拟透镜阵列在显示过程中对二维基元图像平面像素光线的折射关系，得到显示过程的光线模型。根据光路可逆原理，三维图像到二维图像的压缩采样过程与显示过程的光线路径相同，故而采样渲染的图像部分将在显示过程被重建显示。

在此模式下的医学图像采样，需要考虑有限的采样信息量，将手术重要的病灶组织结构信息进行主动的局部超采样。传统方法的采样渲染过程通过空间中模拟从基元图像平面出射的光线经过透镜后的轨迹，得到在三维物体表面的交点作为采样点信息；对于大纵深显示的医学图像，我们将采样光线由预先分割医学图像重要的组织病灶结构表面三维像素点发出，经过透镜后达到基元图像上。

基于分割表面的采样方法，能够将单个像素大小对应的较大范围采样区域进行重点区域的主动采样，将分割出来的重点结构表面渲染到基元图像上。预先分割的三维医学图像表面信息可通过手动分割提取或边缘检测算法进行分割，提取出重要组织结构的三维空间点坐标。对三维物体表面的分割精度应根据渲染及显示的三维像素点密度进行，保证分割精度不小于系统当前纵深位置下的像素密度。立体全像技术在空间中重建的像素点由来自不同透镜的多条光线在空间中会聚到同一位置重建，会聚到同一位点的光线满足：

其中，nx为第n个透镜距离第一个透镜间隔数；pitch为相邻透镜中心间隔距离大小；px为发射光线的像素，其中心偏离对应的第x个透镜中心的距离；n2为发射另一条光线的像素，其中心偏离第二个透镜中心的距离。上述公式阐述了理想大纵深立体全像显示过程中，来自不同像素发出的光线经过透镜调制后，与空间中重建三维点的关系。由上述公式，可得重建的三维空间点密度及光线密度与显示深度满足关系：

其中，dk为三维空间点的深度坐标；ρ3Dmax为当前深度范围下三维空间点密度的最大值；ρ2D为二维基元图像的像素密度；nlight为重建单个三维空间点的光线数量。根据上述公式分析，可将空间中不同纵深范围划分为gap的各整数倍范围进行重建的像素密度分析，对于不同显示纵深下的医学图像分割密度应大于理论显示像素密度值。在分割点附近采样区域大小范围内进行区域滤波，将像素区域滤波的结果赋值给基元图像上对应的光线交点位置，此采样过程遍历空间中所有分割出的医学图像三维物体表面点，即可实现全部分割区域的采样渲染。

2 结果

医学演示等过程中，由于不同组织结构具有三维空间的不同纵深显示效果，需要对各个方向解剖结构的三维空间信息进行准确的重现。对于具有较大纵深的组织结构显示角度，进行裸眼三维显示的过程中，经常出现由于系统显示纵深范围不足导致的像素弥散过重，因为产生图像前端模糊，结构不可分辨等问题，影响对于整个组织结构的观看效果。

我们搭建了大纵深立体全像裸眼三维显示系统，并根据医学图像特性进行了显示系统的优化，系统需要保证三维显示对于原始病灶结构信息等的高清晰三维重建显示效果，显示的效果应对医学图像的高精度要求具有较好的适应性，能够在较大的空间纵深范围内呈现准确的医学解剖结构。

显示系统由高清电子显示器（Sony，Xperia Z5 Premium，分辨率3840×2160）、高透光有机玻璃介质及高分辨率微透镜阵列（分辨率110×60）组成，透镜微元的直径尺寸为1 mm。我们采用了腿骨模型的CT结构扫描数据进行横截面轴向延伸方向的三维显示效果测试，腿骨模型，见图4(a)。腿骨模型CT数据中的三维表面部分通过医学图像分割方法进行了预分割处理，得到精准的腿骨表面点云信息用于图像超采样渲染。在不同视角下拍摄的三维显示效果，见图4(b)。

通过大纵深立体全像显示系统的呈现，三维医学腿骨数据能够以较高的还原度重现，腿骨的解剖结构及骨质纹理细节信息能够以较高的重建显示精度呈现。图中所示的腿骨结构原始轴向尺寸约30 cm，显示系统能够在此空间纵深内较为准确地呈现原始腿骨模型。

图4 腿骨模型的CT结构扫描数据三维显示效果

在我们搭建的系统测试中，具有较长可视深度的腿骨横截面结构由于显示像素弥散产生的图像干扰效果极轻，几乎不会干扰正常结构数据显示效果，因而可以保证系统对三维医学结构在冠状、矢状面尤其是横截面延伸方向等其他的自由观察角度下，都具有良好的三维结构显示性能。

3 讨论

我们提出了精准立体全像成像模型校准方法及针对医学图像的显示渲染优化方法，以优化医学图像裸眼三维显示的纵深效果同时保持较高的图像清晰度。实验结果证明系统具有呈现较高精度三维组织解剖结构的能力，图像在至少数十厘米显示纵深的范围内，三维图像的弥散程度较轻，将能够保证医学三维结构在各个观察方向的准确显示效果。

大纵深医学图像显示将为真三维医学显示提供新的显示模型，然而，受到系统硬件及技术限制，大纵深医学图像三维显示仍具有一定的局限性，例如受到光学透镜精度以及加工尺寸等影响，虽然系统能够提供具有较大景深的医学三维图像，图像显示的平面分辨率性能仍有待提升；显示纵深的增加也会带来可视角度的减小，提高三维显示的可视角度能够有效提升物体的三维空间感[17]。此外，为实现对于三维医学数据模型的实时采集及渲染显示，需要更高性能的处理器及完善高效的算法[18]。同时，对于医学图像的显示效果需要临床应用过程中根据应用场景不断进行图像分辨率及视角等参数的优化。

4 结论

裸眼三维显示是未来显示发展方向，其在医学应用中已逐渐发挥优势，例如手术导航、医学演示系统等，高性能的裸眼三维显示将推动未来精准医学的呈现。

本文的研究以提升裸眼三维显示的医学应用效果为研究的出发点，从提升裸眼三维显示能够提供的医学图像纵深方面进行优化。通过设计高精度成像模型的大纵深立体全像显示系统，提升立体全像裸眼三维显示模型的精准程度，优化系统显示性能；并根据医学图像的精度要求特点进行渲染方法的优化，以提供符合医学图像特点的三维显示效果，系统能够呈现清晰度较高的组织结构三维影像。同时，大纵深裸眼三维显示能提供在各个解剖方向上的精准三维显示，避免显示过程中，由于横截面结构的纵深范围过大导致部分观察视角下显示的图像质量降低。同时，本文研究提出的显示系统对于远程医疗等对于显示医疗场景纵深性能要求较高的情况下，也能够进行有效的裸眼三维成像。未来，在高性能平面显示器的辅助下，裸眼三维显示系统将具有更高的呈现医学三维图像能力。

[参考文献]

[1] Liao H.Integrated diagnostic and therapeutic techniques:Toward an intelligent medical system.[J].Comp Med Imag Grap,2014,38(5):421-422.

[2] Javidi B,Okano F,Son JY.Three-dimensional imaging,visualization, and display[J].Proc SPIE Int Soc Opt Eng,2009,7329:732901-732908.

[3] Okoshi T.Three-dimensional imaging techniques[M].Pittsburgh:Academic Press,1976.

[4] Zhang A,Wang J,Zhou Y,et al.Illumination optics in emerging naked-eye 3D display[J].Pro Electrom Res,2017,159:93-124.

[5] Park S,Yeom J,Jeong Y,et al.Recent issues on integral imaging and its applications[J].J Inform Dis,2014,15(1):37-46.

[6] Igarashi Y,Murata H,Ueda M.3-D display sSystem using a computer generated integral photograph[J].Jpn J Appl Phys,1978,17(9):1683-1684.

[7] Wang J,Liao H.Real-time 3D medical imaging using GPU-based integral videography[J].Med Imag Tech,2013,31:159-166.

[8] Zhang X,Chen G,Liao H.High quality see-through surgical guidance system using enhanced 3D autostereoscopic augmented reality[J].IEEE Trans Biomed Eng,2017,64(8):1815-1825.

[9] Liao H,Tamura D,Hata N,et al.High quality medical integral videography using anti-aliasing image processing based on sampling theorem[J].Jscas,2005,6(4):457-466.

[10] Fan Z,Chen G,Xia Y,et al.Accurate 3D autostereoscopic display using optimized parameters through quantitative calibration[J].J Opt Soc Am A Opt Image Sci Vis,2017,34(5):804.

[11] Fan Z,Chen G,Wang J,et al.Spatial position measurement system for surgical navigation using 3-D image marker-based tracking tools with compact volume[J].IEEE Trans Biomed Eng,2018,65(2):378-389.

[12] Fan Z,Weng Y,Chen G,et al.3D interactive surgical visualization system using mobile spatial information aAcquisition and autostereoscopic display[J].J Biomed Inform,2017,71:154-164.

[13] Liao H,Dohi T,Nomura K.Autostereoscopic 3D display with long visualization depth using referential viewing area based integral photography[J].IEEE Trans Vis Comput Graph,2011,17(11):1690-1701.

[14] Liao H,Iwahara M,Katayama Y,et al.Three-dimensional display with a long viewing distance by use of integral photography[J].Opt Lett,2005,30(6):613-615.

[15] Navarro H,Martinez-Cuenca R,Molina-Martian A,et al.Method to remedy image degradations due to facet braiding in 3D integral-imaging monitors[J].J Dis Tech, 2010,6(10):404-411.

[16] Jang JY, Cho M.Color artifact-free three-dimensional integral imaging display with large depth using a lens array based on sublens structure[J].J Dis Tech,2016,12(6):610-615.

[17] Liao H,Inomata T,Sakuma I,et al.An accuracy certified augmented reality guidance system with optimized image rendering for open MRI-guided neurosurgery[J].J Jap Soc Comput Aid Surg J Jsc,2005,7(2):158-162.

[18] Chen G,Ma C,Fan Z,et al.Real-time lens based rendering algorithm for super-multiview integral photography without image resampling[J].IEEE Trans Vis Comput Graph,2017,2756634.