基于平板电脑的增强现实系统

李 舫

(上海电力学院计算机科学与技术学院，上海 200090)

神经外科手术导航系统能够指导医生在术中准确定位手术部位，最大程度地减少对周围神经组织的损伤，在神经外科手术中具有重要临床价值.[1]目前的导航系统主要是在手术中通过空间定位仪跟踪手术器械的空间位置并变换到图像空间，与手术前采集的病人断层扫描(Computed Tom-ography，CT)或者磁共振(Magnetic Resonance Imaging，MRI)图像叠加在一起，医生就能在主机监视器上看到手术器械在病人体内的“虚拟透视”效果.[2]这种操作模式的缺点是:为了同时获取术中导航信息和手术器械相对于真实病人的位置，医生需要在病人身体和主机监视器之间来回切换视线.

通过增强现实(Augmented Reality，AR)技术[3-4]可以解决这一问题，该技术能直接在病人身体的原位显示虚拟导航信息.目前，增强现实技术共有两种方法:一是整合新的显示设备，包括较早的光学式头盔[5-6]和视频式头盔，[7-9]技术较为成熟的 NARVIS 系统[10-11]和 INPRES 系统，[12-13]以及增强视窗、[14-15]图像投影设备;[16-17]二是改进原有医学设备，比如增强手术显微镜、[18-19]增强MRI医学成像设备.[20-21]但两种方法都存在一些问题，如整合的新的显示设备需要专门制造，改进的医学显示设备在制造工艺上有几何对准的要求，它们都在一定程度上增加了系统的成本，限制了增强现实技术在临床上的广泛应用.

本文将平板电脑整合进原有的神经外科手术导航系统，这种新的显示设备无需专门制造，医生使用方便，且没有几何对准的工艺要求，因而在临床上较易推广.

1 材料和方法

1.1 虚实对准的基本原理

本文提出的系统是将平板电脑作为显示设备，医生在空间原位上可以同时看到融合的CT图像和真实病人.实现系统的功能需要解决3个关键技术:一是对平板电脑相机的标定;二是虚拟图像和空间目标的配准;三是将主机生成的虚拟图像发送并显示在平板电脑屏幕上.实现虚实对准的原理如图1所示.

图1 虚实对准的原理

式中:Tproj——相机的内参;

Tpose——相机的外参，Tpose=TrcThr;

Trc——平板电脑的适配器到相机的变换;

Thr——病人空间到平板电脑适配器的变换;

Tmh——图像空间到病人空间的变换;

Tph，Tpr——光学定位仪分别到病人空间、平板电脑的变换.

利用平板电脑作为增强现实显示设备，首先就必须对平板电脑的相机进行标定.我们在平板电脑的相机旁边固定了一个适配器用于实现光学跟踪，通过标定获得平板电脑相机的内部参数和相机相对于适配器的变换关系.然后确定虚拟图像空间到平板电脑适配器的变换关系.由图1可知，这需要经过图像空间到病人空间的配准关系Tmh以及病人空间到平板电脑适配器的空间变换Thr.以下将分别说明确定配准关系和空间变换关系的方法.

在手术中，采用光学定位仪跟踪病人头部和平板电脑，在病人头部和平板电脑相机附近分别固定了参考架和适配器(见图1).参考架和适配器上的反光球构成了一个正交的三维坐标系，光学定位仪跟踪到反光球的空间位置，计算出参考架和适配器坐标系分别相对于光学定位仪的变换矩阵Tph和Tpr.然后利用式(2)就可以得到病人空间到平板电脑适配器的变换关系，所得的Thr在手术中是需要实时更新的.

为了在平板电脑的显示屏上准确叠加重建的CT图像和病人头部，就需要确定图像空间到病人空间的变换Tmh.本系统采用的方法是在手术前对该图像与病人头部进行点配准，在重建的三维图像和病人头部上分别选取多个特征点，按点配准算法[22]对这两个特征点集进行配准.导航系统中已有的手术前数据是病人头部的CT图像，在配准前先由采集的二维断层序列重建得到CT体数据，采用以图像空间为序的体绘制方法，对手术前采集的CT图像做三维重构显示.利用点配准算法估算出扫描3D数据和术前CT数据的配准变换，从而得到图像空间到病人头部空间的变换关系Tmh，该变换关系在手术前确定后固定不变.

1.2 平板电脑的标定

标定的相机内参Tproj包括焦距、主点、径向和切向变形系数，[23]相机相对于平板电脑适配器的变换关系Trc包括3个方向的旋转向量和平移向量.标定Trc的原理如图2所示.

图2 标定平板电脑的基本设置

经过式(3)的变换关系以及相机的内参Tproj，在适配器坐标系中的点就可以投影到相机屏幕的正确位置上.

式中:Trm——标定网格相对于平板电脑适配器的变换关系;

Tmc——标定网格相对于相机的外部变换关系.

如图2所示，在标定Trc时，将标定网格和平板电脑都置于光学定位仪的跟踪区域中，将探针指向标定网格的原点，以及x轴和y轴上的角点位置，通过光学定位仪跟踪到标定网格上的角点和平板电脑的适配器，同时平板电脑的相机在相同位置下拍摄标定网格的图像.由光学定位仪分别跟踪适配器和标定网格，采用单位矢量法计算得到标定网格相对于适配器的变换关系Trm.在光学定位仪跟踪标定网格角点的同时，由相机拍摄标定网格，利用之前求得的相机内参，通过最小化重投射误差的方法得到网格相对于相机的外部变换Tmc.

1.3 数据的传输与显示

如图1中的虚线箭头所示，这一阶段主要实现传统导航系统与平板电脑之间的通信，将重建的病人图像显示在平板电脑的视频场景中.医生通过观察平板电脑屏幕，可以同时看到摄像头拍摄的真实场景和叠加在场景中手术部位的病人图像.图像数据实时传输采用的方法是:传统导航系统作为服务器端新开一条线程，监听来自客户端的连接请求，若有连接，则将数据发送到输出流;若无连接，则将一直处于等待状态.平板电脑作为客户端，通过指定端口与服务器端建立点对点的连接，然后获取输入流，并将输入流中的图像数据进行解析再叠加显示在摄像头的视频场景中.

2 实验结果

2.1 配准精度

由式(1)可知，影响本系统虚实配准精度的因素如下:Trc和Tproj与相机标定的精度有关;Tmh与点集配准的精度有关;Thr则与光学定位仪的动态跟踪精度有关.由于本系统实现过程中会受到人为因素的影响，我们对4个测试者的标定、对准和叠加结果进行测量，将其误差值做统计平均.

首先，使用平面网格对平板电脑的相机进行标定，在得到相机内参的同时通过重投射测量了标定的误差，标定误差为0.68 px.这一阶段的误差主要反映了标定的精度.然后再标定相机相对于适配器的外部变换，通过光学跟踪，在光学定位仪的坐标系下再进行重投射，得到3D对准的误差为1.19 mm.这一阶段的误差大小主要与动态跟踪的精度有关.

为了得到虚实配准最后的结果，我们在模拟实验中使用一个颅骨模型，实验之前在导航系统中重建颅骨的CT扫描图像，得到其体绘制图像，利用虚实配准过程得到在颅骨模型上叠加体绘制图像的结果.然后测量颅骨模型上6个特征标记点的投影和虚拟图像上的对应点之间的距离误差，叠加误差为1.50 mm.这一阶段的误差主要与点集配准的精度有关.

2.2 实时配准结果

采用光学定位仪进行跟踪，得到了实时的虚实配准结果.在虚实配准的视频中截取一帧，测量了配准图像的目标配准误差(Target Registration Error，TRE).[24]因为是在不同空间位置选取的目标点，其TRE误差值的差异较大，为了较准确地说明配准精度，选取分布在颅骨前半部的多个目标点，测量每个点的TRE误差，得到配准的平均误差和最大误差，以此测试该系统的实时误差是否能满足导航系统的精度要求.

图3显示了在跟踪过程视频中截取的其中一帧配准图像，图3a是在真实颅骨上叠加了部分的CT体绘制图像，图3b是叠加的全部体绘制图像.

图3 在平板电脑上的虚实配准结果

实验中选取了配准图像上的11个目标点，利用这些目标点的TRE误差计算了颅骨表面的配准精度，测量的虚实配准的平均TRE误差为1.39 mm，最大TRE误差为1.96 mm.由此表明实时配准的精度能够满足导航系统的要求.

2.3 与视频头盔的精度比较

为了与已有的使用视频头盔的增强现实系统进行比较，我们在实验中将显示设备改用头盔，采用同样的方法整合原有的神经导航系统，从标定、重投射后的空间对准两方面分别测量了这两种显示设备的精度.

表1是两种显示设备所做的实验比较.由表1可以看出，两种显示设备的系统误差接近，但平板电脑在实际使用中比头盔更方便.

表1 分别使用视频头盔和平板电脑产生的误差

3 结语

本文建立的基于平板电脑的增强现实系统，实现了通过光学定位仪的实时跟踪，以及在病人手术部位的原位看到叠加的虚拟图像的目的.实验结果表明，本系统比已有的增强现实系统使用更方便，且虚实对准的精度和实时性均能满足导航系统的要求.

[1]LUMENTA C B，GUMPRECHTH，KRAMMERM J.Image-guided neurosurgery[M]∥Neurosurgery.Springer Berlin Heidelberg，2010:579-590.

[2]GRIMSON E，LEVENTON M，ETTINGER G，et al.Clinical experience with a high precision image-guided neurosurgery system[M]∥Medical Image Computing and Computer-Assisted Intervention.SpringerBerlin Heidelberg，1998:63-73.

[3]SHUHAIBER J H.Augmented realityin surgery[J].Archives of Surgery，2004(2):170-174.

[4]FUCHS H，LIVINGSTON M A，RASKAR R，et al.Augmented reality visualization for laparoscopic surgery[M]∥Medical Image Computing and Computer-Assisted Intervention.Springer Berlin Heidelberg，1998:934-943.

[5]ARGOTTI Y，DAVISL，OUTTERSV，et al.Dynamic superimposition of synthetic objects on rigid and simpledeformable real objects[J].Computers ＆ Graphics，2002，26(6):919-930.

[6]LUO G，PELI E.Use of an augmented-vision device for visual search by patients with tunnel vision[J].Investigative Ophthalmology ＆ Visual Science，2006，47(9):4 152-4 159.

[7]BAJURA M，NEUMANN U.Dynamic registration correction in video-based augmented reality systems[J].Computer Graphics and Applications，IEEE，1995，15(5):52-60.

[8]ROSENTHAL M，LEE J，HIROTA G，et al.Augmented reality guidance for needle biopsies:an initial randomized，controlled trial in phantoms[J].Medical Image Analysis，2002，6(3):313-320.

[9]SAUER F，WENZEL F，VOGT S，et al.Augmented workspace:designing an AR testbed[C]∥Augmented Reality(ISAR2000).Proceedings IEEE and ACM International Symposium on IEEE，2000:47-53.

[10]BICHLMEIER C，SIELHORST T，HEINING S M，et al.Improvingdepth perception in medicalAR[M]∥Bildverarbeitung fürdieMedizin 2007.SpringerBerlin Heidelberg，2007:217-221.

[11]WIMMER F，BICHLMEIER C，HEININGSM，et al.Creating a vision channel for observing deep-seated anatomy in medical augmented reality[M]∥Bildverarbeitung für die Medizin 2008.Springer Berlin Heidelberg，2008:298-302.

[12]SALB T，BRIEF J，WELZEL T，et al.INPRES(intraoperative presentation ofsurgical planning and simulation results)-augmented reality for craniofacial surgery[C]∥Electronic Imaging.International Society for Optics and Photonics，2003:453-460.

[13]SUDRA G，MARMULLA R，SALB T，et al.First clinical tests with the augmented reality system INPRES[J].Neurosurgery，2005(1):4.

[14]BLACKWELL M，NIKOU C，DIGIOIA A M，et al.An image overlay system for medical data visualization[J].Medical Image Analysis，2000，4(1):67-72.

[15]LIAO H，HATA N，NAKAJIMA S，et al.Surgical navigation by autostereoscopic image overlay of integral videography[J].Information Technology in Biomedicine，IEEE Transactions on，2004，8(2):114-121.

[16]SASAMA T，SUGANO N，SATO Y，et al.A novel laser guidance system for alignment of linear surgical tools:its principles and performance evaluation as a man-machine system[M]∥Medical Image Computing and Computer-Assisted Intervention.SpringerBerlin Heidelberg，2002:125-132.

[17]GAVAGHAN K A，PETERHANS M，OLIVEIRA-SANTOS T，et al.A portable image overlay projection device for computeraided open liver surgery[J].Biomedical Engineering，IEEE Transactions on，2011，58(6):1 855-1 864.

[18]EDWARDS P J，KING A P，MAURER JR C R，et al.Design and evaluation of a system for microscope-assisted guided interventions(MAGI) [J].MedicalImaging，IEEE Transactions on，2000，19(11):1 082-1 093.

[19]FIGL M，EDE C，HUMMEL J，et al.A fully automated calibration method for an optical see-through head-mounted operating microscope with variable zoom and focus[J].Medical Imaging， IEEE Transactions on， 2005， 24(11):1 492-1 499.

[20]FICHTINGER G，DEGUET A，MASAMUNE K，et al.Image overlay guidance for needle insertion in CT scanner[J].Biomedical Engineering，IEEE Transactions on，2005，52(8):1 415-1 424.

[21]FISCHER G S，DEGUET A，CSOMA C，et al.MRI image overlay:application to arthrography needle insertion[J].Computer Aided Surgery，2007，12(1):2-14.

[22]ZHANG Z.Iterative point matching for registration of freeform curves and surfaces[J].International Journal of Computer Vision，1994，13(2):119-152.

[23]HEIKKILA J，SILVEN O.A four-step camera calibration procedure with implicit image correction[C]∥Computer Vision and Pattern Recognition.Proceedings IEEE Computer Society Conference on.IEEE，1997:1 106-1 112.

[24]FITZPATRICK J M，WEST J B.The distribution of target registration error in rigid-body point-based registration[J].Medical Imaging，IEEE Transactions on，2001，20(9):917-927.