光栅投影真伪混合双目舌面三维成像方法

王 鹏，董美涵，孙长库，付鲁华

光栅投影真伪混合双目舌面三维成像方法

王 鹏，董美涵，孙长库，付鲁华

(天津大学精密测试技术及仪器国家重点实验室，天津 300072)

传统的舌头诊断会受到医生的知识、诊断技能和照明条件的限制，客观性和可重复性较差．因此，对舌诊进行客观化是很重要的．将光栅投影技术与双目视觉相结合是实现三维成像的常用手段．然而，舌头表面的津液会形成反射区导致相位展开失败，而且双目系统只能测量公共区域，边缘无法测量．为了获取完整的彩色舌面三维数据，提出了一种光栅投影的真伪混合双目三维重建的方法．将投影仪看成是一个逆向相机，对投影仪进行标定．由投影仪和左、右摄像机组成的两个伪双目系统，用于补充舌面过度曝光区以及舌面边缘的点云．为避免空间点的重复重建，从理想光栅图像出发，采用级次和极线混合约束的方法逐点分别向左、右相机寻找匹配点．对于左、右相机均匹配成功的点，采用真双目系统进行重建．对于单相机匹配成功的点，用伪双目系统进行重建．结果显示，光栅投影真伪混合双目的方法可以准确快速地获得完整的区域性反光阶梯块和真实舌面三维点云，上舌面舌苔特征明显，下舌面血管完整清晰，有助于舌诊客观化进行．最后，设计实验用测量半径为19.05mm的陶瓷球对系统进行了精度验证，系统的测量偏差在±0.1mm以内．

舌诊客观化；三维测量；光栅投影；立体匹配

中医认为，人体是一个有机的整体，而舌是全身的脏腑器官的缩影之一，舌诊是中医望诊的主要内容之一[1]，各个组织器官的健康状况均可通过神经、脉络反映到舌的不同区域．传统的二维舌诊仪只能识别舌体的形状，无法提供舌体的舌苔厚度，舌裂纹的长度等三维信息，不能提供完整的诊断信息．因此，实现舌诊的标准化、定量化、客观化[2]，研制三维舌诊仪具有重要的现实意义．

国内部分学者已经将光学的三维形貌测量技术引入舌诊仪中，如北京工业大学蔡轶珩等[3]采用光度立体法配合4个光源进行舌重建，但舌体三维重建的误差高达3.6mm，且无法对舌面反光区域进行重建．天津大学王元千等[4]利用多目立体视觉进行舌面三维重建．为减少视觉盲区，系统用8个相机向心摆设，实验系统搭建复杂．天津大学郭丹等[5]利用双目视觉搭建了彩色三维舌诊仪，系统利用投影仪作为照明光源，采用改进的SSD立体匹配算法对舌体上表面进行了三维重建．本课题组利用成像追踪模型搭建了一台主动线结构光式的三维彩色舌诊仪[6]．这种方法虽然精度高，但是需要借助精密升降台，测量时间较长．

光栅投影双目视觉具有非接触性、精度高等特点，近年来在医疗辅助诊断领域有广泛应用．为实现彩色舌面点云的准确快速获取，本文将光栅投影技术引入到三维舌象仪中．针对舌面纹理特征不明显等现象，借助光栅投影解算后的相位值增加匹配特征．对于光栅投影三维测量技术来说，在过度曝光的舌面图像区域上无法获得准确的相位信息，最终无法获得展开相位值，会形成点云的缺失．对于反射区域点云的获取，可分为5类：喷洒显像剂、多重曝光、调节投影亮度方法、后处理的相位补偿以及多视角重建的方法．对于舌面来说，显然不能采用喷洒显像剂的方法进行反光消除．多重曝光法是将多种曝光时间下拍摄的一组图像合并为一个HDR图像[7]，测量时间长，需要拍摄多组图片．Babaie等[8]提出一种“空间地变化像素亮度”(SVIP)，该方法迭代地调节投影的棋盘格图案亮度，计算量较大．赵世红等[9]对面结构光的投影条纹进行优化，减少了投影次数，并对最大亮度进行了调整．Chen等[10]提出在步相移中用未饱和的像素点对相位进行恢复，但需要图像的像素满足不饱和数大于3的条件．Feng等[11]提出利用两个单目系统对强反射区域进行补充，并利用散斑图像不受像素饱和度的影响的特性确定强反射像素点．本文将投影仪看成是逆向相机，将投影仪和左右相机分别构成两套伪双目测量系统，最终形成真伪双目混合测量系统对舌面点云进行获取．这种测量系统不仅可以解决反光区域点云缺失的问题，也可以对边缘非公共区域进行点云补充．

1 光栅投影双目视觉三维成像

2 强反射表面反射模型

图1 光栅反射示意

3 真伪混合双目测量模型

3.1 混合双目立体匹配

传统的结构光三维重建技术仅仅把投影仪当成提供光栅图像的设备，本文将投影仪看成是逆向的相机，以投影仪输入的理想光栅图像作为投影仪拍摄的图像．由于投影仪不具备真实成像属性而且投影仪在制造过程中不可避免会产生镜头、光轴的装配误差，仅考虑径向畸变模型对理想的光栅图像进行畸变校正，则有

图2 立体匹配示意

3.2 坐标系转换

4 实 验

4.1 实验概述

搭建系统实物图如图3所示．系统由两个海康威视公司的MV-CA013-21UC彩色相机，分辨率为1280×1024，投影仪选择闻泰科技公司的DLP4500pro，光源由环形光源CCSHPR2-150SW提供．镜头选择为海康威视公司的8mm镜头，左、右相机的基线长度为180mm，测量距离为220mm．

图3 系统实物图

4.2 彩色舌面点云获取

系统采用投影仪同步触发照相机，照相机拍摄1幅彩色图像和12幅光栅条纹图像．彩色图像用于颜色信息获取，并经过标准24色卡进行了颜色校正．光栅图像用于测量解相．展开相位时定义光栅调制度系数过滤边缘相位不可靠区域．投影仪投射速度为0.04ms，采集时间在0.5s以内，可近似看成舌静止，从而获取完整的舌面点云．同时，如图4所示，对系统进行机械封装，设置下颚托，防止测量时发生剧烈抖动，造成测量偏差．

图4 系统封装图

如图5(a)所示，由于舌面存在津液，用传统双目系统对舌面进行测量，舌面出现斑点性缺失，且舌边缘不完整．利用真伪混合双目模型对舌面进行补充，如图5(b)所示，舌边缘完整，舌中点刺特征明显．舌下表面形貌复杂，在运用真双目系统进行重建时，由于存在遮挡，下表面重建不完整，如图5(c)所示．应用本文方法对点云进行补充，可重建出完整的舌下表面，如图5(d)所示，舌下脉络清晰．实验验证，本文方法可以重建出完整的舌体上、下表面，有利于舌诊客观化．

图5 舌面点云对比

4.3 铝合金阶梯块验证

利用铝合金阶梯块验证本文方法．拍摄的铝合金阶梯块某一时刻光栅图片如图6所示，可以看出在阶梯块的不同位置处分别出现了过度曝光的现象．

应用传统双目光栅系统对阶梯块进行重建，重建结果如图7(a)所示，阶梯块点云有大面积的缺失现象，应用本文方法对阶梯块点云进行补充，在同一视角下，补充后的点云图如图7(b)所示，可以看出，点云补充效果良好，阶梯块得到了完整重建．

图6 阶梯块光栅投影

图7 阶梯块点云对比

4.4 精度验证

为验证三维舌象仪的精度，对半径为19.05mm的陶瓷球进行三维重建并测量，运用最小二乘法拟合半径，点云结果如图8所示．在视场不同位置测量10次的结果如表1所示．实验验证10次测量的平均值为19.025mm，系统的测量偏差在±0.1mm以内，满足舌面的测量要求．

图8 陶瓷球点云

表1 陶瓷球测量实验结果

5 结 语

在大力发展中医药的时代背景下，为推进舌诊的客观化进行，本文设计并搭建了一套真伪混合双目彩色舌面点云获取系统，验证了光栅投影技术可以应用于舌面的三维重建．对传统的双目光栅测量进行了改进，分析了反射模型，提出了真伪混合双目测量模型，将投影仪和照相机组成伪双目系统，引入了畸变校正后的理想光栅图像做约束，对舌面进行了有效补充，实验验证，系统对氧化铝阶梯块的反光区域和边缘区域做了明显补充，可以对区域性反光物体做完整三维测量．应用系统对真实舌的上、下表面测量，结果表明舌面的点云获取效果良好，可以准确反映舌面特征信息，具有实用价值，推进了舌诊的客观化进行．对19.05mm的陶瓷球进行精度验证，系统的偏差在±0.1mm以内．

［1］ 张丽倩，李孟航，高珊珊，等. 面向计算机辅助舌诊关键问题的解决方案综述[J]. 计算机科学，2021，48(7)：256-269.

Zhang Liqian，Li Menghang，Gao Shanshan，et al. Summary of computer-assisted tongue diagnosis solutions for key problems[J]. Computer Science，2021，48(7)：256-269(in Chinese).

［2］ 钱 鹏，燕海霞，李福凤. 中医舌诊客观化研究的临床应用进展[J]. 中华中医药杂志，2021，36(5)：2839-2842.

Qian Peng，Yan Haixia，Li Fufeng. Clinical application progress of the objectification research on traditional Chinese medicine tongue diagnosis[J]. China Journal of Traditional Chinese Medicine and Pharmacy，2021，36(5)：2839-2842(in Chinese).

［3］ 蔡轶珩，张琳琳，盛 楠，等. 基于光度立体法的中医舌体三维表面重建[J]. 电子与信息学报，2015，37(11)：2564-2570.

Cai Yiheng，Zhang Linlin，Sheng Nan，et al. 3D reconstruction of tongue surface based on photometric stereo method[J]. Journal of Electronics & Information Technology，2015，37(11)：2564-2570(in Chinese).

［4］ 王元千，陈 雪，邵 娜，等. 多目视觉三维重建系统在中医舌象诊断中的应用研究[J]. 生物医学工程与临床，2020，24(6)：661-666.

Wang Yuanqian，Chen Xue，Shao Na，et al. Research on three-dimensional reconstruction of tongue based on multi-vision[J]. Biomedical Engineering and Clinical Medicine，2020，24(6)：661-666(in Chinese).

［5］ 郭 丹，王学民，王瑞云，等. 基于双目立体视觉的舌重建[J]. 传感技术学报，2016，29(9)：1317-1322.

Guo Dan，Wang Xuemin，Wang Ruiyun，et al. 3D reconstruction of tongue based on binocular stereo[J]. Chinese Journal of Sensors and Actuators，2016，29(9)：1317-1322(in Chinese).

［6］ 孙长库，陈素芳，王 鹏，等. 成像光线追踪的舌面彩色三维成像方法研究[J]. 仪器仪表学报，2016，37(6)：1398-1404.

Sun Changku，Chen Sufang，Wang Peng，et al. Research on color 3D imaging method for tongue surface based on imaging ray tracking[J]. Chinese Journal of Scientific Instrument，2016，37(6)：1398-1404(in Chinese).

［7］ 张宗华，于 瑾，高 楠，等. 高反光表面三维形貌测量技术[J]. 红外与激光工程，2020，49(3)：104-116.

Zhang Zonghua，Yu Jin，Gao Nan，et al. Three-dimensional shape measurement techniques of shiny surfaes[J]. Infrared and Laser Engineering，2020，49(3)：104-116(in Chinese).

［8］ Babaie G，Abolbashari M，Farahi F. Dynamics range enhancement in digital fringe projection technique[J]. Precision Engineering，2015，39：243-251.

［9］ 赵世红，薛海峰，方振卫，等. 基于双目面结构光的高反光物体自适应条纹方法[J]. 光学技术，2020，46(4)：433-437.

Zhao Shihong，Xue Haifeng，Fang Zhenwei，et al. Adaptive fringe method for high reflection object based on binocular coded structured light[J]. Optical Technique，2020，46(4)：433-437(in Chinese).

［10］ Chen Yanming，He Yuming，Hu Eryi. Phase deviation analysis and phase retrieval for partial intensity saturation in phase-shifting projected fringe profilometry[J]. Optics Communications，2008，281(11)：3087-3090.

［11］ Feng Shijie，Chen Qian，Zuo Chao，et al. Fast three-dimensional measurements for dynamic scenes with shiny surfaces[J]. Optics Communications，2017，382：18-27.

［12］ 毛翠丽，卢荣胜，董敬涛，等. 相移条纹投影三维形貌测量技术综述[J]. 计量学报，2018，39(5)：628-640.

Mao Cuili，Lu Rongsheng，Dong jingtao，et al. Overview of the 3D profilometry of phase shifting fringe projection[J]. Acta Metrologica Sinica，2018，39(5)：628-640(in Chinese).

［13］ 王 鹏，张宇倩，孙长库，等. 极线和级次双约束的光栅投影测量方法[J]. 红外与激光工程，2020，49(4)：144-150.

Wang Peng，Zhang Yuqian，Sun Changku，et al. Fringe projection measurement method based on polar line and fringe order double constraint[J]. Infrared and Laser Engineering，2020，49(4)：144-150(in Chinese).

［14］ Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2000，22(11)：1330-1334.

［15］ 周 舵，王 鹏，孙长库，等. 投影仪和双相机组成的三目立体视觉系统标定方法[J]. 光学学报，2021，41(11)：120-130.

Zhou Duo，Wang Peng，Sun Changku，et al. A calibration method for trinocular stereovision system consisting of a projector and dual cameras[J]. Acta Optica Sinica，2021，41(11)：120-130(in Chinese).

［16］ 李中伟，史玉升，钟凯，等. 结构光测量技术中的投影仪标定算法[J]. 光学学报，2009，29(11)：3061-3065.

Li Zhongwei，Shi Yusheng，Zhong Kai，et al. Projector calibration algorithm for the structured light measurement technique[J]. Acta Optica Sinica，2009，29(11)：3061-3065(in Chinese).

Obtaining Tongue Surface Point Clouds with Grating Projection Mixed Real/Pseudo Binocular Model

Wang Peng，Dong Meihan，Sun Changku，Fu Luhua

(State Key Laboratory of Precision Measuring Technology and Instruments，Tianjin University，Tianjin 300072，China)

Traditional tongue diagnosis is limited by the knowledge and diagnostic skills of doctors and the lighting conditions，which result in poor objectivity and reproducibility. Therefore，the objectification of tongue diagnosis is important. The combination of grating projection and binocular vision is a common method to realize three-dimensional(3D)imaging. However，fluids create reflective areas that cause the failure of the unwrapped phase and the binocular system can measure public areas but cannot measure edges. To obtain the complete 3D data of tongue color，we proposed a 3D reconstruction method based on grating projection. In the calibration process，we regarded the projector as a reverse camera. The projector-left camera and projector-right camera constituted two pseudo binocular systems，which were used to supplement the overexposure area and the edge of the tongue. To avoid the repeated reconstruction of spatial points，the matching points of the left and right cameras were searched point by point using the hierarchical method and pole line mixed constraints from ideal raster images. For the points matching the left and right cameras successfully，the true binocular system was used to reconstruct the points. For the points only matching a single camera，the pseudo binocular system was used to reconstruct the points. Results show that the grating projection method can accurately and rapidly obtain the complete regional reflective step block and the real 3D tongue surface point clouds. Moreover，the coating on the tongue surface is obvious，and the blood vessels on the lower tongue surface are complete and clear. The method helps promote the objective of tongue diagnosis. Finally，the accuracy of the system is verified by experiments. The measurement deviation of the standard ceramic ball with a radius of 19.05 mm is＜±0.1 mm.

tongue diagnosis objectification；three-dimensional measurement；grating projection；stereo matching

TP391.41；R241

A

0493-2137(2022)10-1101-07

10.11784/tdxbz202110026

2021-10-27；

2021-12-13.

王 鹏（1982— ），男，博士，副教授.

王 鹏，wang_peng@tju.edu.cn.

精密测试技术及仪器国家重点实验室2021年度探索性课题资助项目(Pilt2101).

2021 Exploratory Project Funding Project of the State Key Laboratory of Precision Measuring Technology and Instruments (No.Pilt2101).

(责任编辑：孙立华)