舌图像处理技术的研究进展

蒋海洋，王慧雯，郭春荣，邹 璐，李福凤，李 娜，孙祝美

(上海中医药大学·上海 201203)

舌诊是中医四诊的重要内容，是辨证论治的主要依据。中医临床实践证明[1]，在疾病发展过程中，病人的舌象可反映其脏腑虚实、气血盛衰、津液盈亏、病位深浅和预后好坏。传统的舌诊采用肉眼直接观察，诊断结论依赖于医生的知识水平、临床经验和诊断技巧，缺乏客观性和可重复性，同时环境、灯光等外界因素也会影响舌诊的准确性。在舌诊的客观化研究中，运用计算机技术进行舌图像处理和分析是目前的主流研究方式。舌图像处理是指对相机采集的舌图片进行规范化处理，其为后续的舌图像特征分析提供了基础。本文通过搜集整理近年的相关文献，从舌图像颜色校正、舌图像分割、舌质舌苔分离三个方面对舌图像处理技术的研究进行综述。

1 舌图像颜色校正

舌图像颜色校正是舌图像处理的首要环节。通过对舌图像颜色校正，可消除色差，使图像最大程度地还原舌的真实颜色，得到规范的图像数据，并提高后续舌象特征分析的识别率和准确性。

舌图像一般由数码相机采集而来，只有将其输出到计算机显示器上才能进行处理分析，但数码相机和计算机显示器的色域(色彩范围区域)是不同的，色域无一一映射关系，因此会产生彩色失真；同时，外界光源的变化、设备的随机噪声等也会影响舌象的彩色重现[2]。

根据采集舌图像时处于封闭或开放环境的不同而采取不同的颜色校正方案。封闭环境下，舌象采集仪一般利用模拟自然光的标准光源(D65)作为光照条件，颜色校正主要需解决不同设备色域差别导致的失真。如王永刚等[3]提出一种色貌评价与三刺激值(三原色刺激人视网膜的量值)匹配相结合的在线校正方法，其关键是将色标与舌体同时拍摄，动态求解校正模型参数，从而在色标数据标准化的同时使舌色校正为较真实的颜色，主观色貌评价和模拟实验证明这种方法具有稳定性、可靠性的特点；蔡轶珩等[4]从光谱反射率复原角度，采用有限维模型对舌色范围进行了分析,其估计的光谱反射率曲线计算得到的颜色值与实际值比较接近，从而证实了此舌图像颜色校正方法具有一定的可行性。

在开放环境下，利用自然光作为光照条件，会造成照射物体表面的明度、色调改变而引起色差，因此颜色校正主要解决光线因素引起的色差。为了防止不同设备导致的色域差别，一般选用与设备无关的Lab颜色空间进行校正前后的定量评价。如许家佗等[5]提出自然光条件下采集舌图像过程中的两种色差校正法，一种为拍摄前硬件手动白平衡，另一种为拍摄后软件数字化修正。这两种方法通过Lab颜色空间对舌色进行定量分析后，证实舌色还原准确。刘齐等[6]采用等效圆的方法在Lab颜色空间进行偏色检测，采用改进的灰度世界法及镜面法进行舌象颜色校正，结果显示偏色检测方法可以更准确地反映主观感受到的偏色程度，颜色校正方法也无需标准色卡的辅助，校正后的偏色程度更低，比传统算法具有更好的颜色校正效果。

2 舌图像分割

数码相机拍摄的舌图像包含了舌体及部分面部区域，为了便于后续舌象特征的研究分析，需要将舌体从图像中分割提取出来。早期舌图像分割多采用手工方式，虽准确率较高，但需专业人员参与，费时费力[7]。因此，研究舌体区域的自动分割技术是非常有必要的。经典的舌图像自动分割技术有阈值法、区域生长法、Snakes模型等方法。

2.1 阈值法 阈值法是区域分割法的一种，是最常用的图像分割法之一。阈值法的原理是用一个或多个阈值将图像像素点按灰度级分为若干类进行分析，其优点是计算简单、运算效率高、速度快[8]，缺点是对图像质量要求较高，当目标(舌体)和背景(非舌体)区域颜色相近时分割效果不佳。因此在实际应用中，阈值法结合颜色空间、形态学等方法综合使用，可使分割效果更好、更准确。如姜朔等[9]通过提取原始舌图像RGB与HSV色彩空间中G、B、V颜色通道信息，用Otsu阈值法分割舌图像，然后采用形态学自适应修正提升分割结果的精度；张广宇[10]将舌图像HSI颜色空间的S通道与I通道生成两个新的颜色通道，对两个通道分别使用迭代阈值分割法并拼接，再进行形态学修正得到准确的分割结果。

2.2 区域生长法 区域生长法是区域分割法的一种，在图像分割中也较常使用。区域生长法的原理是选取若干种子点，依据一定的生长准则，分别生长为若干子区域后，再将若干相似子区域合并为较大的区域进行分析。该方法的优点是计算简单，对于较均匀的目标有较好的分割效果，主要的缺点或难点是对相似度的阈值把握，如对相似度要求低则容易将舌体和周围的皮肤、嘴唇一起选取进来；反之，又易遗漏舌体区域而未能完全选取[8]。为改善这一问题，马超等[11]提出先用中值滤波去除图像噪声，在YCbCr彩色空间对图像进行预处理，去除面颊皮肤等背景信息，然后用均值移动法将舌体与嘴唇、牙齿分开，最后应用改进的区域生长法，得到准确完整的舌体图像；郭雪妍等[12]提出了一种改进的区域生长算法，该算法以舌图像的先验知识为设计基础，综合运用HSV颜色模型、直方图阈值化法，有效避免了皮肤、阴影的干扰，取得了良好的分割效果。

2.3 Snakes模型 Snakes模型属于边缘检测法，是一种活动轮廓模型。其原理是先寻找一个初始轮廓，然后通过使边缘能量函数最小化逐渐逼近真实边缘。Snakes模型相较其他分割技术的优点是动态性，并结合了图像高层语义信息(即图像的概念层信息)，保证了目标结果是一条完整的曲线；缺点是高度依赖初始轮廓的完整度，并且对于凹陷轮廓不能达到很好的效果[13]。为了消除初始轮廓对Snakes模型的影响，傅之成等[14]首先使用径向边缘检测得到初始轮廓，使用色彩对消来消除嘴唇影响，然后用Snakes模型得到准确的舌体轮廓，通过对300张舌图像分析发现，此方法分割成功率达到94%；刘宇博等[15]将舌体图像转化为YCbCr和HSV颜色空间，经数学形态学修正后得到初始轮廓，结果表明分割正确率达到96%。

2.4 深度学习 以阈值法、区域生长法为主的区域分割法和以Snakes模型为主的边缘检测法应用较普遍，但均存在相关缺陷，需要结合其他方法共同应用。因此，近年来兴起了应用人工智能领域的深度学习进行舌图像的自动分割，取得了显著的效果。深度学习又称深度神经网络，除了提取图像的颜色特征外，能够提取图像的深层语义信息，从而实现舌图像的精准分割。如王丽冉等[16]提出了一种基于两阶段卷积神经网络的舌体分割方法，实验表明深度学习算法在准确率、召回率、F值方面能够取得较为理想的分割结果且具有较快的处理速度。Xinlei Li等[17]提出了一种端到端的迭代网络舌像抠图技术，经与GrabCut、Closed-Form matting、KNN matting三种算法比较，此算法更准确有效，且同时适用于封闭环境和开放环境采集的舌图像，真正意义上实现了无交互、无初始化的像素级别上的自动舌体分割。这些方法均是今后舌图像自动分割的发展方向。

3 舌质舌苔分离

舌质和舌苔的完整分离提取，对后续舌象特征的定性、定量分析具有至关重要的作用。早期舌质舌苔分离多采用阈值法，结合舌质舌苔的颜色、分布等先验知识辅助分类，近年来多采用机器学习的方法，其代表算法为K-NN算法(有监督分类算法)、K-means算法(无监督聚类算法)。王学民等[18]设计开发了一种基于双光源的舌质舌苔分离系统，研究了白、绿光源对舌质舌苔分离效果的影响，结果表明纯绿光图像分离效果更好，对于舌苔厚薄交错的情况也能取得较好的分离效果；韩立博等[19]先将舌图像转换为Lab颜色空间，对a*通道舌图像进行直方图均衡化以及伽马校正，接着对增强后的图像利用K-means聚类法进行分离。在对200幅患者舌图像进行实验后表明，经直方图均衡化及伽马校正后的a*通道舌图像舌质舌苔分离结果明显强于未经处理的分离结果，且分割合格率达到了97%。这些方法对舌质舌苔的准确分离都起到了很好的效果。

4 结语

舌图像处理技术，包括了舌图像颜色校正、舌图像分割、舌质舌苔分离三个方面。首先，通过舌图像的颜色校正，可对采集后的舌图片进行修正，提高色彩还原度和图片质量，但无法处理采集过程中舌体拍摄不完整、不清晰、抖动，光照亮度不均匀等情况，因此要注意前期采集设备的调校和拍摄环境的选择；其次，舌图像分割技术种类繁多，各有优缺点，在应用时可综合几种方法，以提高图像分割的成功率和准确性。在样本量较大的情况下，可优先使用人工智能领域的深度学习实现精准分割；最后，在舌质舌苔分离方面，要重视舌质、舌苔在颜色和分布上的先验知识，尤其要以颜色作为舌苔舌质区分的主要判断依据。同时，舌质舌苔分离也是承接后续舌象特征定量分析的最终环节，将舌苔、舌质分离后，可进一步计算舌色、苔色对应的颜色空间(如Lab)值，或单独研究舌苔的厚薄、腐腻等特征，因此至关重要。