人工智能背景下的中医舌诊客观化研究概述

江智泉， 周作建， 鲍剑洋， 战丽彬， 商洪涛

摘  要： 为了促进中医舌诊的标准化和客观化，推动中医舌诊客观化研究，探究以深度学习为代表的人工智能技术在舌诊客观化领域的应用现状和研究水平，文章以舌像的采集-预处理-图像识别-客观诊断为主线，对舌像辩证自动化的新方法进行了归纳和总结。通过方法综述，为智能化舌诊和中医现代化研究提供方法参考和研究思路，促进人工智能技术在中医舌诊领域的深度发展。

关键词： 舌诊客观化; 人工智能; 图像识别; 深度学习

中图分类号：TP311.5          文献标识码：A     文章编号：1006-8228（2022）01-01-04

Overview of the objective study of tongue diagnosis in Chinese Medicine

in the context of artificial intelligence

Jiang Zhiquan1， Zhou Zuojian1， Bao Jianyang1， Zhan Libin2， Shang Hongtao3

（1. College of Artificial Intelligence and Information Technology， Nanjing University of Traditional Chinese Medicine， Nanjing， Jiangsu 210046， China; 2. College of Traditional Chinese Medicine， Nanjing University of Traditional Chinese Medicine; 3. Affiliated hospital of Nanjing University of Chinese medicine）

Abstract： In order to promote the standardization and objectification of tongue diagnosis of Traditional Chinese Medicine， promote the research on the objectification of tongue diagnosis of Traditional Chinese Medicine， and explore the application status and research level of artificial intelligence technology represented by deep learning in the field of tongue diagnosis objectification. In this paper， the new methods of dialectic automatization of tongue image are summarized， which are based on the main line of tongue image acquisition， pretreatment， image recognition and objective diagnosis. Through the review， the method reference and research ideas for the research of intelligent tongue diagnosis and modernization of Traditional Chinese Medicine are provided， which promotes the in-depth development of artificial intelligence technology in the field of tongue diagnosis of Traditional Chinese Medicine.

Key words： objectification of tongue diagnosis; artificial intelligence; image recognition; deep learning

0 引言

中医舌诊是中医诊断的重要环节之一，其通过观察舌体的颜色和形态变化来感知患者疾病，具有诊断过程实施方便，诊断价值高的独特优势。但由于医师主观经验和诊疗客观条件的影响，诊察结果可能出现误差。为了充分发挥其诊断优势，降低诊断误差，中医舌诊的临床诊断需要更高的信息化智能化来提供定性定量的数据支撑。近些年来，以深度学习等为代表的AI技术被广泛用于舌诊客观化的研究中，实现了快速、高效、精准的舌像智能分析，大大提高了客观化舌像诊断的准确率。本文以采集-预处理-图像识别-客观诊断为主线进行分类综述。

1 舌像采集方法研究

标准化的舌像采集是进行舌像分析的重要前提。为了满足后期舌像特征提取和分类的需要，标准的舌像图片不仅应该包含完整的舌体可用信息，也应该具有清晰度高，色彩保真效果好，成像質量优等特性。目前，舌像标准化采集的研究主要聚焦于光源和采集设备的选择上。

许家佗[1]对舌像采集条件做了一些实验观测，比较了自然光源和人工光源以及不同CCD相机设备对舌体成像效果的影响，认为自然光源由于其光谱连续，光照均匀，简洁实用等特性，是临床可行的最适合光源，但由于受制于自然条件，自然光的色温和照度变化较大，为采集带来了不确定因素。而人工光源具有稳定和不受制于环境的巨大优势，但也存在光谱不连续、光照不均和设备繁杂等问题，临床实用性较差。因此，对于光源如何选择，有大量学者做了相关工作。石强[2]通过比较标准光源D50和自然光源下舌像诊断结果的相似度，认为D50光源稳定性强，接近自然光，可以作为舌像采集标准照明光源。在采集设备的研究上，多家单位成功研制了多种型号的舌像仪，上海中医药大学王亿勤团队研制的ZBOX-1型舌脉象数字化分析仪[3]，北京工业大学蔡轶珩团队[4]设计了以计算机为核心的标准舌像分析仪，采用人工光源，通过图形技术和聚类算法，实现了舌像采集、图像处理、舌色分析与定量化的标准流程，具有一定的临床效果。考虑到常见的舌像采集仪体积普遍偏大，邸丹[5]设计了一种手持式舌像仪，具有体积小，便携性高的优点，满足部分舌像采集需要。丁明全[6]在舌像采集系统中采用了自动对焦技术，通过自动对焦的相关算法，解决了一些由采集环境、人为因素和拍摄角度等带来的影响舌像拍摄质量的问题。现存的舌像采集方式大多依赖于成本高、不易携带的舌像采集仪，这不利于在基于互联网服务的多场景终端上发挥作用。因此，研究针对各种智能终端的舌像采集方法和辨证标准，也是未来智能化舌诊的发展方向之一。

2 舌像预处理方法研究

2.1 图像处理

由于光照条件不充分、采集设备难以精确捕捉舌像细节等原因，使得显示器难以有效还原真实舌像信息。因此，我们需要将采集到的舌像图片作进一步的数字图像处理，包括图像校正和图像降噪等。

赵忠旭[7]利用三层BP神经网络，通过自适应调整，设计了CRT网络模型和校正环节网络模型，可以有效的实现三刺激值匹配的彩色校正。许家佗[8]提出一种自然光条件下基于色差校正的方法，应用L*a*b*均匀色空间对舌色进行色差校正，将校正后的舌色色度进行统计学分析，具有统计学意义，此方法具有良好的校正效果。

对于成像设备带来的图片噪声，我们可以采用图像滤波算法来进行降噪处理。图像滤波算法通过对区域像素的数学运算，计算出目标像素点的合适有效输出，以此来降低噪声对舌像细节的干扰。均值滤波和高斯滤波等算法是降噪处理中较为常见和高效的方法。作为最典型的滤波算法，均值滤波的处理方法是取K*K窗口中像素值的平均值作为像素输出，从而有效调整噪声点像素值，抑制噪声，但这种方法可能会丢失图像的细节，带来边界模糊等问题。中值滤波算法可以在达到噪声处理的同时减少图像边缘细节的丢失。此外，高斯滤波算法在抑制服从正态分布的噪声的任务中具有一定的优势。

2.2 舌像分割

为了后期能有良好的特征识别和分类，我们需要对舌体图像进行分割处理。舌体图像分割目的是从获取的舌图像中去除脸部、嘴唇等干扰环境，分割出可用于分析的有效舌部位颜色细节，充分保留患者的舌体信息，排除无关背景对舌体进一步分类识别的干扰。舌体图像分割过程如图1所示。

当前研究中实现对舌体的有效分割的方法主要有基于阈值的分割方法，基于能量泛函的分割方法等。随着机器学习的发展，也产生了聚类，字典学习、深度学习等高效方法。

阈值分割是图像分割方法中最为常见的手段之一。李丹霞[9]通过结合局部阈值和全局阈值的优点，提出自适应阈值的算法，将图像分割为多个子块，迭代计算每个子块的最佳阈值和局部最佳阈值，构成阈值矩阵从而进行分割。分割结果与仅使用全局阈值分割或仅使用局部阈值分割相比具有明显优势，特别是对非均匀光照图像分割效果尤佳。但单纯使用阈值分割仍存在许多适应场景问题，相关学者结合色彩模型，形态学等方法，对阈值分割方法进行了结合和优化。姜朔[10]将形态学自适应修正的方法与Otsu阈值法进行结合，通过获取原始舌像的G、B、V通道信息，运用Otsu阈值法对舌像进行二值化处理并结合先验知识进行聚类，采用形态学舌体当量直径自适应选取结构元素的大小的方法，实现分割范围的自适应修正，能较好地实现分割效果，但存在效率不高的问题。

基于能量泛函的舌像切割方法也是主流方法之一，以活动轮廓模型（ACM Active Contour Model）为代表。该方法通过人工参数控制和内外力作用，最小化特定定义的能量函数闭合曲线，实现对目标区域的有效分割。但传统的Snake方法对图像噪声敏感，且无法逼近极凹的轮廓内部，能量曲线容易得到局部極值解，容易丧失边界信息。因此，刘晨星[11]提出一种改进Snake算法的模型，该模型引入Perona-Malik方法强化轮廓界限，通过梯度矢量流模型（Gradient VectorFlow，GVF）优化图像外力场，进而提取舌像轮廓，有效地解决了传统Snake算法对不规则舌体轮廓的逼近效果欠缺的问题，提高了切割效果。史苗静[12]、高清河[13]等人也对Snake模型提出了改良方案并取得不错的分割效果。

机器学习技术这两年来也被运用到了图像分割领域，基于语义的深度学习图像分割技术成为了图像分割新的解决方案。通过对舌体图像进行语义分类处理，差异化图像中不同的区域，再通过全卷积神经网络（FCN）进行端到端的训练，在卷积和池化过程中汇聚和增强语义信息，实现语义分割[14]。但是，有监督学习的方法极大受限于训练数据的数量和质量，且像素级图像标注成本极大，有待进一步优化和发展。也有学者[15～16]使用K-means聚类算法，聚类图像颜色分量，实现对图像的分割。通过聚类后对同一个簇的所有像素点进行标记，重构图像，实现分割，具有较强的适应性。此外，李亚峰[17]提出一种基于多字典学习的分割方法，使用隶属度函数的正则约束来保持分割区域边界的几何结构，对不同的纹理具有较强的判别能力。当前，机器学习相关的图像分割算法仍在发展和优化中，有待进一步运用到舌像分割领域，以提高舌像分割的准确率。

3 舌像识别分析方法研究

舌像的定性和定量特征分析是舌诊客观化的重要过程。当前，舌像识别分类主要围绕舌质、舌苔和舌下三个点展开，以中医舌诊诊断过程为参考，聚焦于舌质的神、色、形、态，舌苔的苔质和苔色，舌下的形色等方面特征。传统的舌像识别工作需要人工标记特征，这对分类结果的准确性会有一定的影响。随着机器学习在图像识别领域的广泛应用，以神经网络为代表的深度学习技术为舌像特征分类识别提供了智能化的解决方案，提高了识别的准确度和泛化能力。

3.1 舌质与舌苔颜色识别

舌色可以反映出人的身体健康状态，是中医辨证论治的重要标准之一，因此对舌色和苔色进行分类和识别具有重要的实际意义。舌质的颜色一般分为淡红、淡白、红绛和青紫四种，而舌苔的颜色一般分为白苔、黄苔和灰黑苔三种。

肖庆新[18]提出一种基于轻型卷积神经网络架构的舌苔颜色分类方法，将原始数据进行人工标注并进行数据扩充，解决数据样本量小且不平衡的问题，设计了轻型卷积神经网络，将舌像特征提取和分类统一处理，该分类方法取得了94.85%的分类准确率，具有较好的分类性能。针对深度学习带来的训练成本高长等问题，杨晶东[19]引入迁移学习技术，建立基于全连接神经网络模型的小样本舌像分类方法，实现了ImageNet数据集训练的迁移，使用提取的强特征微调全连接神经网络进行小样本舌象分类，有效地解决了舌像分类中存在的小样本问题。目前，大多数卷积神经网络结构适用于单标记的分类任务，通过构建多个网络模型，对舌色，形态等分类任务多单独进行，忽视了其中舌体不同特征可能存在的关联性。汤一平[20]以标签之间的相关性为核心，设计了基于卷积神经网络的多任务联合学习模型，通过训练多个Softmax分类器对标签进行并行预测，实现了舌像多个特征的自动提取和相关分析。该方法具有一定的优势，但仍需大量数据进行优化。

3.2 舌质舌苔形态识别分析

对于舌质的形态研究主要聚焦于点刺、瘀点、裂纹和齿痕等。点刺表现为舌体表面有红刺群凸出，瘀点表现为舌体表面出现深色瘀点。中医舌诊中舌像的点刺所在的部位预示热邪所在脏腑，点刺的疏密程度代表热邪的严重程度;瘀点所在的部位预示淤阻所在经络。对于点刺瘀点，王昇[21]使用斑点检测算法simpleBlobDetector提取斑点和瘀点并生成特征向量，通过支持向量机（SVM）和K-means聚类算法进行点刺瘀点舌像识别和提取，准确率高，提取效果好。对于齿痕舌和裂纹舌，刘梦[22]基于FasterR-CNN算法和迁移学习算法，构建深度学习模型，有效完成了对中医齿痕舌和裂纹舌舌像的局部特征的综合识别，且在小样本训练数据中具有良好表现。

4 舌像的客观诊断研究

中医诊断的客观化是中医发展的必经之路，越来越多的学者致力于不同疾病不同证型的四诊客观化研究，取得了一定的客观化成果。王忆勤[23]通过对1000例冠心病患者舌像信息的跟踪分析和研究，建立起心气虚组患者与舌体形状多胖厚且有齿痕的联系，经过治疗，舌苔齿痕指数下降;心阴虚组治疗后舌色R值下降，转为淡红，且裂纹指数下降。马春玲[24]采集50例血糖调节受损和60例早期糖尿病患者进行研究，发现糖尿病患者舌像呈现舌色暗淡;舌体胖大，多齿印，苔色白等特征。通过大X量实验结果和科研数据，建立中医证型和舌像特征的对应关系，可以有效促进中医证型自动化识别的相关研究。

5 结论

舌诊是中医的重要诊断手段之一，实现中医舌诊的客观化也是中医舌诊的发展方向。近几年，机器学习算法广泛运用于图像分割、舌像分类和特征识别的过程中，具有较好的识别效果和泛化能力，极大推动了中医舌像诊断的客观化进程。但是，当前的舌诊客观化进程仍面临着缺乏标准数据集的问题。大多数客观化研究缺乏平衡性好的大样本数据，不利于算法的训练和优化。此外，缺乏对大量舌像数据的分类存储、高效利用和全面分析，未能有效地建立起舌像信息和中医证型的对应关系，与临床实践脱节。因此，需要继续深化多学科融合，推动建立舌像标准库和舌像多角度信息的标准化模型。在未来，借助人工智能技术带来的强大算力，引领中医走向与信息技术的深度融合，实现中医“望闻问切”的数据化分析处理从而带动中医诊断的全面信息化和客观化。

参考文献（References）：

[1] 许家佗，张志枫，费兆馥，等.舌象数字图像采集条件的实验观测[J].中国中医基础医学杂志，2007（1）：23-27

[2] 石强，汤伟昌，李福凤，等.舌象信息客观化研究中光源选择初探[J].上海中医药大学学报，2004（2）：39-41

[3] 王忆勤，汤伟昌，李福凤，等.ZBOX-Ⅰ型舌脉象数字化分析仪的研制与临床应用[J].上海中医药大学学报，2008（6）：26-28

[4] 蔡轶珩，刘长江，沈兰荪.新型舌象分析仪的设计方案[J].测控技术，2005（5）：34-36，47

[5] 邸丹，周敏，周会林，等.手持式舌象仪的研制[J].上海中医药杂志，2016，50（2）：12-14

[6] 丁明全.自動对焦技术在舌像采集系统中的应用研究[D].广东工业大学，2011

[7] 赵忠旭，沈兰荪，卫保国，等.基于人工神经网络的彩色校正方法研究[J].中国图象图形学报，2000.9：77-81

[8] 许家佗，张志枫，严竹娟，等.自然光条件下基于色差校正方法的舌象颜色分析[J].中西医结合学报，2009，7（5）：422-427

[9] 李丹霞，韦玉科.基于自适应阈值的舌像分割方法[J].计算机技术与发展，2011，21（9）：63-65

[10]姜朔，胡洁，夏春明，等.基于Otsu阈值法与形态学自适应修正的舌像分割方法[J].高技术通讯，2017，27（2）：150-155

[11] 刘晨星，张海英，杨浩.基于Perona-Malik方法的GVFSnake模型在舌像分割中的应用[J].微型机与应用，2017，36（15）：94-96，102

[12] Shi Miao-Jing，Li Guo-Zheng，Li Fu-Feng，Xu Chao.Computerized tongue image segmentation via the double geo-vector flow[J]. Pubmed，2014，9（1）

[13] 高清河，刚晶，王和禹，等.基于GVF Snake模型的舌像分割研究[J].科技视界，2018，6：131-132

[14]姚霆，张炜，刘金根.基于深度学习的图像分割技术[J].人工智能，2019（2）：66-75

[15] Zhexue Huang. Extensions to the k-Means Algorithm forClustering Large Data Sets with Categorical Values[J]. Kluwer Academic Publishers，1998，2（3）

[16] 刘峰，王博亮，黄晓阳.聚类分析在舌苔舌质分离中的运用[J].漳州师范学院学报（自然科学版），2007（3）：30-34

[17] 李亚峰.一种基于多字典学习的图像分割模糊方法[J].电子学报，2018，46（7）：1700-1709

[18] 肖庆新，张菁，张辉，等.基于轻型卷积神经网络的舌苔颜色分类方法[J].测控技术，2019，38（3）：26-31

[19] 杨晶东，张朋.基于迁移学习的全连接神经网络舌象分类方法[J].第二军医大学学报，2018，39（8）：897-902

[20] 汤一平，王丽冉，何霞，等.基于多任务卷积神经网络的舌象分类研究[J].计算机科学，2018，45（12）：255-261

[21] 王昇，刘开华，王丽婷.舌诊图像点刺和瘀点的识别与提取[J].计算机工程与科学，2017，39（6）：1126-1132

[22] 刘梦，王曦廷，周璐，等.基于深度学习与迁移学习的中医舌象提取识别研究[J].中医杂志，2019，60（10）：835-840

[23] 王忆勤，郭睿，许朝霞，等.中医四诊客观化研究在冠心病诊断中的应用[J].中医杂志，2016，57（3）：199-203

[24] 马春玲，朱章志，阮永队.2型糖尿病中医始发病机的临床研究[J].新中医，2011，43（6）：28-31