基于辅助光源的舌象点刺识别方法研究*

王学民，王瑞云，郭　丹，陆小左，周　鹏*

（1.天津大学精密仪器与光电子工程学院，天津300072；2.天津市生物医学检测技术与仪器重点实验室，天津300072；3.天津中医药大学中医工程学院，天津300193）

基于辅助光源的舌象点刺识别方法研究*

王学民1，2，王瑞云1，郭丹1，陆小左3，周鹏1，2*

（1.天津大学精密仪器与光电子工程学院，天津300072；2.天津市生物医学检测技术与仪器重点实验室，天津300072；3.天津中医药大学中医工程学院，天津300193）

中医舌诊中点刺所生部位和其在不同部位的疏密程度对疾病诊断有重要价值，点刺自动识别是实现舌诊客观化诊断的关键和难点之一。针对现有点刺识别方法适应性不高、识别率低等问题，提出了一种基于辅助光源的点刺识别方法。对标准白色光源和纯绿色光源下采集的10例舌象分别进行分割、配准，在绿光舌象上实现点刺提取并显示在白光舌象上，算法自动提取正确率能达到专家识别率88.47%；实现点刺的自动区域定位和计数。实验结果表明该方法点刺识别率较高，可在临床领域有所应用，为多种疾病提供了重要的诊断信息。

中医舌诊；点刺识别；图像分割；图像配准；纯绿色LED

EEACC：7230doi：10.3969/j.issn.1004-1699.2016.10.015

中医舌象中点刺所生部位可以推测热邪所在脏腑，点刺分布疏密可以估计热邪轻重［1］。点刺特征在许多疾病领域亦有着重要的诊断价值，如阑尾炎、肺炎和支气管炎等［2］。因此点刺自动识别是中医舌诊客观化研究中的关键步骤。点刺在舌体上分布无规律、体积较舌体相差甚大、自然光线下与舌色差异小等原因成为点刺自动识别的难点所在。现有研究方法多基于点刺较正常舌体有颜色、灰度的不同，同时点刺大小、形态比较接近。有报道结合尺寸和圆形度等参数的灰度差法辨别点刺特征；利用Gabor小波分析提取点刺特征；探索不同光谱范围内点刺表征［3-5］。

为更好的识别点刺，结合物体显色原理以及光三基色原理，本文提出一种基于辅助光源的舌象点刺识别方法。对白光和绿光舌象分别利用颜色信息结合Snakes算法和人工交互的方式进行自动与半自动分割，再运用基于互信息的图像配准方法使分割的两个舌象各部分基本对齐，进而对配准后的绿光舌象综合应用Log边缘检测、平行线法等算法实现点刺识别。

1　舌象采集方法

1.1舌象采集系统

中医舌诊多在充足柔和的自然光线下进行。为避免外界环境干扰，使采集的舌象更接近人舌的真实色彩，采集系统使用暗箱结构，内部有积分球设计［6］，使光照均匀，减少反光点，如图1（a）所示：1、2、3、4为类标准光源，5、6、7为辅助光源，8为积分球结构，9、10是其上两个开口，9处固定相机11。两种光源下舌象采集效果如图1（b）、1（c）所示。

图1　舌象采集系统及采集效果

选用2个40 W和2个22 W的类D50环形荧光灯作为照明光源，其参数如表1所示，满足人工光源模拟自然光的标准。

表1　类D50光源参数

中医指出人舌伸出会有一定程度的不自主性颤动，本文分别采集两种光源下的舌象，就需要两次拍照时间间隔尽可能短，减少两幅图像中的舌体差异。LED光源响应快，光谱为单波峰，半峰宽较窄，单色性较好。基于舌体颜色、物体显色原理、光的三基色原理以及实验验证表明：15个纯绿色LED光源下点刺最为突出。因此选其作为辅助光源，参数如表2所示。

表2　纯绿色LED光源参数

采用Canon 600D相机作为图像采集设备，参数设定如表3所示。经由中医专家观察，在如上所述条件下，白光舌象色彩真实度最高，绿光舌象点刺最为明显。

表3　相机参数

1.2舌象采集过程

采集本校10例具有明显点刺特征的舌象，年龄20～24岁，身体健康。被试者面部放在开口10处，伸舌时尽量张口，上嘴唇略下压，以充分暴露舌体，且避免舌侧舌根出现阴影；舌体放松，舌面展平，舌尖略向下。拍摄时先采集白光舌象，再采集绿光舌象，两种光源转换的时间间隔为0.2 s。排除因荧光灯管响应时间长，照度、色温不稳定等因素可能带来的偏差。

2　点刺识别方法

为提取点刺并描述其所在区域和密集度，采用MATLAB2013b完成如图2所示算法步骤。

图2　算法流程图

2.1舌体分割

Snakes动态轮廓模型因非常适合分割闭合物体，且以其在鲁棒性、精确度、实用性等方面的优势，广泛应用于舌象分割领域。该算法的关键问题是外部能量的选取和初始轮廓的确定，并且传统Snakes要求初始轮廓位于感兴趣特征轮廓的外侧［7-8］。初始轮廓是一组由直线首尾相连构成的控制点，其数学表达式如下：

其中x（s）和y（s）表示图像中每个控制点的横纵坐标位置，s是以傅里叶变换的形式描述边界的自变量。

采用Snakes算法实现双光源下两种舌象的分割。白光舌象采用全自动的分割方法：选取HSV色彩空间H通道的色彩梯度为外部能量；对白光舌象进行色彩空间转换、通道二值化、找凸包、内轮廓填充、腐蚀膨胀、找嘴角暗区并去除暗区以上干扰等预处理，确定初始轮廓；再用Snakes算法进行舌体分割［9］。

绿光舌象因整体颜色单一，舌体与其它部位色差小，采取半自动的分割方法：手动标记10个轮廓点，构成封闭曲线，并以此为初始轮廓运用Snakes算法分割舌体。

2.2舌体配准

目前图像配准方法可分为三类：基于灰度信息、基于变换域和基于图像特征［10］。因每个人舌体差异较大，统一的特征不好确定，采用基于灰度信息的图像配准方法，主要包含定义相似性测度、寻找搜索空间、确定搜索策略三个步骤。

选取归一化互信息衡量相似性程度，当两幅图像达到最佳配准，它们对应像素的灰度互信息应达到最大，其表达式为：

其中H（A）、H（B）、H（A，B）分别表示图像A，B的熵以及联合熵。人舌体伸出时会不自主性颤抖，但因拍摄间隔较短，得到的两张图像舌体差异不大，选择仿射变换作为搜索空间。基于互信息的配准方法是寻找两幅图像之间的互信息达到最大时的最佳变化参数，因此选用Powell算法［11］作为搜索策略，其是典型的最优化算法，无需计算导数、形式简单、搜索速度快，有较强的寻优能力。

图像配准过程如下：①将均衡化后的白光、绿光舌象进行高斯低通滤波平滑，减少舌体内部的特征差异，改善互信息曲面，一定程度上可以提高配准精度；②利用灰度直方图计算互信息量，并用Powell算法迭代找到互信息量最大时两幅图像之间的最优变化参数；③将参数代入仿射变换矩阵，利用得到的变化矩阵对绿光舌象进行空间域仿射变化；④用PV插值算法进行重采样，为配准后的绿光舌象各像素点赋值；⑤计算配准后两幅图像的归一化互信息量，作为相似性的度量。

2.3点刺识别

2.3.1对比度增强

为了更好的提取点刺，利用形态学顶帽、底帽变化增强舌体图像的对比度［12］。图像f的顶帽变换定义为f减去其开操作：

其底帽变换定义为f的闭操作减去f：

将原始图像与顶帽变换的结果相加，并减去底帽变换，可有效增强图像对比度。

数学形态学运算的关键在于结构元素尺寸和形状的选取［13］。点刺形状多为圆形，选用圆盘形的结构元素进行运算，同时设置不同的结构元素大小，发现在半径为10时，点刺的对比效果最好。

2.3.2点刺提取

因点刺与周围区域相比反差较大，其灰度值明显小于临近区域，且其边缘梯度较大，采用边缘检测法提取点刺。分别用 Roberts、Sobel、Prewitt、Log以及Canny算子进行点刺的边缘检测，结果表明Log算子对边缘有很好的检测效果，得到的边缘连续、光滑，且所有的轮廓都趋于圆形，符合点刺的形状特征，因此选用Log算子［14］提取点刺。

点刺提取过程如下：①找寻舌象的最大轮廓，即舌体轮廓；②对舌体轮廓内部的像素进行高斯滤波去除噪声点；③用Laplace算子计算二阶导，寻找二阶导的零交叉点；④在子像素分辨率水平上用线性插值方法估计边缘的位置。

2.3.3伪点刺排除

由于点刺形状一般接近圆形，对上述所得到的轮廓进行圆形度检测，排除与圆形相差较大的轮廓，同时进一步消除可能是噪声产生的较小轮廓。圆形度由面积率来定义：

其中S是轮廓的实际面积，即轮廓线所包围的像素点数；C是轮廓最小外接圆面积。最小外接圆的计算如下：①从每个轮廓上随机选出两点，以此为直径做圆；②判断该轮廓上下一点P是否在圆内，若在则继续步骤，不在则进行第3步；③使用P作为新圆的一个边界点，另一个点为圆上距离P最远的点，以这两点为直径构造新圆；④继续步骤②，直到遍历完轮廓上所有点。

在计算面积率之前，需要计算轮廓的实际面积，当面积小于6个像素点时，认为其是噪声产生的干扰点，消除此轮廓；若面积符合需要再进行面积率计算。

根据点刺特性及实际测算，求得可能范围内点刺提取正确率最高的圆形度阈值，满足个体差异性。消除圆形度较小，且轮廓质心颜色分量不满足R＞190，B＞G，B＜150的轮廓。排除边缘检测时，紧挨着的点刺边缘合为一体，得到的轮廓圆形度较小而被判为伪点刺的情况。

2.3.4点刺定量分析

在提取出点刺的同时，还需描述其所在区域和密集度。

中医将舌划分为舌根、舌中、舌尖、舌侧五个部分［15］，如图3所示。通常人舌的人字界在伸出时不易看到，图像采集与舌体分割后也很难得到，因此认为前1/4为舌尖，中间2/4为舌中，后1/4为舌根。

舌体是一个凸多边形的近似，且多为对称型，为了能将舌体较均匀的划分，需先找到舌体的中轴线。采用平行线法提取舌体中轴线并划分舌区域，其过程如下：①提取舌体凸包，即包围舌体的最小凸多边形；②寻找凸包的最小外界矩形，并利用矩形与水平轴的旋转角度对歪斜舌进行旋转修正，使舌体根部水平；③利用平行线法寻找中轴线点集，此时的中轴线不一定是直线；④用Hough变换做直线拟合，对舌体中轴线进行修正，获取其位置；⑤结合最小外接矩形长、宽，将舌体进行区域划分。

根据舌面分区结果，以点刺轮廓质心落入舌面区域为原则，统计舌尖、舌中、舌根和舌侧各区域内点刺的个数［16］。

图3　舌面分区

3　实验结果及分析

采集本校学生10例舌象，运用所述方法进行点刺识别。因舌苔包围的点刺较易识别，特选择两组薄苔舌象分步显示处理结果。

从图4配准前后绿光舌象效果对比，以及归一化互信息由0.56升至0.67可以看出所述配准方法是有效的。

图4　配准前后绿光舌象效果对比

利用所述方法实现对比度增强和伪点刺排除，效果如图5、图6所示。点刺部分像素值更低，接近黑色，与周围部分差异明显；与圆形状相差较大且不满足颜色分量的轮廓已被剔除，并且较小的轮廓亦不存在。

图5　对比度增强前后绿光舌象效果对比

图6　伪点刺排除前后Log边缘检测效果对比

白光舌象分割效果如图7所示，舌体分割良好。白光舌象、绿光舌象上分别提取点刺，并均显示在白光舌象上，效果如图8、图9所示。结果表明绿光舌象上点刺提取效果更好，大部分的点刺都能被准确检测，尤其是舌苔包围的点刺。因为其与舌苔颜色上存在差异，绿光舌象中对比明显，经过图像增强点刺的边缘梯度进一步增加，提高了这些点刺的检出率。

图7　白光舌象分割效果图

图8　白光舌象点刺提取效果图

图9　绿光舌象点刺提取效果图

利用所述平行线法提取舌中轴线并辅以Hough变换进行直线拟合修正，图10显示不同参数下拟合效果。白线为平行线法提取舌中轴线，红线是Hough变换拟合后得到的舌中轴线。变换半径ρ=1，变换角度θ=10时效果最好，ρ、θ过大或过小都只能拟合出部分直线。图11显示ρ=1，θ=10时舌中轴线提取效果。

图10　不同参数下Hough直线拟合效果图

图11　舌中轴线

白光舌象上实现点刺特征的中医师视觉识别和计算机程序识别，绿光舌象上实现点刺特征的计算机程序识别，显示其点刺提取和定量分析结果。

表4、表5以样本为对象，对比每个样本白光舌象和绿光舌象上点刺专家计数和算法正确计数结果，平均提取正确率分别为61.65%和88.47%。应用Spss 20.0统计分析软件，两种光源下点刺提取结果的比较采用单因素方差分析法（one-way ANOVA），P=4.33×10-11≪0.05，认为差异具有统计学意义，即样本点刺平均提取正确率的提高是因使用绿色光源。同一舌象3次拍摄点刺提取结果的比较采用CronbachAlpha模型，α＞0.99，认为该方法可重复性好。

表4　白光舌象点刺提取结果

表5　绿光舌象点刺提取结果

按中医习惯将舌体划分为5个区域，并需确定每个点刺所在区域。表6以舌体区域为对象，对比每个区域点刺专家计数和算法正确计数结果。数据表明舌中舌根点刺识别率更高，因为其多有舌苔附着，舌苔色彩与点刺差异较大，更易识别。

实验结果亦表明专家计数和算法正确计数之间存在一定的差异，分析原因如下：其一，同一专家3次点刺提取结果的比较α=0.95；3名专家对同一舌象点刺提取结果的比较α=0.86，认为视觉识别缺乏恒定标准，导致识别结果有所差异。其二，集中在舌尖红处的点刺与舌质差异较小，部分点刺未能正确提取。

表6　绿光舌象点刺定量分析结果

4　结论

将计算机图像分析技术应用于舌诊，有效的避免因人视觉的不稳定性等因素造成的结果差异。本文论述了基于辅助光源的舌象点刺识别方法研究，该光源下采集到的舌象点刺对比度更高。对10例舌象实现Snakes算法舌体分割、基于互信息的图像配准、Log边缘检测以及平行线等方法识别点刺。结果表明同样算法下绿光舌象点刺提取正确率在88%左右，约高于白光舌象27%；实现点刺的自动区域定位及计数。点刺计算机程序识别与中医师视觉识别有着较好的符合，说明该方法能够有效解决点刺自动识别问题，为疾病诊断提供了重要的信息。

为了更好的满足临床需求，未来的研究方向如下：其一，结合更加符合点刺视觉特征的定义，改进系统优化算法，提高点刺提取的正确率；其二，基于辅助光源提取舌象的多种生理病理特征参数，用于疾病的早期发现及诊断。

［1］卫保国.中医舌象分析中彩色重现与纹理形态分析的研究［D］.北京：北京工业大学，2003.

［2］朱文锋.中医诊断学［M］.北京：中国中医药出版社，2011：233-242.

［3］夏雨.基于机器视觉的望诊分析系统研究［D］.上海：华东理工大学，2014.

［4］何苗，王宽全，刘春雨.基于Gabor小波和特征加权的红刺舌象分类［J］.现代生物医学进展，2007，7（11）：1714-1717.

［5］李庆利，薛永祺，王建宇，等.高光谱成像系统在中医舌诊中的应用研究［J］.红外与毫米波学报，2006，25（6）：465-468.

［6］朱穆朗玛，燕海霞，钱鹏，等.基于图像信息采集的中医舌诊仪器硬件设计研究进展［J］.世界科学技术-中医药现代化，2014，16（2）：433-437.

［7］Shan H，Ma J.Curvelet-Based Geodesic Snakes for Image Segmentation with Multiple Objects［J］.Pattern Recognition Letters，2010，31（5）：355-360.

［8］叶希鹏，徐伟栋，杨勇，等.乳腺MRI图像肿块分割的分段比较与方法研究［J］.传感技术学报，2015，28（3）：387-395.

［9］Shi M，Li G，Li F.Snake：Automatic Tongue Image Segmentation Utilizing Prior Knowledge［J］.Science China Information Sciences，2013，56（9）：1-14.

［10］Manjusha P，Deshmukh U B.A Survey of Image Registration［J］.International Journal of Image，2011，5（3）：245-269.

［11］Gao W，Liu S，Huang L.A Novel Artificial Bee Colony Algorithm with Powell’s Method［J］.Applied Soft Computing，2013，13（9）：3763-3775.

［12］孙亚杰，高艺，薛瑶环，等.相控阵超声监测成像与直方图匹配图像增强实验研究［J］.传感技术学报，2015，28（1）：86-92.

［13］肖梅，韩崇昭，张雷.基于多尺度轮廓结构元素的数学形态学边缘检测［J］.西安交通大学学报，2005，39（6）：659-660.

［14］Abderrahim E，Xavier D，Zakaria L，et al.Nonlocal Infinity Laplacian Equation on Graphs with Applications in Image Processing and Machine Learning［J］.Mathematics and Computers in Simulation，2014，102：153-163.

［15］刘毅，陆小左.中华舌诊观止［M］.北京：中国中医药出版社，2015：138-145.

［16］沈兰荪，蔡轶珩，张新峰.中医舌象的采集与分析［M］.北京：北京工业大学出版社，2007：245-24.

王学民（1961-），男，1985年于天津医学院获得学士学位，1998年于天津大学获得博士学位，现为天津大学副教授，主要研究方向为人体信息检测，经颅磁场分布及脑认知，具体侧重医学成像、分析仪器的研究，利用工程的方法诠释生物信息的研究等方面，xueminw@tju.edu.cn；

王瑞云（1992-），女，2015年于天津大学获得学士学位，现为天津大学在读硕士研究生，研究方向为基于辅助光源的舌诊客观化研究，wangruiyun@tju.edu.cn；

周鹏（1978-），男，于天津大学获得博士学位，现为天津大学副教授。主要研究方向为神经工程、脑认知、医学图像和信息处理等，zpzp@tju.edu.cn。

A Research about Tongue-Prickled Recognition Method Based on Auxiliary Light Source*

WANG Xueming1，2，WANG Ruiyun1，GUO Dan1，LU Xiaozuo3，ZHOU Peng1，2*
（1.School of Precision Instruments and Optical Electronics Engineering，Tianjin University，Tianjin 300072，China；2.Tianjin Key Laboratory of Biomedical Detecting Techniques&Instruments，Tianjin 300072，China；3.College of Traditional Chinese Medicine，Tianjin University of Traditional Chinese Medicine，Tianjin 300193，China）

Prickle’s growing area and density in different areas have important disease diagnosis value in Traditional Chinese Medicine’s tongue inspection.Prickle automatic recognition is the key and difficulty to achieve tongue inspection objective diagnosis.Contrapose the problem existing prickled recognition methods have low recognition rate and narrow adaptability，put forward a novel method to recognize prickle based on auxiliary light source.10 tongue images were collected under standard white light source and pure green light source.Tongue bodies were segmented and registered in white images and green images.Prickles were extracted in green images and showed in white images.In contrast to expert recognition rate，algorithm automatic extraction accuracy could reach about 88.47%.And prickles could be automatically located and counted in different areas.The processing result shows the presented method can attain high prickled recognition rate，realize accurately automatic quantitative analysis and then provide important diagnostic information for multiple diseases.

tongue inspection of TCM；prickle recognition；image segmentation；image registered；pure green LED

TP391.5

A

1004-1699（2016）10-1553-07

项目来源：国家“十二五”支撑计划项目（2012BAI25B05）

2016-04-08修改日期：2016-06-24