卢 玲,徐学军,马 燕,唐 伟,唐俊安
长沙理工大学 物理与电子科学学院, 湖南 长沙 410114
舌诊——中医望诊的核心内容,通过观察人体舌像特征对人体疾患进行判断。舌像信息能反映人体脏腑功能及随时令的变化情况。随着现代数字图像处理技术的不断发展,舌体图像的分割以及舌像特征的提取与分类的方法均得到了实现。利用图像处理技术获得的舌像信息数据,满足了舌诊定量化、科学化发展的要求。
舌像特征提取的研究中常用的方法有神经网络分类器[1]、区域生长的彩色图像特征提取[2]、颜色空间的特征提取[3]、深度学习的特征提取[4]、KNN 分类器的分层图像特征提取[5]等。
项目进行了颜色模型特征提取与颜色特征向量提取的对比研究,并结合中医时间医学验证了舌像信息的时令变化规律。这种有效的特征提取手段能够提供科学的舌诊诊断依据,促进中医舌诊和数字化医疗体系的发展。
舌像局部对应五脏六腑,映射周身如图1 舌体区域与内脏器官的映射关系所示。
图1 舌体区域与内脏器官的映射关系Fig.1 Mapping relationship between tongue body region and visceral organs
人体的脏器疾患信息有规律地反映在体表的相关部位。这种映射是分层次的,且人体不同部位的敏感程度和表现也不尽相同[6]。中医时间医学认为昼夜以阴阳划分,昼为阳,夜为阴,昼夜的阴阳变化产生不同时刻气血运动的变化从而影响各个五脏器官的功能变化[7]。一日不同的时刻对应人体不同器官功能的活动情况,通过观察舌像可以了解各个器官生理功能的变化特征。舌诊作为中医望诊的重要手段,其与现代数字图像处理技术的结合推动了无损伤疾病诊疗体系的发展。
本文主要通过观察采集的舌像中舌色信息来判断人体的健康状况。首先,将舌像根据不同舌位的五行变换进行分割得到舌体区域分割图像;其次,通过颜色空间转换,将原始采集的 RGB 舌体区域分割图像转换成 HSI 颜色空间图,并获取各颜色分量特征及分量信息的占比图,再结合中医理论对舌像特征进行描述说明;同时,对原始采集的 RGB 舌体区域分割图像使用 HOG 特征提取方法获取舌像特征向量变化;最后,将 HOG 特征与 HSI 颜色空间的舌像特征变化进行对比研究,推衍出舌像时令特征的变化规律。舌像时令特征变化的研究,为人类健康管理和医疗服务提供了帮助,为舌像信息的深入研究提供了方向。
项目采集一天中四个时间变化节点的舌体图像,时间点分别是一日中卯时、午时、酉时、子时。由于光照条件 (照明几何和光照颜色)的不稳定性和采集设备光学特性的差异,舌图像的颜色往往会发生畸变[8]。因此需要对采集的舌像照片进行预处理,其主要目的是消除图像中与研究内容无关的信息,获得真实有效的数据[9]。通常拍摄的舌像照片包含舌体和面部图像信息如图2 (a)舌像原图所示。进行预处理得到感兴趣区域,提高舌像区域亮度得到如图2 (b)预处理后的舌像。
图像分割是将图像分割成不同区域,即解决具有相似性的像素分类问题,它是图像处理和图像分析的一个关键步骤[10]。为了未来深入研究的统一,舌像区域划分采用洛书九宫图。洛书九宫是观测太一之车,即北斗斗柄从中央临御四正四隅而形成的,且与八卦的阴阳变化存在的密切关系,同时阐明了"太一游宫"引起的四时八节及二十四节气的节令转移和气象变化[11]。根据不同舌位的五行变换和舌像区域与内脏器官的对应关系结合图3 洛书将舌像进行区域划分。主要划分为如图5 (a)[4,3,8] 左舌边、图5 (b)[2,7,6] 右舌边、图5 (c)[8,1,6] 舌尖、图5 (d)[5] 舌中和图5 (e)[4,9,2] 舌后根的五个舌像区域,如图5 四时舌像区域分割图像所示。
区域、颜色、纹理、形状、动态是舌像信息的主要来源,而颜色和纹理是舌像诊断的重要信息[12]。本研究将舌体各个部分的颜色特征作为舌像观察的主要参考对象。舌色信息主要以红色为主色调,其范围在淡白、淡红、红、红绛到淡紫[13]。
采集的舌像照片一般为 RGB 色彩模式,该色彩模式主要通过红 (R)、绿 (G)、蓝 (B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色[14]。在图像处理中,如果直接对红、绿、蓝颜色分量进行处理,其处理过程可能会引起三个量不同程度的变化,使图像发生明显的颜色的扭曲[15]。因此,使用HSI 颜色模型来描述舌像的特征,能有效解决颜色扭曲的问题,且符合人们用色调 (H)、饱和度 (S)和亮度 (I)来描述物体的方法[16]。
HOG 特征提取主要是根据局部信息的综合考虑计算图像的局部区域内梯度方向直方图,通过梯度或者边缘方向的密度分布对图像局部信息特征进行准确描述[17]。使用 HOG 特征提取,首先将获取的数字图像分割成相对较小且保持一定程度连通性的细胞单元;然后重复计算每个细胞单元中的梯度值和边缘位置来得到各个细胞单元的方向直方图;最后对获得的特征信息进行处理获得可用的图像特征信息[18]。概括总结为以下的算法步骤:
· 归一化图像
· 梯度计算
· 构建每个单元格的梯度方向直方图
· HOG 特征的形成
图2 (a)舌像原图 (b)预处理后的舌像Fig.2 (a)Tongue image (b)The image of the tongue after pretreatment
图3 洛书Fig.3 Lo Shu
图4 舌像区域划分图Fig.4 Division of the tongue-like region
图像经上述处理后计算每个 patch 的方向梯度直方图,再对patch进行卷积,计算每个像素点处的梯度方向和幅值[19]。HOG 提取的舌像特征向量主要是描述舌像特征的变化情况。
上海中医药大学黄景斌等研究了“日节律”相关因素对健康人舌像图像特征的影响。其研究选取 42 名健康女大学生 15日晨起后、午餐前 (午时)、午餐后、傍晚 (餐前)、睡前 (子时)5 个时间点的舌像图像。通过分析研究发现:舌像图像特征呈现出“日节律”的变化趋势,舌像客观化应用研究中需要重视时间、饮食因素对舌像特征的影响[20]。本研究对比选取了年龄为 22~26 周岁的健康壮年人作为研究对象。实验分别采集了两组四个时间变化节点的 7日舌体图像信息,再通过 MATLAB 处理获得的 R、G、B 数值,求其平均值得到数据如表1和表2。
将表1、表2女性和男性在四个时间点的舌像 R、G、B 数值直观化得图6 (a)、6 (b)、6 (c)、6 (d)的男女舌像颜色数值变化图。
分析可以看出一天中实验人员的舌像有明显的特征变化,说明舌像的变化与时令的变化有一定的关系。同样,一年中也会有相似的阴阳变化。实验验证可推衍出舌像是具有时令变化的特点。
表1 女性在四个时间点的舌像 R、G、B 值Table1 Tongue image R, G, B values for women at four time points.
表2 男性在四个时间点的舌像 R、G、B 值Table2 Tongue images R, G, B values for men at four time points.
将采集的舌像区域分割图像进行颜色空间转换,得到 HSI 颜色模型下的各个舌像区域分割图像,且与中医辨证论治结合,进行舌像时令变化特征分析。
中医根据昼夜的阴阳变化提出人体气血随昼夜变化气血运行也会产生相应的变化[22]。
清晨,气血运行到肝脏,肝气充盈[23]。肝脏功能对应舌边部分,图7 (a)和图7 (b)分别为四个时刻的 HSI 颜色模型的左右舌边图像,可以看出人体从卯时左右开始舌边处于血气旺盛的时刻。
酉时左右此时人体阳气处于不断衰减的状态,此时气血运行到肺,中医认为“肺气主降,上逆则为病。”[24]根据图8 四个时刻的 HSI 颜色模型的舌尖图像可以看出酉时左右是肺部的气血处于衰减的状态舌色也比其他三个时刻要弱。
图6 男女舌像颜色数值变化图Fig. 6 Change of the color of the tongue and the tongue of the male and female
脾胃通于长夏,五行中属土,受到木即肝脏的制约,脾胃之气受到克制[25]。图9 四个时刻的 HSI 颜色模型下的舌中图像反映出卯时的舌中区域未呈现明显的红色区域。午时心气旺盛且胃肠中血量不断增加使得脾胃功能旺盛[26],此时可以观察到舌色红润充盈。酉时人体阳气收敛,肺气的宣发作用减弱,此时脾胃功能受到抑制[27],舌色呈现出淡白现象。子时肾精不断加强,使得其他脏腑功能受到激发,此时脾脏功能亦得到激发。
子时,合于肾气,肾主封藏作用[28]。图10 四个时刻的 HSI 颜色模型下的舌根图像中看出子时左右的舌根区域处于气血旺盛的时刻。
图7 四个时刻的 HSI 颜色模型的左右舌边图像Fig. 7 Left and right tongue images of the HSI color model at four times
图8 四个时刻的 HSI 颜色模型的舌尖图像Fig. 8 Tongue tip image of HSI color model at four times
图9 四个时刻的 HSI 颜色模型下的舌中图像Fig. 9 The image in the tongue under the HSI color model at four times
不同的颜色状况反映人体不同器官的健康状况,以颜色特征为准则分析舌像信息能够很好的归纳总结人体的健康信息[29]。获取舌像 HSI 颜色模型的颜色分量占比能够定量描述各分量与舌像颜色特征含量的关系,也可作为定量化描述舌像特征的指标。
Matlab 处理的结果如图11 四时舌尖 HSI 颜色分量占比图可观察到午时舌中区域的红色分量占比高于其他颜色分量占比,符合中医日中之时血气运行至心脏的规律[30]。同时从图8中可以看出午时舌尖区域红色突出符合颜色分量占比图的观察效果。
图10 四个时刻的 HSI 颜色模型下的舌根图像Fig. 10 Tongue root image under the HSI color model at four moments
图11 舌尖 HSI 颜色分量占比图Fig. 11 Percentage map of color component of HSI at the tip of tongue
使用 HOG 特征提取方法对 RGB 颜色模型下的舌像进行特征向量提取,得到如图12 HOG 特征提取处理后的四时舌部图像特征向量变化图的结果图。根据中医一年24 节气可应一日24 时的理论,图12 中 4 时段以春、夏、秋、冬概述便于读者理解。从图12中可观察到舌中区域的特征向量的变化程度明显符合中医人体时令变化理论。
依据中医理论分析,结合图12 与图6 可看出:人体除了在四季变化过程中存在着生理节律,在一日的时间变化中也具有一定的时间节律特点。例如图12 中秋季舌中图像的梯度变化要比其他三个季节变化要明显。而脾脏功能主要在秋季运行,此时应主要保护脾胃运化功能适应季节变化带来的生理变化。以此类推可知其他脏腑功能也具有像脾脏功能一样具有明显的时间变化规律符合中医临床要求。
人生百年是一个动态变化发展的过程,相应一年而言,春夏秋冬对应着人生的生长壮老,恰如一年四季的季节和气候变化。对于舌像信息的研究,面对正常情况有一生的春生、夏长、秋收、冬藏,也有一日的时间变化规律;还对应不同舌像位置的金木水火土和人体的气血变化的可控规律。本研究通过模型构建与算法分析将人体舌像随时间的变化与一日的时间气血的变化联系起来,实现了复杂主观的人体健康状况的舌像表象与现代图像技术有机结合。通过采集舌像图像进行特征提取,获得颜色空间的基准数据进行对比分析研究,为中医舌像的客观化奠定了基础,随着图像处理进一步完善的表达以及望闻问切,四诊合参的统一必将推动中医临床突破,无损伤诊断预防医学与人类健康管理前景广泛。
图12 HOG 特征提取处理后的四时舌中图像特征向量变化图Fig.12 Image feature vector change map in tongue of four moments after HOG feature extraction