基于峰值搜索和模板匹配的心电监护仪数值提取方法*

邝又新,姚欢,娄昊,龚安民

(1.河南省人民医院国际医疗中心(郑州大学人民医院),河南省护理医学重点实验室,郑州 450002;2.武警工程大学,西安 710086)

0 引言

在医院,心电监护仪作为广泛使用的医疗设备,护士需定时通过其记录患者的生命体征数据,提交医生分析、判断患者的健康状况[1-4]。传统的心电监护仪为模拟式显示输出,需要护士投入大量时间和精力,定时观察并记录数据。近几年推出的数字式心电监护仪具备心电信息采集、存储和智能分析功能,可实现动态监测预警,显著提高心电数据采集的及时性、精准性;通过加装联网功能,可实现在护士站或者数据中心远程动态采集所有患者的心电数据,降低护士采集信息的复杂度,还可对信息进行电子化管理和大数据分析[5-9]。然而将医院的大批传统心电监护仪全部更换为数字式网络心电监护仪,需要一次性投入大额资金,增加了医院采购成本,尤其对欠发达地区医院负担较重。为此,本研究提出了一种传统心电监护仪的数字化方法,即在心电监护仪上加装光学摄像头,实时获取心电监护仪的视频影像,利用图像处理的方法定时提取心电监护仪上的典型数值,并进行数据存储与处理。

由于本研究提出的心电监护仪数字化方法仅需要固定摄像头对心电监护仪画面信息进行提取,其核心是对特定区域的图像进行预处理、提取感兴趣区域和数值识别[10-13]。基于此,本研究提出一种基于峰值搜索和模板匹配的心电监护仪数值提取方法。其主要过程为:首先,对图像进行预处理,并在去除冗余部分后,搜索峰值、锁定感兴趣区域(regions of interest, ROI);然后,对字符进行分割,归一化后采用模板匹配方法进行字符识别,最后整理数据并进行存储。

1 心电监护仪数字化方法

心电监护仪显示器上的输出信息主要包括数值区域和图形区域。其中,数值区域包括心率(ECG或者RCG)、血氧饱和度(SPO2)、呼吸频率(RESP)、血压(NIBP)4项,图形区域一般包含心电图、脉搏容积和呼吸波形3项。心率为65次/分;血氧饱和度正常范围是90%～100%;图中呼吸频率为21次/分;血压为130/72 mmHg。其中,心电图是图形区域核心内容,图1显示了二通道心电图;脉搏容积(PLETH)表示心率和脉搏的强度;呼吸波形(Imped)为RESP的连续输出。

图1 心电监护仪显示器输出

在心电监护仪旁或病房内合适位置加装光学摄像头,即可获取心电监护仪的视频输出;然后根据实际需要,按一定时间间隔提取关键视频帧;再对单个图像处理并提取图像中的典型值,实现心电监护仪的数字化。其中光学摄像、关键视频帧提取较易实现,本研究对提取的视频图像进行图像预处理、图像分割和图像识别等操作,最后获得图像中的典型数值,其工作流程见图2。

图2 图像数字化流程

2 算法设计与实现

2.1 图像预处理

为利于后续字符识别,本研究首先对图像进行锐化处理,将灰度变化明显的地方进行增强,使轮廓更为清晰。

由于系统处理彩色图像的数据量和运算量比处理灰色图像大得多,而本研究关注的主要信息为心电监护仪显示的数据,与颜色无关。为减轻计算压力,提升运算速度,采用加权平均算法将图像进行灰度化处理。通过计算 R、G和B分量的加权和,将RGB值转换为灰度值:

gray=0.298 9R+0.587 0G+0.114 0B

(1)

2.2 图像分割

由于心电监护仪不仅有数据显示区,还有心电图区等。为准确提取数据,需要获取感兴趣区域,对数据区域进行定位和分割。步骤如下:

(1)图像边缘检测。选用Roberts边缘检测算子,用互相垂直方向上的差分来计算梯度,从而检测图像边缘。对图像做差分:

(2)

其中,f(i,j)、f(i,j+1)、f(i+1,j)、f(i+1,j+1)分别表示对应位置的灰度值。梯度幅值计算为:

(3)

选取适当门限Th,可得到边缘图像R1(i,j):

(4)

(2)图像矫正。针对图像倾斜问题,对图像进行Radon变换,获取倾斜角度θ,然后根据倾斜角度对心电监护仪图像进行矫正。

(3)形态学运算,获取感兴趣区域。为获取图像的ROI并进行分割,首先对图像进行腐蚀操作并进行形态学闭运算,填补轮廓上的缝隙使区域闭合。随后采用扫描线种子填充算法对连通区域进行填充,使之完全覆盖ROI,得到ROI1,即得到二值化图像:

ROI⊂ROI1

(5)

为去除二值图像中非ROI的小面积对象,需计算各连通区域的像素大小。根据扫描线填充算法确定图像边界生成连通区域Cloi,Rij表示该区域第j行左边界的纵坐标;Lij表示该区域第j行右边界的纵坐标;Lij-Rij+1则表示该区域第j行的像素个数,通过累加可得该连通区域的像素大小:

(6)

随后将像素值小于K的连通区域去除,得到ROI2为:

(7)

(4)对图像进行峰值搜索,分割提取ROI。考虑到心电监护仪数字在纵向分布比较密集,因此,先对ROI2进行列遍历,用Yj表示ROI2中第j列的像素大小累积和,找到其最大元素Ymax,其列数记为m。沿m分别向左、右检索,设置门限K,当YL

确定ROI的列范围后,根据YL、YR的数值对ROI2进行裁切,得到ROI3。随后对ROI3进行同样的行搜索,用YF表示ROI上侧行边界,YD表示ROI下侧行边界。最终根据(YF:YD,YL:YR)范围对原图像进行切割,得到ROI。此外,为提高后续识别率,将面积较小的区域直接滤除。

2.3 字符识别

为识别出数据区域的具体数值,需将每个待识别字符分割出来,再逐一进行识别。具体步骤如下:

(1)首先采用加权平均算法将分割后的图像进行灰度化处理,然后设置阈值,将图像二值化。随后对图像进行均值滤波和形态学闭运算,得到二值化图像。

(2)采取先切割为行,再切割为字符的方式进行分割。首先对二值图像每一行的元素进行遍历相加,得到每一行的数据量。以数据量为零的行为界,对图像进行分割,切割为字符行。然后再对字符行的二值图像中每一列的元素进行遍历相加,得到每一列的数据量。以数据量为零的列为界,对字符行进行分割,切割为字符。

(3)基于模板匹配进行字符识别,根据模板匹配模型的规则得出结果并进行存储。

在一定范围内,若两个元素差异性最小,则可判定为同一元素。对于一个未知的字符图像,首先根据目标字符的形态特征,生成一套与之相匹配的二值化字符模板,然后将目标字符图像转为二值图并进行归一化,采用立方卷积插值算法将图像缩放到模板大小,最后将其与字符模板进行比较,找到差异性最小的字符。计算如下:

(8)

其中,M为图像高度,N为图像宽度,f(i,j)为归一化的目标字符图像,fk(i,j)为模板字符图像,k为模板字符图像的序号。

3 实验结果及分析

3.1 实验过程

为验证本研究方法的实用性,选取一段某高清摄像头拍摄的时长为9 s的心电监护仪视频,图像分辨率为1 920×1 080,帧速率为25 fps进行验证。

3.1.1提取视频帧 首先读取视频并获取视频的总时长和帧速率,然后以1 s为间隔,对视频进行等间隔提取帧,提取整数张照片,单次提取9张照片。

3.1.2图像预处理 对图像进行锐化、灰度化处理,结果见图3。

图3 图像预处理Fig.3 Image preprocessing

3.1.3图像边缘检测及矫正 对图像进行Roberts算子边缘检测,进行Radon变换,并矫正图像倾斜角度。效果见图4、5。

图4 图像边缘检测Fig.4 Image edge detection

图5 图像倾斜调整Fig.5 Image tilt adjustment

3.1.4感兴趣区域获取 采用峰值搜索算法进行图像切割。首先进行整体搜索,再进行小区域的去除,获取数值区域的ROI,见图6。最后将感兴趣区域与原始图像匹配,进行二次定位剪裁,见图7。

图6 感兴趣区域获取

3.1.5字符分割 先将图像二值化,然后对字符进行分割。本研究按先行后列的方式,先按不同的行划分为4组,然后按照单个数字分割,见图8。

3.1.6字符识别 本研究采取模板匹配的方法对每张图片中的字符进行识别,并根据实际情况整理数据,最后将结果导出,见图9。其中,ECG、SpO2、SBP、DBP、MAP分别表示心率、血氧饱和度、呼吸频率、血压收缩压、血压扩张压和最高动脉血压。

3.2 实验分析

3.2.1室内光线对实验的影响 在实际拍摄过程中,病房内的光线变化可能会影响拍摄效果,进而影响识别效果。经验证发现,即使心电监护仪屏幕上存在部分反光,但经边缘检测和平滑处理后,仍可较清楚地识别出数据区域,见图10。因此,正常光线对识别效果的影响较小。

3.2.2摄像角度对实验的影响 图10中的图像存在约5°的水平倾角,由图10可知,本研究方法对较小的摄像角度有一定适应性。但对于较大倾角的拍摄,需要进一步更新算法,即在第2.2节步骤4后增加字符调整环节。首先按现有方法提取感兴趣区域中的行,结果见图11(a);其次,根据数字倾斜程度,将切出来的行再进行一定角度的旋转,便于垂直切割,结果见图11(b);最后,将切出来的数值进行分割与提取,结果见图11(c),即可实现对较大倾角下拍摄的数值提取。

图7 定位剪裁后的图像

图8 字符分割

图9 数据导出结果

3.2.3运行情况分析 根据调查,在医院通常每30～60 min记录一次心电监护仪的数据信息。对采集到的110段视频进行测试,经统计,平均每张图片运行时长为2.02 s;平均每张图片提取时长为0.03 s;单次运行最大错误率为0.5%;平均错误率为0.3%。由实验结果可知,每次提取帧后大约需要2 s的处理时间。由于在临床中,记录数据的间隔最高为30 min,因此,采取本研究方法对视频进行处理,完全可以满足实际需要。

图10 屏幕反光图像数值提取过程Fig.10 The process of extracting numerical values from screen reflective images

图11 较大倾角拍摄的图像感兴趣区域定位与数值提取Fig.11 Localization and numerical extraction of regions of interest in images taken at large angles

4 结束语

本研究提出了一种传统心电监护仪的数字化方法,通过将实时获取的心电监护仪视频影像进行分割、识别感兴趣区域,并采用模板匹配方法对字符进行识别,定时提取心电监护仪上的典型数值,以实现心电监护仪的数字化。实验表明,该方法适应环境能力较强,可满足心电监护仪的数字化改进。针对摄像角度问题,通过图像处理可消除其对屏幕图像内容识别准确性的影响。此外,随着具有微光夜视等功能摄像头的出现,后续本研究将在微弱光线下的数据采集方面进行深入研究。