一种基于光学字符识别技术的超声报告自动化生成方法

黄友清，杨辉虎，魏达友，罗文高，张翠萍

茂名市人民医院 （广东茂名 525100）

随着计算机和医学技术的发展，大部分医院的超声诊断仪均配备了图文报告系统，超声医师可使用计算机编写超声报告。但近年来各医院超声检查申请量不断增加，造成超声医师的工作量逐渐增多[1]。编写超声报告在超声医师所有工作耗时中占比较大，部分医院甚至为其配备了专门的报告助理，但使用超声报告助理会增加医院人力成本；此外，受专业知识、教育背景及超声系统操作熟练程度等因素影响，超声报告助理并不能快速、准确地输出高质量超声报告，若录入速度跟不上检查进度，还需超声医师进行二次检查，影响工作效率[2]。超声医师（无助理）通常的工作流程如下：在检查过程中采集具有病变信息及测量数据的图像，完成检查后，根据记忆及采集到的图像回顾性生成报告。该超声报告编写方式不仅浪费时间，还可能因人为因素造成数据遗漏或输入错误。基于此，石磊等[3]提出了一种基于光学字符识别技术的超声报告数值自动读取方法，通过连通区域检测、数值区域提取、数值行划分、文字识别、超声报告自动生成等环节，最终实现了超声报告数值自动读取。该方法可取代医师手动输入超声报告数值，避免人为录入数据可能造成的错误，提高数据准确率及超声医师工作效率。本研究在上述研究的基础上，使用具有触摸屏的超声诊断仪，在检查的同时添加超声诊断注释，获取超声诊断及测量两方面的信息，实现了计算机自动化生成超声报告。

1 基于光学字符识别技术的超声报告自动化生成方法的构建

1.1 设置超声诊断仪触摸屏上的注释

使用Philips iU22 彩色多普勒超声诊断仪，该设备的每个预设条件含2 张注释页，即完整诊断注释（图1）和组合诊断注释（图2），注释项内容以拼音首字母表示，共56 个项目。在完整诊断注释页中设置常用的完整诊断，并可组合数字1、2、3，用于表示轻、中、重不同的程度；在组合诊断注释页中设置部位、病变、类型及位置，用于组合为完整的诊断注释项。通过以上两种方式生成常见的超声诊断注释。

图1 触摸屏上的完整诊断注释（局部）

图2 触摸屏上的组合诊断注释（局部）

1.2 配置超声工作站

超声工作站使用联想启天M430-B451 台式计算机，操作系统为Windows 10，光学字符识别工具为Tesseract 4.1，编程工具为Python 3.6，使用SQLite 数据库储存超声报告模板。超声工作站使用南方医科大学研制的超声图文报告系统。采集卡为MZ0380 PCI，输入图像的分辨率为1 680×1 050 像素；该报告系统可截取1 024×800 像素的图像，并储存于超声工作站中。

1.3 建立超声报告模板数据库

超声报告模板数据库主要包含注释项、超声描述、超声提示、检查部位、操作方式等字段。注释项为数据库中的关键字段，用于检索相应的超声描述和超声提示等内容。超声描述和超声提示是超声报告的2 个重要组成部分，其中的大部分内容是固定不变的，对于可变部分内容，需于相应位置标记锚点，在生成报告时，替换为相应的位置、测量数据等内容。检查部位用于加载默认模块，生成正常报告。操作方式是根据不同的需要，在正常报告中进行覆盖、替换、插入等。

1.4 文字识别

通过Python 程序逐张读取当前检查采集到的所有图像，截取其中含有注释字符及测量数据的部分图像（注释字符及测量数据在图像中的位置是固定的），将截取的图像进行简单的二值化处理，即可使用Tesseract 软件进行识别，再将得到的结果处理为相应的报告处理指令行。

1.5 自动生成超声报告

在超声检查中，若遇到异常图像，可在其中加入注释；若需具体信息，可进行测量，测量结果显示后，可采集图像。检查结束后，启动编制的Python 程序，读取图像中的字符信息，根据识别出的诊断性文字在数据库中检索相应的报告模板，若包含测量数据，则将测量数据插入报告模板的相应位置，生成报告处理指令行，然后根据各项报告处理指令行自动化生成报告，通过接口输出至超声图文报告系统中。采集的图像及处理流程示例见图3～4。

图3 采集的图像

图4 处理流程示例

2 应用效果

2.1 报告选取

选取我院超声诊断科2022 年1 月17—21 日（5 个工作日）完成的361 例超声检查评价本研究超声报告自动生成方法的应用效果。其中，心脏检查198 例（心脏超声、左心功能测定各99 例），腹部超声检查72 例，血管超声检查50 例，其他超声检查41 例。

2.2 评价方法

同一名超声医师在完成检查后分别以手工处理（超声医师通过工作站中已设定常用报告模板、输入法中已定义常用语句及词组编写报告）和自动化处理2 种方法生成超声报告，并比较两种报告处理方法的生成报告时长及点击次数。此外，随机选取其中的36 份超声检查结果，以采集图像上的字符为参照，分析自动化处理方法的字符识别正确率。

2.3 统计学处理

采用SPSS 18.0 统计软件进行数据分析。计量资料以±s表示，采用t检验。P<0.05 为差异有统计学意义。

2.4 结果

2.4.1 两种报告处理方法的生成报告时长及点击次数比较

自动化处理方法的报告时长短于手工处理方法，点击次数少于手工处理方法，差异均有统计学意义（P<0.05），见表1。

表1 两种报告处理方法的生成报告时长及点击次数比较（±s，361 例）

表1 两种报告处理方法的生成报告时长及点击次数比较（±s，361 例）

报告处理方法 报告时长（s） 点击次数（次）手工 49.40±45.90 57.63±66.17自动化 24.25±37.98 21.23±45.30 t 14.47 15.64 P<0.01 <0.01

2.4.2 字符识别正确率

36 例超声检查图像中，使用光学字符识别技术识别出感兴趣区字符3 875 个，正确3 875 个，错误0 个，识别正确率为100%。

3 讨论

人工智能是在计算机科学、控制论、信息论、神经心理学、哲学、语言学等多学科基础上发展而来的一门综合性较强的交叉学科，涉及新思想、新观念、新理论、新技术[4-7]。近年来，人工智能发展迅速，已在医学领域得到了广泛应用，如辅助读片系统、医学专家系统、计算机辅助药物设计及医学机器人等。光学字符识别是一种电子字符识别技术，为人工智能在计算机视觉领域的重要应用之一。该技术利用光学和计算机技术通过检测字符每个像素的暗、亮模式确定其形状，然后用字符识别方法将形状翻译为计算机文字[8]。Tesseract 是一款由惠普实验室开发，谷歌公司维护的开源光学字符识别引擎，其是少有的支持汉字识别的开源库[9]。Tesseract 从4.0 版本开始采用了基于Long Short Term Memory（LSTM 网络）的识别引擎，用户可通过不断训练自己的数据库，使图像转换为文本的能力不断增强。

超声报告用于描述超声检查的结果，可为医师诊断及治疗疾病提供重要依据。目前，超声报告从手工编写阶段步入了计算机编写阶段，编写逐渐规范、快捷，但由于超声报告较复杂，常规计算机编写报告方式仍需耗费超声医师大量时间和精力，且易出现错误。因此，自动生成超声报告的技术受到了广泛关注。

现阶段，语音识别及光学字符识别是超声报告自动化生成中常采用的2 种技术。语音识别技术发展较早，在实际应用时暴露出以下缺点：（1）识别准确率暂未达到95% 的预期效果；（2）环境噪声对识别准确率影响较大[10-11]；（3）需再次单独使用语音重复测量数据，费时费力；（4）医师的语音内容被患者听到后可能会使其产生误解。而光学字符识别技术发展亦较为成熟，若采集到的图像分辨率较高，字符为规则字体，则可高效、准确识别。若采集到的图像不清晰，会影响识别正确率，需对图像进行处理，以提高正确率。此外，还可建立字符识别库，并对识别过程进行训练，随着训练样本量的增加，正确率也会逐渐提高。与语音识别技术比较，光学字符识别技术具有以下优点：（1）准确率较高，一般可接近100%；（2）使用简单、便捷，只需安装Tesseract 即可；（3）不受超声检查环境影响；（4）对于测量数据的识别，可以直接得到结果；（5）不会对患者造成影响。

本研究应用效果显示，自动化处理方法的报告时长短于手工处理方法，点击次数少于手工处理方法，且识别正确率为100%。与手工处理方法比较，以5 个工作日为计算单位，自动化处理方法节省了50.9%的超声报告编写时间（9 079 s，即2.52 h，平均每天可节省0.50 h），减少了63.2%的报告编写工作量。

本研究改进的基于光学字符识别技术的超声报告自动化生成方法仍存在以下问题：（1）不同厂家、型号超声诊断仪测量数据及注释的显示方式各不相同，不同医院采用的超声报告系统各异，本方法需具备一定计算机基础的医师或专业的计算机工作人员对超声诊断仪及超声图像报告系统进行适配后才可使用，推广受限，但其适配过程并不复杂；（2）部分超声诊断仪无触摸屏，或有触摸屏但不便设置触摸屏上的注释，可通过平板电脑解决此问题，该方法在本项目后期已得到实现，且效果很好；（3）部分报告无法完全自动化生成，需辅以手工编写方法完成，造成该问题的主要原因为触摸屏设置及报告模板不完善，可予以改进。

综上所述，使用光学字符识别技术获取超声图像中的字符信息，可完成超声报告自动化编写工作，减少超声医师工作量，提高工作效率。若计算机专业相关人员共同参与超声报告自动化生成技术的改进，该项技术可更加完善，或将取代超声报告助理的相关工作。