外科手术语音图文记录报告系统的研发及临床应用研究

汤　博，崔晓海，，关　正，，张晓刚，，吴荣谦，#，吕　毅，#西安交通大学：先进外科技术与工程研究所；第一附属医院肝胆外科；陕西省再生医学与外科工程研究中心，西安　7006



外科手术语音图文记录报告系统的研发及临床应用研究

汤博1，2，崔晓海1，2，3，关正1，2，3，张晓刚1，2，3，吴荣谦1，2，3#，吕毅1，2，3#
西安交通大学：1先进外科技术与工程研究所；3第一附属医院肝胆外科；2陕西省再生医学与外科工程研究中心，西安710061

【摘要】：外科手术语音图文记录报告系统主要由硬件系统及软件系统组合而成。硬件主要包括：图像采集单元，用于采集术中图像信息；可活动臂单元，用于安装图像采集单元调整采集角度；PC计算机单元，配有语音接收插口和USB插口，语音接收插口与语音收发单元相连接，USB插口与彩色打印机单元相连接；工作站单元，与图像采集单元连接接收其采集的图像信息；术中监视器单元，与工作站单元连接对其接收的图像信息进行实时显示；无线路由器单元，用于建立网络；彩色打印机单元，将PC计算机单元下发的打印内容进行打印；语音收发单元，接收语音描述以及相关解释并发送至PC计算机单元。软件主要是自主开发具有自主知识产权的外科手术语音图文软件。通过初步使用，显示该系统既可实现术中实时图片采集，又可配有主刀操作步骤说明，通过软硬件处理后生成手术图文报告。

【关键词】：外科手术；图文记录；语音

【DOI】：10.13566/j.cnki.cmet.cn61-1317/g4.201602023

电话：13991200581；E-mail：luyi169@126.com

注：#同为通信作者

随着计算机网络信息技术的发展，信息技术、网络技术以及云计算等技术在医疗健康领域也得到了广泛应用和长足的发展，使得依托互联网技术的云医院已现端倪，其便捷高效的结果提供将颠覆当前传统的医疗模式。从最初使用计算机记录病历和开处方，到PACS（医学影像管理系统）、LIS（检验系统）、HIS（医院信息管理系统）等相继进入，管理效率得到了极大快速的提升。

医疗文档作为医师进行临床活动的主要依据，大多早已采用了图文报告形式，如各类临床病理学诊断、影像学检查、胃镜检查等都附有详细的图文报告，这种图文并茂的形式不仅有助于医患的沟通与医师诊断，而且有助于减少医疗资源的重复与浪费。外科手术报告作为临床最为重要的医疗文书之一，目前仅使用文字描述，缺少必要的纪实照片，成为医疗文书全面信息化、数字化“最后的死角”。传统的手术图文记录是由下级医师术后手绘完成的，其缺点是：第一，不精确，非主刀执笔；第二，不明了，文字不直观；第三，负担重，导致病例文字大量的复制粘贴。据查阅文献和相关报道，国内、外专家对于外科手术图文记录产生过共鸣。世界著名肝胆外科泰斗二村雄次教授在其史诗级论著《胆道外科：要点与盲点》中指出：“手绘图文手术记录虽费时费力，但极有利于医师的成长与医患交流，应设法在临床推广”；2015年1月9日，我国著名肝胆外科专家吕毅教授在中华医学会外科学手术学组会议上发起了“倡用图文手术记录专家共识”，得到与会专家的积极响应，并且在《中华肝脏外科手术学电子杂志》2015第5期发表［1］。总而言之，术中图文资料对疾病诊疗技术革新、年轻医师成长具有重要意义，同时还可以帮助患者了解诊疗过程、缓解医疗纠纷的压力。

1　设计思路

为了克服传统外科手术记录的缺点，该研究的目的在于提供一种应用于外科手术过程的语音图文记录工作系统，如图1所示。既可实现术中实时图片采集，又可配有主刀操作的步骤说明，通过软、硬件处理后，最终生成外科手术图文报告。

图1　外科手术语音图文报告系统示意图

与现有技术相比，该系统旨在解决传统文字手术记录过程中所引发的信息不准确、医患交流不畅等难题。在使用过程中，一方面可以实时记录术中图片，另一方面可根据术中术者语音表达的实时描述及解释，并且依托互联网百度语音进行在线翻译文字，最终完成对手术过程采集的图文信息一一配对，整理后即可形成手术过程记录的图文报告。与传统手术过程的手绘、文字描述相比，要可靠、真实、便捷的多。外科手术图文报告，不仅有助于医生教学、交流或者自身业务的提高，还可以用于患者的术后复查、转诊等其他方面，具有很好的留存作用和指导意义［2-3］。

2　基本结构

为了实现上述目的，外科手术语音图文工作系统采用的技术方案主要包括硬件、软件两个部分。

2.1硬件部分

硬件主要由医用台车单元、可活动臂单元、电动云台单元、无线路由器单元、图像采集单元、术中监视器单元、PC计算机单元、工作站单元、彩色打印机单元、语音收发单元以及可编程控制器单元构成：

医用台车单元：利用现有腹腔镜放置支架延伸，安置可活动臂单元，总体分为四层：第一层放置术中监视器单元，第二层放置PC计算机单元，第三层放置工作站单元，第四层放置彩色打印机单元；

可活动臂单元：采用四连杆的设计，固定于医用台车之上，根据手术过程需要，提供更加方便的调整角度。术前使用无菌袖套包裹，达到无菌的效果，使得在手术过程使用当中应用自如；

电动云台单元：利用电机驱动横、竖齿轮机械交叉运动，利用可编程控制器单元来控制操作方向、角度的调整，上端可固定图像采集单元，下端与可活动臂单元的顶端连接；

无线路由器单元：利用其建立一个虚拟的局域网络，将PC计算机单元与工作站单元相连，使其在同一的IP网段内进行简单操作；

图像采集单元：采用多倍变焦的高清摄像机采集，传感器类型Exmor R CMOS、视频：高清MPEG-4 AVC/H.264（AVCHD）、静态影像2410万像素16：9（6 544× 3 680）［4］；

术中监视器单元：主要显示术中实时画面，术者、助手也可通过术中监视器单元对术中操作进行实时观察，以确保术中画面质量获取的优劣；

PC计算机单元：硬件，推荐配置，主频2.4GHz/内存2GMB/硬盘500GB，操作系统，Microsoft Windows XP/7/8/，并配有外界语音接收插口和USB插口。语音接收插口与语音接收单元相连接，USB插口与彩色打印机单元相连接；

工作站单元：对工作站单元网络WebService做二次开发，实现实时图像及拍照。通过工作站单元固有的HD-SDI接口与图像采集单元连接，实现实时图像获取。手术室外的权威专家医生也可通过无线方式经由无线路由器单元进行访问，通过移动智能通讯设备医生端的APP软件［5］（如图2所示）进行网络远程术中管理访问，实时监测患者的手术进展，遇到突发问题时也可给予术中实时指导［6］。

图2　医生端的移动APP软件功能图

彩色打印机单元：将采集到的数据，包括，图像、语音转化的文字，以及病人术前、术中具体的过程一一记录下来，最终通过软件的设定打印出来，是一个输出的过程；

语音收发单元：为接收、发送手术记录过程中，术者对手术过程中实时操作的语音描述以及相关解释；

可编程控制器单元：分为左区和右区两个部分，左区主要控制软件的执行，设置4个按钮：1号键执行手术开始，2号键执行语音录制，执行操作时，会发出提示音，表示整个语音录制完成，3号键执行手术拍照命令，4号键执行手术结束命令。右区设置两个按钮，右上按键分别以T、W两个按键调整图像采集单元1的变焦，右下十字键为F、B、L、R，分别控制电动云台单元的上、下、左、右方向控制（如图3所示）。

图3　可编程控制器单元功能图

2.2软件部分

该系统软件部分是基于Win7 +Visual Studio 2010开发平台，利用C#语言编程来实现良好的人机交互界面，再结合PC平台收集到的数据信息，系统操作中都以按键的形式提供相应的操作，非常简捷［7-8］。由于现阶段语音转文字技术有限，该系统的后台添加了语音校正处理模块，主要对输入语音做修正，结合现有的语音库完成对该语音的处理和翻译，形成病理图片说明。主要由操作功能单元、图像实时采集窗口单元、语音及校正模块单元以及素材库单元构成（如图4所示）。

图4　外科手术语音图文报告工作系统软件界面

操作功能区单元：作为控制软件主要功能的组成部分，结合控制面板可以完成手术过程中的实时控制并生成文档结果，即该功能包括了新建、开始、录音、拍照、结束、生成Word、系统配置等功能；

图像实时采集窗口单元：主要同步实时显示术中画面。通过工作站单元处理，使用截图形式采集术中照片；

语音及校正模块单元：通过语音收发单元进行术中对术者描述的详细信息进行实时采集，并通过访问百度语音库，在互联网的基础上进行在线翻译，对翻译不准确的文字可以进行二次修改，直至准确；

素材库单元：对包括图像采集单元、语音收发装置单元所采集的图片、语音素材进行留存，便于术后整理、修改和匹配。

3　工作过程

先将所有相关设备安置固定于医用台车单元上，将所有设备接线相连接，将图像采集器单元调整至开始处，启动软件后（如图4所示），图像实时采集窗口单元将实时术中画面显示于PC计算机单元的显示屏上，利用可编程控制器单元，对整套设备进行实时控制。

通过调整可编程控制器单元，对整套设备进行全方位控制，其主要功能有手术开始、语音截取、图片捕获、手术结束，以及图像采集单元的拍照与电动云台单元角度的调整，采用临床现有的无菌袋包装即可上手术台，对手术过程完全按照主刀意愿进行实时控制和保存。通过对“T、W”键的操作可对图像采集单元进行变焦调整，同时对“F、B、L、R”键分别操作，可对水平情况下的电动云台进行上、下、左、右操作，进而使搭载的图像采集单元进行术中角度调整，以获取优质的术中资料；在手术操作过程中，根据手术操作过程需要：第一步，手术新建，按1号键执行；第二步，语音录入、停止，按2号键执行；第三步，术中拍照，在线翻译按3号键执行；第四步，手术结束，按4号键执行，在线修改语音报告，运用预先设定的模板与软件合成，将手术过程中捕获珍贵的图文资料最终以手术图文报告打印出来。

4　临床应用

目前，该设备已在西安交通大学第一附属医院肝胆外科投入临床使用，开腹手术及腹腔镜手术都有所涉及，分别用于临床肝移植、复杂肝癌切除术、脾脏切除术、胆囊癌切除术等十余术式之中，共收集临床手术图文报告80余例。制定了相应的医患沟通手术图册（如图5所示），不仅方便医师用于术后医患沟通、分级诊疗，也为复查、转诊提供了详实的诊断资料，而且为医师之间学术交流、病案讨论提供了详实、可靠的临床资料。该设备使用至今，取得了较好的效果，并且在陕西省人民医院、西安市中心医院、宝鸡市中心医院、内蒙古鄂尔多斯中心医院以及湖北省十堰市太和医院等相关单位进行了相关的推广和初步应用。

图5　临床手术图文记录报告示例

该系统智能、高效，大大减轻了医护人员的工作负担，而且有助于提高手术记录质量，并将助力互联网+时代智能医疗体系的建立，将带来外科手术记录的一场革命［9］。另外，该系统拟建立手术图文报告信息管理系统，其中包括建立图文手术病历统计系统，增加查找、备份、冻结病历、病历分类、刻盘等功能，方便对图文病例的调取。该系统在使用过程中，通过编程控制器单元，可实现对软件的各个功能进行控制，例如：手术开始、语音收录、手术拍照、手术结束等其他方面，还可控制电动云台单元的角度以及图像采集单元变焦，从而优化视场，获得医师满意的术中图像。反复控制可编程控制器单元的语音收录和手术拍照按键，对手术操作的重要过程进行采集，对主刀的术中讲解语音，通过互联网访问百度语音文库进行翻译，并对翻译错误的解释进行二次修改，直至准确。通过预先设定好的Word模板，将采集到的图文资料对应地插入模板，最终生成外科手术语音图文报告。同时有效地解决了现有的手术记录不精确导致的上下级医师交流不畅、不客观、不利于医患沟通等难题。

参考文献

［1］吕毅，徐向华，仵正，等.倡用图文外科手术记录专家共识（2015·西安）［J］.中华肝脏外科手术学电子杂志，2015，4（5）：265-267

［2］孙建华.图文式术前访视在老年普通外科手术病人中的应用［J］.齐齐哈尔医学院学报，2013，34（5）：770-771

［3］庞雪芬，徐清玲，黄翠霞，等.《漫画普通外科手术图谱》在普通外科术前宣教中的应用［J］.江苏医药，2010，36（14）：1716-1717

［4］汤博，吕毅，刘学民，等.微型智能手术照明摄像机的研制［J］.中国医疗设备杂志，2015，30（7）：28-29，35

［5］朱超，缑文海，王福义，等.内镜图文工作站及手术示教系统的综合应用［J］.医疗卫生装备，2012，33（10）：34-35

［6］居健，李涛，李伟.远程手术示教系统在我院的构建与实现［J］.医疗卫生装备，2011，32（9）：29-30

［7］刘锋，曾凡，黄昊.基于局域网的临床手术示教系统的构建［J］.重庆医学，2009，38（21）：2656，2658

［8］刘运祥，徐伟星.“内窥镜动态影像网络信息系统”的研究与应用［J］.中国数字医学，2007，2（2）：22-25

［9］徐向华，卢强，刘学民，等.用图文手术记录能提高医疗服务品质［J］.医院与医学，2015，3（2）：19-22

Research and development of intraoperative medical images and texts recording report system and its clinical application

Tang Bo1，2，Cui Xiaohai1，2，3，Guan Zheng1，2，3，Zhang Xiaogang1，2，3，Wu Rongqian1，2，3#，Lü Yi1，2，3#1Research Institute of Advanced Surgical Technology and Engineering；3Department of
Hepatobiliary Surgery，the First Affiliated Hospital of Xi'an Jiaotong University；2Regenerative Medicine and Surgery Engineering Research Center of Shaanxi Province，Xi'an 710061，China

【Abstract】：The recording report system for intraoperative medical images and texts mainly consists of hardware and software systems.The hardware system includes the image-capturing unit，the jointed arm unit，the PC computer unit，the workstation unit，the intraoperative monitor unit，the wireless router unit，the color-printing unit，and the voice transmitting-receiving unit.The image-capturing unit is in charge of shooting images during each surgery.The jointed arm unit installs the image-capturing unit and adjusts the angles to take pictures.The PC computer unit has sockets for audio information receiving and USB.The audio information-receiving socket is connected with the audio information receiving and transmitting unit，and the USB socket is connected with a color printer.The workstation unit is linked with the image-shooting unit to receive images information.The monitor unit，joined with the workstation unit，shows real-time image information received from the workstation.The wireless router unit creates the network.The color-printing unit prints the files which the PC computer issues.The voice transmitting-receiving unit receives and transmits the voice descriptions and explanations to the PCbook=195,ebook=82computer unit.This software was developed independently with self-owned intellectual property rights.Preliminary application of this invention shows that the system not only realizes acquiring images during surgery，but also offers the procedure illustration for surgeons in charge.Finally，it will produce an operation report with medical images and texts automatically by hardware and software processing.

【Key words】：surgical operation；recording of images and texts；audio information

通信作者：吴荣谦（1971-），男，武汉人，教授，博士研究生导师，博士，主要研究方向：重症医学研究、外科技术创新及医工结合方面的研究。电话：18629053941；E-mail：rwugmail@163.com吕毅（1963-），男，西安人，教授，博士研究生导师，博士，主要研究方向：肝移植临床研究、外科技术创新及应用。

作者简介：汤博（1989-），男，陕西宝鸡人，硕士研究生在读，主要研究方向：医工结合外科辅助器械研发。

收稿日期：2016-03-01

基金项目：国家自然科学基金科学仪器项目（81127005/H0322）；教育部“创新团队发展计划”（IRT1279）

【中图分类号】：G434；R-058

【文献标志码】：A

【文章编号】：1004-5287（2016）02-0194-04