面向口腔治疗的控制与交互系统

刘小龙，贺 晨，齐 锦，桑纪元，张 鑫

（西北大学 信息科学与技术学院，陕西 西安 710127）

0 引 言

随着科技的进步，便捷高效的医患交互模式研究在医学方面的应用将更有意义。例如山西大学应用手势识别技术结合牙医椅，发明了面向牙医椅的手势识别装置，拟实现无接触手势识别控制牙医椅的姿态，实现定制手势在医疗设备上的应用。本文针对临床口腔治疗中，医患交流障碍与手术细菌感染等问题，提出了面向临床牙医的控制与交互系统。系统允许医师在获取患者口腔内部画面的同时将画面信息通过蓝牙模块传回手机端，并控制画面的冻结与照明。医生可以在手机端或电脑端下载画面，通过观察图片中的患处进行病因分析。患者在治疗中使用手势识别技术告知医师自身情况。系统不但可以保持手术处于无菌环境，还能够解决口腔治疗中的医患交流问题。

1 系统设计概述

牙医系统主要利用手势识别技术与医学交叉结合，支持无接触状态下利用手势实现对手术设备的操控与思想表达，有效解决了口腔治疗中出现的医患交流与细菌感染问题。设计思路：以STM32作为主控芯片，将手势识别模块安装到便于医师与患者控制的位置，摄像头模块与照明电路集成于口腔探测笔的前端。医师通过口腔探测笔采集患者口腔内部图像，在LCD上显示，并传回手机端，通过手势识别技术对图像、照明亮度进行控制。患者可以通过手势识别技术表达信息。

2 系统硬件设计

牙医系统主要由3部分构成，即手势识别部分、图像采集显示部分、主控板控制部分。手势识别部分选择PAJ7620手势识别模块，图像采集部分选择OV7670摄像头与OLED屏幕，控制部分包括STM32主控芯片与基于BUCK电路的PWM控制照明模块。系统硬件设计如图1所示。

图1 牙医系统硬件设计

2.1 图像采集模块

产品内部采用的OV7670传感器具有小体积、低电压等巨大优势。基于SCCB总线通信，能够依照需求以最高达30 FPS的速度输出图像。根据官方提供的手册，可以通过修改寄存器值读取图像相关参数，并利用寄存器对处理图像实现如白平衡等参数调节。传感器工作原理：当一个目标物体向外反射出大量自然光时，此时该模块内部的感光阵列在收光时会溢出电子，从而经过电子溢出生成一个模拟量，输入到模拟信号处理单元。

由模拟信号处理单元将相应的模拟量进行模数转换，得到数字信号，最后由模块内部的数字信号处理器进行处理并插值，形成色彩像素阵列信号，将图像显示在屏幕上。

不带FIFO芯片的OV7670模块：这种方案在硬件模块选择上更简单、直接，但相应的软件设计却很繁琐。由于CMOS芯片处理速度远远超过单片机本身I/O口的速度，导致两者无法直接通信。如要使两者传输速率匹配，只能将CMOS芯片的输出速度降低至能够匹配单片机I/O口的速度水平，此时方可实现低速率画面实时采集。但这一系列操作需要共同设置锁相环、时钟晶振电路、图像单元时钟以及帧速相关的多个寄存器单元。设置寄存器强制匹配速率的操作有可能导致硬件处理图像的速度降到1 FPS以下，带来严重像素阵列失真。不带FIFO芯片的OV7670模块如图2所示。

图2 不带FIFO芯片的OV7670模块

带FIFO芯片的OV7670模块：采用FIFO缓存的OV7670模块由于其模块本身已经集成有FIFO数据存储器，从而大大简化了采集数据的工艺和方法，所以如何使用该模块对目标图像进行读写是研究的重点。从图3可以看出，摄像头模块内部带有一个频率为12 MHz的有源晶振，作为 XCLK口的输入信号和时钟。它所带有的FIFO存储器的容量为384 KB，所以其能够同时缓存约2 KB的QVGA（分辨率为320×240）图像数据。带FIFO芯片的OV7670模块如图3所示。

图3 带FIFO芯片的OV7670模块

图4所示为OV7670摄像模块内部结构。

图4 ATK-OV7670模块内部结构

存储图像数据进程如下：

（1）定时查询帧同步信号；

（2）对FIFO数据存储器写入数据；

（3）再次查询到第二个帧同步信号，此时FIFO数据存储器禁止写入数据。

读取图像数据过程：

（1）FIFO数据存储器读出数据；

（2）FIFO按时钟循环读取像素点。

2.2 手势信息识别

牙医系统采用PAJ7620模块实现手势信息识别。PAJ7620模块内部包含发光二极管驱动器、手势识别阵列、目标信息特征提取模块以及传感器信号感应模块。在模块正常运作时，内部红外发光二极管向传感器发射若干红外线信号，此时传感器的感应电路准确识别信号，并分析得出所探测的目标物体特征，再经过特征信息提取模块提取被探测物体的特征。此时物体特征被处理为像素阵列，将此数据存入相应寄存器中。电路再进行数据的计算与判断，最后把结果保存到相关寄存器中。单片机通过IC接口读取相关寄存器，即手势识别结果。

图5所示为手势识别模块框架。该模块是一款基于红外阵列技术检测动态的手势识别模块，分别针对定义的8种常见手势如：向上、向下、向左、向右、向前、向后、顺时针与逆时针进行识别，据相关测试，其平均识别率可达94.63%。基于红外发光二极管阵列技术的应用在对常见自定义手势的识别中效率和准确性都很高。

图5 手势识别模块框架

2.3 PWM调光电路

照明模块采用基于BUCK电路改进的输出PWM控制的LED模块。采用BUCK电路方便实现后续拓展功能。并且此电路加入了补偿网络控制，使输出电压避免由于负载引入而导致的电压波动。PWM调光LED驱动电路如图6所示。

图6 基于BUCK电路的PWM调光电路

2.4 蓝牙通信模块

HC-05蓝牙模块具有集成度小、灵敏度高等优点。该模块有命令响应和自动连接2种工作模式。蓝牙采用全双工异步通信方式，分主机、从机部分。本文将带有蓝牙模块的电脑端或手机端作为主机，进行搜索和连接，HC-05蓝牙模块作为从机，匹配通信。

3 牙医系统软件设计

软件部分分为手势识别处理部分、摄像头图像采集处理部分与LED控制部分。程序设计思路：首先初始化各基础函数部分（例如延时、IC通信），并进行模块正常初始化检测，若基础模块检测有误，则重新调整，否则继续。然后初始化摄像头与手势识别模块，并进行手势识别判断，分别根据不同的使用方提供相应的功能。整体程序设计流程如图7所示。

图7 整体程序设计流程

3.1 手势识别软件

PAJ7620模块支持物体接近检测和手势识别功能。在手势识别模块中有2个BANK寄存器，但我们只用到了手势检测功能，所以只需选择BANK1寄存器即可实现手势识别。手势识别模块可识别9种手势，目前我们只使用其中4种，其余5种手势可以当作拓展进行改进。对其余不同手势对应的寄存器位进行判断即可判别是否完成手势识别。

由于手势识别需要不断进行手势捕获，所以我们需要将手势获取部分的代码放入中断服务函数中。手势识别模块进行信息读取处理的过程如下：

（1）使能MCU与PAJ7620进行IC通信，MCU利用中断以固定周期进行对相应寄存器的读取；

（2）将读取得到的数值在模块内进行手势判断，判断后将结果送回MCU分类从而触发其他对应操作。

3.2 摄像头软件控制

ATK-OV7670模块采用18脚双列直插式封装，模块向外延伸8条数据线，内部连接FIFO存储器。OV7670通过IC方式实现通信时钟同步与控制信号传输模式配置。OV7670前端采集数据，以PCLK时钟为基准对FIFO存储器进行数据写入操作。MCU以RCLK对FIFO中的图像信息进行读取。与手势识别模块类似，摄像头模块无需不断进行图像信息的采集与更新，所以图像获取部分的代码可直接放入中断服务函数中。

3.3 蓝牙通信程序

在蓝牙通信程序中，首先设置通信模式为自动连接模式中的输出模式，并确定特定的通信波特率；之后检测是否与主机蓝牙模块成功配对，当检测到不同手势时，在LCD上显示对应信息，此时蓝牙通信模块会在用户端同步该信息。

3.4 主控板控制程序

在主程序中断服务函数中，进行定时手势信息结果读取与图像信息采集。主控板对手势信息结果进行判断，冻结画面并发送图像数据、控制LED的亮度或在屏幕上显示等操作。除手势识别结果的判断外，主函数需要读取摄像头模块中FIFO储存的信息，经处理显示于LCD屏幕。主函数中还有一部分程序是LED控制部分，即通过定时器控制PWM波的占空比。图8所示为程序部分电路模块设计。

图8 程序部分电路模块设计

4 功能实现分析

图9所示为成品图。医师手持口腔手术笔（即图中A，由OV7670模块外加LED灯构成），B处为手势识别模块，该模块可以通过杜邦线延长与主控板相连。C处为显示屏，显示屏也可通过杜邦线延伸。

图9 成品图

医师可使用口腔手术笔检查患者口腔内部，采集的画面会在显示屏处显示。此时医师可以利用预存的手势对画面进行操作，或控制LED灯的亮度，患者可以使用预存于芯片中的手势进行意愿的表达。本次实验中不同手势功能设定见表1所列。

表1 不同手势功能设定

不同距离下手势识别的准确率如图10所示。手势距离手势模块3 cm时识别效果最好，而距离6 cm时，手势识别准确率下降严重。总体来看，左右方向手势的识别准确率最高。由于6 cm为识别极限距离，导致“向前”“向后”的手势活动范围超过可识别距离，致使手势识别率在6 cm处识别准确率最低。

图10 不同距离下手势识别的准确率

相近手势正确识别率见表2所列。相较于其他独立手势而言，顺时针与逆时针手势更易被识别为其他分解手势。

表2 相近手势正确识别率 %

5 结 语

本文将手势识别技术应用于解决临床口腔医学治疗中遇到的问题，实现了医师端无接触式控制以及医患间通过手势进行沟通的功能。完成了前沿技术在口腔医学上的交叉应用，也期望能够为未来更多的交叉研究带来新的思路。由于本次使用手势识别模块受识别模式的限制，只能识别较少的手势，而人类的手部具有较强的灵活性和不易混淆的特点，可以考虑以自定义手势的方式结合无线模块来解决更多问题。