河北工业大学 杨 凯,武 滨,徐 楚,苏士鹏,杨淏宇
产品由上位机、体感控制设备和智能机器人构成,应用了实时VR技术、体感控制技术、嵌入式开发技术、APP开发技术等,具有VR远程查房、VR远程诊断、信息采集和记录、VR智能服务、VR智能换药、自助消毒等功能。笔者创造性的将实时VR技术与体感控制技术相结合,保证远程医疗的效果。产品配备“守护白衣”配套APP用于显示患者信息。该产品可应用于新型冠状病毒的防疫与治疗,也可用于其他传染性疾病的治理与护理。产品结构如图1所示。
图1 产品结构
(1)实时VR技术:实时VR系统由双目摄像头和头戴式VR显示器构成。双目摄像头形成双目立体视觉,它是机器视觉的一种重要形式,是基于视差原理,并利用成像设备从不同的位置获取被测物体的两幅图像后,通过计算图像对应点间的位置偏差获取物体三维几何信息的方法。
(2)体感控制技术:该产品将机器视觉与可穿戴式体感技术相结合,采用视觉传感器Kinect Xbox和可穿戴式传感器Myo臂章,将用户的自然运动与机器人动作相结合,通过提取人体手臂骨骼和腕部动作信息模拟用户动作,进行机械臂控制。
(3)人脸识别技术:基于树莓派搭载的Python3环境与TensorFlow库,利用树莓派官方摄像头采集图像数据,通过CSI接口与树莓派连接,在编译环境中调用Open Source CV进行图像处理,框画出人脸进行识别,并在USB接口式电容触摸屏上显示,同时利用串口发送给STM32。
(1)将实时VR技术与体感控制相结合,使VR具有良好的交互性。将其应用于抗击疫情等领域,医护人员可通过体感远程控制机器人,利用实时VR与病人远程交互,在为病人提供高质量服务的同时,保障了医护人员的安全,节约了医疗防护用品的使用。
(2)针对双目摄像头采集的双目视频流,对图像进行畸变矫正和去噪,使用空间域滤波能够较好地保护图像细节,提升立体感,增强使用者的沉浸感和体验感。
(3)摒弃传统单一使用视觉传感器或可穿戴式体感传感器的方式,将机器视觉与可穿戴体感技术相结合,将用户的自然运动与机器人动作相结合,进一步提高控制精度。
产品前期定位于医疗市场及政府部门,待产品达到一定市场占有率后,将其投放在其他对卫生条件有一定要求的场所,如康复中心、疗养院等。
我国智能医疗市场日渐庞大,随着互联网技术的普及,智能医疗设备将逐渐倍投至相关场所。尤其面对疫情发生时,医护人员存在被传染的风险,因此许多医者和专家都呼吁智能医疗能够快速落地。但考虑到智能医疗技术目前并不完善,对于该产品技术而言,VR与体感控制应用于医疗行业国内尚存在大量空白。