基于实时VR和体感控制的医疗辅助机器人
——“守护白衣”

2021-10-10 02:56河北工业大学苏士鹏杨淏宇
物联网技术 2021年9期
关键词:体感双目摄像头

河北工业大学 杨 凯,武 滨,徐 楚,苏士鹏,杨淏宇

1 作品简介

产品由上位机、体感控制设备和智能机器人构成,应用了实时VR技术、体感控制技术、嵌入式开发技术、APP开发技术等,具有VR远程查房、VR远程诊断、信息采集和记录、VR智能服务、VR智能换药、自助消毒等功能。笔者创造性的将实时VR技术与体感控制技术相结合,保证远程医疗的效果。产品配备“守护白衣”配套APP用于显示患者信息。该产品可应用于新型冠状病毒的防疫与治疗,也可用于其他传染性疾病的治理与护理。产品结构如图1所示。

图1 产品结构

2 技术原理

(1)实时VR技术:实时VR系统由双目摄像头和头戴式VR显示器构成。双目摄像头形成双目立体视觉,它是机器视觉的一种重要形式,是基于视差原理,并利用成像设备从不同的位置获取被测物体的两幅图像后,通过计算图像对应点间的位置偏差获取物体三维几何信息的方法。

(2)体感控制技术:该产品将机器视觉与可穿戴式体感技术相结合,采用视觉传感器Kinect Xbox和可穿戴式传感器Myo臂章,将用户的自然运动与机器人动作相结合,通过提取人体手臂骨骼和腕部动作信息模拟用户动作,进行机械臂控制。

(3)人脸识别技术:基于树莓派搭载的Python3环境与TensorFlow库,利用树莓派官方摄像头采集图像数据,通过CSI接口与树莓派连接,在编译环境中调用Open Source CV进行图像处理,框画出人脸进行识别,并在USB接口式电容触摸屏上显示,同时利用串口发送给STM32。

3 项目创新点及应用前景

(1)将实时VR技术与体感控制相结合,使VR具有良好的交互性。将其应用于抗击疫情等领域,医护人员可通过体感远程控制机器人,利用实时VR与病人远程交互,在为病人提供高质量服务的同时,保障了医护人员的安全,节约了医疗防护用品的使用。

(2)针对双目摄像头采集的双目视频流,对图像进行畸变矫正和去噪,使用空间域滤波能够较好地保护图像细节,提升立体感,增强使用者的沉浸感和体验感。

(3)摒弃传统单一使用视觉传感器或可穿戴式体感传感器的方式,将机器视觉与可穿戴体感技术相结合,将用户的自然运动与机器人动作相结合,进一步提高控制精度。

4 市场分析

产品前期定位于医疗市场及政府部门,待产品达到一定市场占有率后,将其投放在其他对卫生条件有一定要求的场所,如康复中心、疗养院等。

我国智能医疗市场日渐庞大,随着互联网技术的普及,智能医疗设备将逐渐倍投至相关场所。尤其面对疫情发生时,医护人员存在被传染的风险,因此许多医者和专家都呼吁智能医疗能够快速落地。但考虑到智能医疗技术目前并不完善,对于该产品技术而言,VR与体感控制应用于医疗行业国内尚存在大量空白。

猜你喜欢
体感双目摄像头
浙江首试公路非现场执法新型摄像头
摄像头连接器可提供360°视角图像
人体体感感知机械手设计与实现
基于双目测距的卡尔曼滤波船舶轨迹跟踪
基于太赫兹技术的新一代摄像头及其在安防领域的应用探讨
非触控式的体感机械臂交互控制系统研究
基于双目视觉图像的长度测量方法
基于双目视觉的接触线几何参数测量方法
一种双目立体视觉相机标定方法