基于图像识别的大屏幕人机交互系统建设与实践

李厚恩　余里程　廖耀隆

摘要：本文在图像识别基础上，以期解决人机交互系统内摄像头标定复杂问题，提出一种全新的人机交互系统建设途径。首先分析了基于图像识别的大屏幕人机交互系统概述，同时阐述了系统建设原理，最后总结了系统建设实践。

关键词：图像识别；人机交互；系统建设；系统实践

中图分类号：TP391.41 文献标识码：A 文章编号：1007-9416（2019）01-0092-02

目前应用的人机交际系统主要包含两种，一是借助激光笔，实现远距离的交互，另一种则是实现人体一部分，比如：手部、眼睛等部位的远距离交互。人体部位交互不需要外部设备的协助，在实际应用中，这类交互技术更加自然与友好。本文主要研究的是基于图像识别的大屏幕人机交互系统建设与实践，详细阐述如下。

1 系统概述

本文研究的基于图像识别的大屏幕人机交互系统，通过利用人眼交互，以此获取眼球内的转动信息，将摄像头集中在用户关注的位置，以此实现对计算机系统的控制，采集相关的视频图像[1]。借助人手可将眼球信息投放在大屏幕上，因而又称之为手势识别基础上的人机交互。

本文研究的基于图像识别的大屏幕人机交互系统，主要是将两个广角摄像头分别安装在A点、B点，安装点需要与大屏幕正对，且镜头一致对准地面。用户只需要在摄像头与地面之间的任意距离位置，移动手臂，一般采取上下移动、左右移动两种，通过控制大屏幕内的鼠标定点。在鼠标移动到指定位置后，用户站在原地，弯曲会伸展食指就可实现鼠标点击。此人机交互系统的每个摄像头主要负责用户手部图像采集，通过获取用户之间的二维图像位置坐标，在透视投影模型的支持下，以此将指尖成像点与地面之间的坐标位置求解出来。将摄像头位置、地面坐标视作一条直线，系统总计2条直线，两条直线交互，则能够将指尖空间坐标求解出来，以此获取之间空间做标与屏幕二维码做标。通过将物理做标转换为专门的逻辑坐标，可求解出手指指向屏幕的实际坐标，以此实现大屏幕的精准定位。在系统完整定位之后，通过采集用户指尖视频图像，可判断食指状态。

2 基于图像识别的大屏幕人机交互系统建设原理

本系统的摄像头，采取的是透视投影成像模型，如图1所示。透视投影O型在实际应用中，可将一个场景光线透过投影屏幕，聚集在中心。在投影中心位置，与成像平面垂直，以此形成投影轴/光轴，此阶段，x，y，z点固定。

透视投影映射图2所示，摄像头的平面直角坐标系，其原点处于投影中心，坐标轴与投影轴相互重合，指向特定的场景，x轴与y轴图像平面坐标与、轴平行，此阶段xy平面与图像平面之间的距离用表示，也称之为摄像头的焦距[2]。实际摄像头中，图像平面集中在投影中心后面距离位置，其投影图像属于倒立图像。此阶段场景内的y点、x点、z点坐标需要在图像平面相交点上获取。

3 基于图像识别的大屏幕人机交互系统建设实践

以主配网电网为例，系统建设分析如下。

3.1 个性化专题监控

（1）设备全维度在线监测。通过“电网-变电站/输电线路-设备”个层次递进展示整个深圳电网设备整体情况，实现不同层次的用户掌握电网及设备运行情况。（2）电网全维度监测。电网全景信息用于展示整个深圳电网设备全维度在线监测的情况，包括：电网规模、各类关键设备数量、关键设备状态评价结果、各类设备寿命分布情况、不同等级的设备风险次数、不同等级的电网风险次数、电网污区分布情况等。（3）变电站全维度监测。电网全景信息用于展示整个变电站设备全维度在线监测的情况，包括：变电站基础信息、变电站运行信息、变电站各类状态监测覆盖情况、接入情况、在线情况、变电站的设备状态评价结果、基准态评价结果、风险评估结果等。（4）输电线路全维度监测。输电线路全景信息用于展示架空线路和电缆线路设备全维度在线监测的情况，具体如包括：输电线线路走势、线路运行信息、输电线路杆塔状态、线路负载率、输电线路实时视频等。（5）设备全维度监测。设备全景信息用于展示单体设备的全景信息，包括：单体设备的安装、采购、项目、运行、维修、价值、缺陷、寿命、状态、状态评价结果、风险评估结果、基准态分析结果和故障预测结果等信息。（6）缺陷分布统计。以巡维中心、厂家为维度进行缺陷对比分析，支持钻取具体的缺陷信息，具体展示包括：设备运行年限平均故障率、厂家设备故障指数、某类设备非正常状态趋势分布、某类设备非正常状态运行年限分布、展示某类设备非正常状态厂家分布、缺陷数据统计分析结果等。（7）客户全方位指标监控。展示各服务渠道的客户诉求、客户服务情况，监控客户诉求（包括12398、12345等外部渠道）的受理、分布、处理、跟踪并闭环以及后续处理，回访情况，以便发现客户服务薄弱环节，同时对客户供电质量、客户问题、故障停电进行实时监控。（8）电动汽车充电運营监控。展示深圳供电局目前拓展的电动汽车充电竞争性业务的总体运营情况，具体展示内容包括：充电站桩规模、充电桩当前运行情况、充值金额、充电金额、充电电量、充电桩利用率等。（9）低压集抄指标监控。展示深圳供电局低压集抄建设和集抄运行的总体情况，具体展示内容包括：集抄覆盖率、终端在线率、数据采集完整率、远程抄表投入率、远程抄表成功率、已验收台区数、已验收电表数等[3]。

3.2 大屏展示

3.2.1 大屏（含控制终端）展示

（1）大屏展示手段。通过大屏动态切换或者大屏拼接的方式演示简短视频、展示综合场景，供会议或者汇报使用，同时也可以设置若干主题供监控人员使用。展示内容需要能适应多种分辨率的大屏，包括中央区域大屏、两侧区域大屏以及入口区域大屏。（2）终端控制。搭建移动终端和大屏展示的互动工作台，通过移动终端发出指令，发给可视化监控系统进行互动展现，并可根据大屏配置最优化展示效果[4]。

3.2.2 视觉效果设计与场景展示

将深圳供电局各部门各层级关注的关键指标信息、月报指标信息、个性专题指标信息以及网公司关键指标信息，运用视觉设计手段，通过标志的造型和特定的色彩等表现手法，使企业的经营理念、管理特色、服务标准等形成一种整体形象，展示深圳电网良好形象。

包括建立生产域视觉效果场景设计、投资计划域视觉效果场景设计、物资域视觉效果场景设计、基建域视觉效果场景设计、营销域视觉效果场景设计、人力资源域视觉效果场景设计、财务域视觉效果场景设计、信息域视觉效果场景设计、电网发展视觉效果场景设计、资产全生命视觉效果场景设计、设备全维度视觉效果场景设计、客户全方位视觉效果场景设计、电动汽车充电运营视觉效果场景设计、低压集抄视觉效果场景设计。实现不同主题域的视觉效果設计[5]。

通过视觉效果设计的场景，运用视频处理、三维动画、数字合成等技术，构建生产域视觉效果视频与动画组件、投资计划域视觉效果视频与动画组件、物资域视觉效果视频与动画组件、基建域视觉效果视频与动画组件、营销域视觉效果视频与动画组件、人力资源域视觉效果视频与动画组件、财务域视觉效果视频与动画组件、信息域视觉效果视频与动画组件、电网发展视觉效果视频与动画组件、资产全生命视觉效果视频与动画组件、设备全维度视觉效果视频与动画组件、客户全方位视觉效果视频与动画组件、电动汽车充电运营视觉效果视频与动画组件、低压集抄视觉效果视频与动画组件。实现不同主题域的视频展示，展示深圳局运营监控成果。

4 结语

综上所述，本文是在图像识别原理基础上，提出的一种全新的大屏幕人机交互系统构建方式，通过应用双目立体视觉，解决了大屏幕人机交互系统内的摄像标定问题，顺应时代发展需求，融入了各类全新的技术，提出了一种更加简单的空间定位方式。

参考文献

[1] 卢思羽.基于多模态人机交互的虚拟乐器演奏系统研发[D].华中师范大学，2016.

[2] 郭星.大屏幕人机互动中若干关键技术研究[D].安徽大学，2013.

[3] 李建新.大屏幕多媒体互动展示系统实现技术与设计[D].安徽大学，2012.

[4] 李志.基于图像识别的大屏幕人机交互系统研究[D].安徽大学，2010.

[5] 黄燕荣.基于视频输入的虚拟交互系统的设计与实现[D].大连理工大学，2004.

Abstract：On the basis of image recognition， in order to solve the complex problem of camera calibration in human-computer interaction system， this paper proposes a new way to build human-computer interaction system. Firstly this paper analyses the overview of large screen human-computer interaction system based on image recognition， expounds the principle of system construction， and finally summarizes the practice of system construction.

Key words：image recognition； human-computer interaction； system construction； system practice