基于计算机视觉的交互式电子沙盘系统研究

严一鸣，郭 星

(1.安徽师范大学皖江学院 电子工程系，安徽 芜湖 241000; 2.安徽大学 计算机科学与技术学院，安徽 合肥 230031)

基于计算机视觉的交互式电子沙盘系统研究

严一鸣1，郭 星2

(1.安徽师范大学皖江学院 电子工程系，安徽 芜湖 241000; 2.安徽大学 计算机科学与技术学院，安徽 合肥 230031)

传统的沙盘模型只是单纯的模型展示。随着社会的发展，交互性是影响沙盘性能的一个非常重要的标准。交互性越高，讲解人员与沙盘的互动性就越强，讲解效果就越好。为此，充分利用计算机视觉技术，结合沙盘介绍中激光笔的运用特点，提出并实现了一种通过激光点来进行交互的电子沙盘系统。该系统采用摄像头采集沙盘区域图像，利用差分技术识别出激光点，通过分区对角线坐标转换算法得到激光点所指的沙盘区域，将转换后的坐标信息按照消息传递机制发送给电子沙盘系统的主控制显示模块，主控制显示模块根据接收的坐标信息，通过函数调用播放对应区域的语音或视频文件，以实现语音或者视频介绍功能。模拟仿真运行结果表明，所建立的系统通过MFC与DirectShow的有机结合，可100%识别出激光点所指示的区域，并显示出对应的视频；且该系统互动效果良好，为讲解人员提供了一种更加高效、自然的交互方式，提高了讲解人员的效率，充分体现了展示效果。

人机交互;计算机视觉;图像识别;沙盘

0 引 言

传统的实物沙盘主要应用在传统的军事指挥领域。由于可以形象地模拟作战地形以及便于参与者进行交流互动，因此传统的实物沙盘成为之前军事指挥的重要演示工具，也是指挥人员进行作战计划和决策演示的重要工具和手段[1-2]。随着计算机科学技术的发展，带声、光、电的电子沙盘应运而生。这种沙盘大大提升了显示效果，但是与人的交互还有所欠缺，使得沙盘展示效果不尽人意[3]。利用计算机视觉技术，结合传统沙盘需要使用激光笔的特点，提出一种交互式电子沙盘，大大提高了人机交互能力，提升了沙盘的展示效果。所设计的电子沙盘是把实物实景模型建造出来，再以此为基础为其配备摄像头、计算机、语音播报设备等。把摄像头安装在电子沙盘模型的正上方，对沙盘模型进行监控。参观人员可以通过激光笔指向实物模型。当指挥人员进行激光笔操作时，摄像头就会对视频图像进行采集，利用采集图像把激光点和手势识别出来并对它们的坐标信息进行坐标转换，然后转换后的坐标信息通过消息传递机制发送给电子沙盘系统的主控制显示模块。电子沙盘系统的主控制显示模块会根据接收的坐标信息，通过函数调用该区域对应的语音或视频介绍文件进行播放，最终实现语音或视频介绍的功能。

1 系统设计

实现的交互功能是使用者用激光笔对电子沙盘进行操作。整个系统的工作流程如图1所示。

图1 总体工作流程图

置于物理模型上方的摄像头时刻采集沙盘模型的图像，当有人使用激光笔或者用手在沙盘上进行操作时，摄像头就会采集到包含人手或者激光点的图像，系统对激光点和手势进行识别，检测出激光点和手势，把检测结果发送给系统主控制程序，主控程序接收消息，调用相应函数播放相应的语音或者视频进行信息介绍。

2 系统实现

根据系统功能，主要实现两个模块：激光点识别定位模块、主控制显示模块。

2.1 激光点识别定位模块

根据激光点定位模块的工作流程和所要实现的功能，设计出的模块流程如图2所示。

2.1.1 激光点图像的获取

计算机只能对数字图像进行识别处理，不能对现场实景中的图像直接进行处理，而视频采集是获取数字图像的一个主要来源。当今市场上视频采集设备主要有USB摄像机、数码摄像机以及视频采集卡等。文中使用USB摄像头作为图像采集的硬件，因为它可以和计算机直接进行数字图像传输，应用比较广泛，而且采集的图像分辨率也能满足实验要求。在Windows系统中视频数据流的采集软件有Video for Windows和DirectShow，文中选择DirectShow进行图像采集处理，因为该软件的采集速度较快，实时性较好。所设计的电子沙盘系统是把USB摄像头安放在沙盘模型的正上方进行监控来获取数字图像，当激光点打在模型上，摄像头就会对图像进行采集，从而获取激光点的图像。

图2 模块流程图

2.1.2 激光点检测

对激光点进行识别时，电子沙盘系统需要从摄像头捕获的序列图像中把激光点从图片背景中单独提取出来，也就相当于电子沙盘系统能及时地识别激光点并把它准确地从摄像头拍摄的序列图像中提取出来。文中设计的电子沙盘系统对激光点的位置识别和跟踪，先通过摄像头对激光点图像视频进行拍摄，然后再对获取到的激光点图像进行分析处理，把激光点在图像中的位置检测出来，最后计算出激光点的坐标位置信息。也可以利用摄像头所拍摄图像的激光点图像，对连续几帧的图像进行比较分析就可以实现对激光点的跟踪。设备架构是摄像头固定在电子沙盘模型的正上方，因此摄像机一直保持静止，也就是说摄像机所拍摄的图像背景都是保持不变的，指挥人员使用激光笔发射到沙盘模型上的激光点是运动的，因此只需研究静态背景下的激光点的识别方法。在图像采集时，对背景是静止的、目标是运动的情况，差分法在目前最合适。通过比较分析，采用背景差分算法对激光点进行识别[4-5]。

设Ft和Bt分别是t时刻的视频图像和背景图像，则前景点满足：

(1)

因为激光点很亮，所以可将阈值T设置为一个较大的值，从而较好地提取出激光点，得到激光点在采集图像中的坐标(X,Y)[5-6]。

2.1.3 激光点坐标转换

因为对激光点进行识别操作后获得的激光点位置信息是在USB摄像头拍摄区域内的激光点坐标位置信息，这和计算机屏幕上电子沙盘模型上的位置不一样，因此需要对摄像头拍摄区域上的激光点位置信息进行坐标转换，将拍摄区域上的激光点坐标转化为沙盘模型的坐标，也即计算机的屏幕坐标。对于坐标转换,采用分区对角线坐标转换算法,因为该算法可以很好地解决摄像头捕获图像存在畸变所带来的误差问题,得到的激光点的逻辑坐标更加精确,尤其是在图像边缘区域。在实现激光点在图像上的准确定位后，通过该算法将该激光点在摄像头上的坐标转换为计算机屏幕上电子沙盘模型桌面上的坐标[6-7]。

算法步骤如下:

(1)以白色背景显示20*16黑色小矩阵将计算机桌面上的电子沙盘模型进行分区[8]，如图3所示。

图3 显示黑色小矩形

假设这些小矩形的宽度和高度分别为width和height。drow为整个电子沙盘模型在横向左右边缘各保留20个像素后剩下宽度范围平均选取20个点的相邻两点间的距离。dcol是以整个电子沙盘上下边缘各保留16个像素后剩下高度范围平均选取16个点的相邻两点间的距离。如果drow>dcol，则w=h=dcol/3，否则w=h=drow/3。将选取的16*20个点作为小矩形的左上角坐标点，那么每个小矩形中心点坐标(xi,yi)为:

(2)

将小矩形中心点的坐标存入数组nScreenPt[N],N=320。然后对摄像头捕获到的帧图像从上到下、从左到右逐行扫描,找到图像上这些黑色小矩形的中心点在图像平面上的坐标，并把这些坐标写入数组nCameraPt[N]。根据摄像捕获的数字图像，位图的行数据存储次序是颠倒的，可以看出位图文件中第一行数据对应的是图像最低行的数据[3]，因此可以得到：

nCameraPt[N]=nScreenPt[N-(i+1)*20]

(3)

换算后把数组中的值保存成文件，文件名为“zuobiao.txt”。以后每次系统启动都会读取，作为系统参数。

(2)执行完第一步，系统启动后，当指挥者使用激光笔打在电子沙盘模型上时，摄像头就会对图像进行采集，系统经过图像的识别和处理，激光点检测得到摄像头上激光点的坐标值(X,Y)。然后在第一次操作生成的“zuobiao.txt”文件中找出对应的激光点在计算机屏幕上的坐标，从上面所选的第二行的点开始,由该点及其周围的点，计算出这些点和激光点在图像平面上的X坐标值之差和Y坐标值之差的绝对值之和di。以此类推，一直进行到图像坐标的倒数第二个点,即数组nCameraPt[N]的第319个元素，计算出最小的di。激光点就落在由最小di所对应的四个点构成的小矩形区域，如图4所示。根据存储在坐标文件“zuobiao.txt”中的摄像头拍摄的电子沙盘图像的成像平面坐标点数组nCameraPt[N]和计算机桌面上的逻辑坐标点数组nScreenPt[N]的对应关系，找到激光点在计算机桌面所在区域的四个逻辑点的坐标[3]。

图4 计算机桌面上激光点的位置

(3)根据步骤(2)确定的激光点所在的矩形区域，利用对角线法确定激光点在计算机桌面上的电子沙盘模型逻辑坐标值。具体算法如下：设激光点在摄像头图像成像平面的坐标为(x,y)，其在计算机桌面上的坐标为(X,Y)，通过式(4)进行求解:

(4)

其中，(x1,y1),(x2,y2),(x3,y3),(x4,y4)是激光点在图像屏幕小矩形的左下角,左上角,右上角,右下角的坐标值；(X1,Y1),(X2,Y2),(X3,Y3),(X4,Y4)是对应计算机桌面上电子沙盘模型上小矩形相应的坐标值。

2.1.4 激光点信息的发送

当定位激光点的位置坐标后，激光点定位模块会通过串口将位置信息发送到主控模块，主控模块接收到信息，对与接收的坐标信息相对应的语音或者视频文件进行播放，实现语音或者视频介绍[9]。

2.2 主控制显示模块

电子沙盘系统各个功能能否正常实现，关键在于系统主控制程序能否正常运行。电子沙盘主控制模块是电子沙盘系统的核心部分，影响整个系统各个功能的实现。在电子沙盘系统的主控制显示模块启动时，调用函数对配置文件进行初始化和读取相应的配置文件内容，把电子沙盘模型在计算机屏幕上显示出来。当操作人员进行激光笔操作时，激光点定位模块会发送消息将被点击区域的坐标信息发送出去，主控制显示模块就会对消息进行接收和响应，并根据接收到的坐标信息，选取相应的语音或者视频文件进行语音或者视频介绍。根据主控制模块的主要功能设计的流程图如图5所示。

图5 主控制显示模块设计流程图

主控显示模块中的语音与视频和沙盘具体风景是一一对应的关系。采用二维矩阵表示电子沙盘模型[10-12]：

在电子沙盘模型中有哪些建筑物和风景需要系统进行介绍，就将该建筑物或者风景区域从沙盘模型图片中相应抠出来进行编号，将上述二维矩阵用编号进行赋值，并对编号添加与之对应的语音或者视频文件。比如在作为实验对象的校园沙盘中，将图书馆选中标记为1号，利用软件给其添加上与之对应的语音或者视频文件。当主控制显示模块通过串口接收到激光检测模块发送过来的坐标信息时，根据坐标所对应的值所在的区域编号(如1号)，显示模块调用(1号)对应的配置文件中的视频或语音文件。点击不同的区域就对应不同的语音和视频，因此显示效果也不一样。比如点击湖面时，在进行语音介绍的同时也会出现湖水波动、小船游动的画面，点击道路也会同时进行语音介绍和显示汽车跑动的画面。其他区域同理。

2.3 实现效果

系统利用MFC结合DirectShow框架实现，效果良好，能100%识别出激光点所指示的区域，正确显示视频文件，互动效果良好，如图6所示。

3 结束语

为提高电子沙盘模型多媒体展示的光电自动化控制水平，充分利用计算机视觉技术，设计并构建了一种基于激光笔控制的交互式电子沙盘系统。该系统应用摄像头感应用户激光笔激光对电子沙盘的相应区域音频或视频的控制，避免了传统沙盘的单方面被动展示，提高了电子沙盘的交互性、新颖性和扩展性。今后还可扩展电子沙盘的控制方式，如利用手势[13]等，进一步提高其应用效果。

图6 系统实现效果图

[1] 程忠波.浅析数字沙盘的设计与应用[J].电子制作,2014(24):68.

[2] 王亚丽.基于图像的激光光斑识别和特性分析[D].长春:长春理工大学,2008.

[3] 陈海汉.面向航迹规划的电子沙盘技术研究[D].合肥:合肥工业大学,2009.

[4] 丁 磊,宫宁生.基于改进的三帧差分法运动目标检测[J].电视技术,2013,37(1):151-153.

[5] 李 志.基于图像识别的大屏幕人机交互系统研究[D].合肥:安徽大学,2010.

[6] 李孟歆,范静静,张 颖,等.一种基于多重判别的运动目标检测算法[J].沈阳建筑大学学报:自然科学版,2013,29(4):750-756.

[7] 徐卫星,王兰英,李秀娟.一种基于OpenCV实现的三帧差分运动目标检测算法研究[J].计算机与数字工程,2011,39(11):141-144.

[8] 陈远祥.视频图像运动目标跟踪技术的研究[D].镇江:江苏大学,2010.

[9] Paragios N,Deriche R.Geodesic:active contours and levelsets for the detection and tracking of moving objects[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(3):266-280.

[10] Park S,Yu S,Kim J,et al.3D hand tracking using Kalman filter in depth space[J].EURASIP Journal on Advances in Signal Processing,2012,2012(1):1-18.

[11] 张圆圆.基于视觉的手势识别技术及其应用研究[J].计算技术与自动化,2015,34(1):131-135.

[12] 杨小冈,付光远,缪 栋,等.基于图像NMI特征的目标识别新方法[J].计算机工程,2002,28(6):149-151.

[13] Lin Daogui.Research on presentation of multimedia interactive electronic sand table[C]//International conference on education technology and economic management.[s.l.]:Atlantis Press,2015.

Investigation on Interactive Electronic Sand Table System with Computer Vision

YAN Yi-ming1,GUO Xing2

(1.Department of Electronic Engineering,Wanjiang College of Anhui Normal University,Wuhu 241000,China; 2.College of Computer Science and Technology,Anhui University,Hefei 230031,China)

The traditional sand table model is just a show of simple model.With the development of society,interactivity is a very important criterion which influences sand table performance.The higher the interactivity becomes,the stronger the interaction between the staff and the sand table will be,thus the better the effect of interpretation is.Therefore,making full use of computer vision technology and applying the characteristics of the laser pen in sand table presentation,an electronic sand table system has been proposed and established,which is composed of cameras to collect the image of sand table and distinguish the laser spot with difference technique.The sand table area located with laser point has been acquired with diagonal coordinate conversion algorithm of partition area and then the location information transformed has been sent to main control display module of the electronic sand table system according to message transmission mechanism.According to coordination information accepted the main control display module plays the relevant audio or video file of the corresponding region to carry out interpretation function.The simulation operation results show that the region located with laser point can be fully identified to launch the relevant audio or video player to indicate fine interactive effect of this established system is satisfactory and that the system has provided a natural and effective interactive style for interpreters to enhance the interpretation efficiency and effects.

human-computer interaction;computer vision;image recognition;sand table

2016-07-27

2016-11-03 网络出版时间：2017-04-28

国家科技支撑计划(2015BAK24B00)

严一鸣(1994-)，男，研究方向为信号处理；郭 星，博士，讲师，研究方向为计算机视觉。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170428.1704.078.html

TP302

A

1673-629X(2017)06-0195-04

10.3969/j.issn.1673-629X.2017.06.041