Multi-Touch智能红外交互投影系统

于少华 伍冠健 吴黎明 林光 柳宗政

（1.广东工业大学信息工程学院 2.华南理工大学计算机学院）

1 引言

在交互设备方面，近年来出现了很多支持人手操作的新型输入设备，这使得人手与机器自然交互的进一步应用成为可能。例如美国 MERL(三菱电气研究实验室)的 Dia—mondTouch[1]，索尼的 SmartSkine[2]，以及微软最新推出的Surface[3]等。这些交互设备通过识别多点触摸，将人手操作应用于人机交互，得到了很好的效果。交互方式随着技术发展也越来越多[4]，常用交互方式有红外对射式、电阻膜式、电容式、声波式和基于摄像机的人机交互等。

现在显示方式主要分为显示器和投影显示两大类，显示器虽然在显示效果上优于投影系统[5]，但随着各个领域对显示设备在显示尺寸、占用空间和应用场所等方面的要求越来越高，显示器在某些领域逐渐被更具优势的投影显示系统所取代[6]。但互动投影系统根据目前所使用的技术，有成本太高、定位不准、反应速度慢、投影面材质局限等缺点，同时大多数产品只能利用红外笔或电磁笔去控制，无法实现用手进行多点触摸控制，因此无法给用户带来较好的体验。

Multi-Touch智能红外交互投影系统给出了解决这些问题的另一种思路：通过在作为投影屏幕的亚克力板上制造红外光层，利用摄像头检测物体接触屏幕时反射的红外光，再利用相应的软件程序分析，从而实现高性价比的多点触摸交互设备。

2 系统模块组成

该系统的构建基于光学原理实现多点触摸、追踪和识别的人机交互技术，它是通过手指触摸或激光笔照射来操作计算机的新型投影系统，低成本、高性能，能应用到增强现实（Augmented Reality，AR）[7]这一虚拟现实技术的新兴领域，并通过计算机网络连接，实现物联网的“人—物”信息交换功能。

该系统硬件搭建的具体方法是根据实际应用需要，在竖直和水平两个平面上采取不同的方案。

（1）在竖直投影平面上制造一层与其平行的红外光面，用摄像头捕捉物体接触投影面时所反射的红外光，再由特定的图像分析软件来定位、跟踪、识别、解释，最后再通过投影仪将反馈信息表达出来。竖直平面结构图如图1所示。

图1 竖直平面结构图

（2）水平投影平面采用高透明的亚克力板，投影平面的四周用红外LED紧密包围，使红外光在亚克力板内漫反射，然后按照与竖直投影平面方案相同的方式完成操作，并且除了能识别一般的红外亮点外，还具有增强现实的功能，摄像头能识别放置在投影面上的物体，并将有关它的信息反馈到投影图像中。水平平面结构图如图2 所示。

图2 水平平面结构图

整套硬件设备包括投影模块、红外发射模块、传感模块、增强现实模块。

投影模块是一个微型投影仪，与计算机连接，将原本显示在计算机上的图像显示在一般的平面上。对平面的要求：颜色不能太深，表面不能有严重凹凸，以保证投影图像的效果。其中水平投影面须采用透明材质，经多次试验比较，厚度约为10mm的无色透明亚克力板的性价比最高。该亚克力板四周须抛光，以使红外光线能射进板内。亚克力板作为触摸面须喷洒一层光滑的硅胶，再在上面贴上背投膜，以增强成像效果。

红外发射模块是焊接成排的红外二极管或红外一字激光发射器。采用红外一字激光方案，可选用一般的点状红外激光发射器，在发射孔前贴上一字线性透镜。将多个激光发射器固定成一排，相邻两个之间留有一定的间隔。若采用红外发射二极管方案，须将多个红外 LED密集焊接成一排，并在其上下两侧盖上一片能吸收红外光的贴片，使发散的红外光尽可能少地泄露，以保证投影效果。

传感模块是一个经过特殊处理，能准确感应物体接触投影面时所反射的红外光的高帧率高清摄像头。很多摄像头带有可滤除红外光的镜片，这个镜片被放置在镜头的后面，须将它去除；有些摄像头无法拆除红外滤镜，需要将整个镜头更换，并在镜头前贴上一块红外滤光片，将可见光滤除，只让红外光进入镜头。另外，所选摄像头要求在弱光条件下也有较好的感光效果。其中水平投影平面采用背投式，即投影仪与摄像头都放在触摸面的反面；而竖直投影平面采用正投式，即投影仪与摄像头都放在触摸面的正面。

增强现实模块是指印在物体底部的特定二维码标签。该类二维码须事先与相应的物体信息匹配，存储到图像分析软件内的数据库中[8]，在实际操作中对交互、显示实时响应[9]。并且印二维码的材料必须能吸收红外光，以防止摄像头误认。

3 图像处理

传感红外摄像头捕捉到的图像滤去了可见光，只剩下由手指接触红外平面产生的团块和一些干扰点。用图像处理技术对这些视频序列做处理，先用背景差分的方法提取图像中的运动像素，然后用二值化方法去除部分背景中的杂质，接着用形态学滤波的方法滤去干扰点，并将运动像素连成一个个连通区域，把这些连通区域叫做团块，最后在视频序列中对这些团块进行跟踪，记录团块的运动轨迹以识别手指的位置和动作。

3.1 背景差分和灰度图像二值化

对摄像头固定，背景色较为单一的该系统视频序列使用背景差分。背景帧的构建方法：该系统采用一阶递归滤波器来实现背景图像的自适应生成。若当前原始图像前一帧为Fj-1，背景帧为Bj-1，则当前背景帧Bj可以采用一阶递归滤波器来生成：其中0

在实际应用中，背景不会保持完全不变，它会受光照或杂质的影响，使用简单的背景差分后，几乎所有的像素差值都不为0，因此需要对差分后的结果做二值化处理。

首先要设定一个阈值th，它的大小决定了算法对环境光照变化和一些干扰因素的包容程度。th值的设定是否合适，决定着运动块能否被正确获取。当 th取值太小时，会引入过多的噪声点，噪声点也会被误当作运动块进行处理，从而影响触控消息的正确性。若th取值过大，则某些不明显的运动块可能会被当作背景没被检测出来，使得触控桌面显得迟钝。所以在使用该系统时，用户可以根据外界光强，通过调整阈值使二值化达到最佳效果，系统对图像二值化的过程和效果如图3 所示。

图3 初步图像处理结果图

3.2 形态学滤波和目标跟踪

对于该系统二值化处理过后的图像[11]，大部分细微的光照影响都可能被去除。当图像中仍存在很多小的颗粒噪声或运动块中出现一些小的空洞时，可通过形态学滤波的膨胀（dilation）和腐蚀（erosion）运算去除噪声干扰。

通过前面的步骤可以得到几个连通的区域，每一个区域代表一个运动目标，接下来就是对连续帧中的运动目标进行跟踪，记录其运动轨迹。为了表述一个目标，首先要对图像求轮廓，一个封闭的轮廓就代表一个运动块，求轮廓采用canny边缘检测算法，设二维高斯函数在某一方向上的二阶导数为：

边缘强度为：

求得轮廓后可很方便地求取一个块的质心和面积，这在后续处理中都会用到。在求得每一个运动块的面积后，较小和较大的运动块都认为是干扰或噪声，可以通过设定面积的区间来滤除不合理的运动块，再一次的去除干扰。

前面提到的目标跟踪这一部分，由于其特殊的应用场合，没有遮挡和重叠等问题需要考虑，所以采用简单的质心位置跟踪就可以满足应用需求。算法的基本过程是：

(1)获取当前帧中的运动块，计算各运动块的质心位置；

(2)计算当前帧中每个质心与前面跟踪的各个运动块的质心位置的距离，得到一个距离矩阵（见表1）；

表1 系统计算4帧内某5个运动块质心微弱运动后的位置距离矩阵

(3)判断，如果当前帧中某个质心与前面跟踪的运动块的质心距离小于一定值（可根据实际情况通过软件设定），可认为它们是同一个运动块，则把这个质心位置加入到该运动块的轨迹中。如果当前帧中的一个质心与前面跟踪的各个运动块的距离都比较大，可认为这是一个新的运动块，表示新按下了一个手指，则创建一个新的跟踪对象，加入到跟踪队列中。如果前面跟踪的某个对象与当前帧中的各个质心的距离都比较大，则认为这个跟踪对象消失了，这意味着一个手指离开了触控桌面。这时程序把它的运动信息传递出去，并从跟踪目标队列中将该对象删除。

4 手势识别

在经过一系列图像处理后，系统会对手指或其它物体在投影屏幕上触摸的轨迹进行识别，即手势识别。它是指判断用户手指动作所对应的指令，如单击、双击、拖拽、放大、缩小、旋转等，这需要在系统数据库中存储各种手势和相应的操作指令（部分手势见表2）。

表2 部分手势和相应的操作指令

手势识别流程：首先判断某两个或多个移动触点在一个计算周期内有无相对运动，若这些移动触点任意两点之间的相对运动距离大于阈值th（参考表1，一般取2），则判断为有相对运动；否则，判断为无相对运动，将相对无运动的移动触点模糊处理为一个触点，触点位置取其几何中心值。以单点旋转手势为例（详见图4），旋转过程中有一个手指（图中为A）作为旋转中心静止，另一个手指（图中为B）作为运动手指绕旋转中心旋转。旋转过程中旋转半径同屏幕水平、垂直方向的夹角δ和ν会不断变化，而旋转半径变化小于阈值th（参考表1，一般取10）。

图4 单点旋转特征图

对于手指动作的判断一般会在应用程序中进行，为了实现对多种语言开发的程序的支持，需要将触点追踪的结果以一定的标准传递给应用程序。在这方面，目前TUIO (Table-Top User Interfaces Objects)协议已成为一个标准。TUIO是为多点触摸设计一个底层开放的框架，它包含了一组通用的协议和API。通过TUIO协议可以对触摸交互情况进行描述，包括触摸事件和触摸对象的状态。TUIO协议对这些控制数据进行编码，由基于计算机视觉的追踪应用程序发送到各客户端，由各客户端对协议数据进行解码。在技术上，TUIO是基于OSC（opening sound control）建立的，所以TUIO协议可以看作是OSC数据的一种标准化实现，可以用于所有支持该协议的设备上。在触控应用程序中需要有一个专门的模块来解析TUIO协议传送的数据，并转化成相应的指令传给其它模块。整个软件部分的操作流程如下：

(1)对摄像头捕捉到的视频序列做图像处理，提取手指产生的团块；

(2)对团块做运动跟踪，记录其轨迹[10]；

(3)在一个团块消失时将其运动信息封装成TUIO协议格式发送到应用程序；

(4)应用程序的TUIO解析模块解析图像处理模块传来的信息，并转化成相应指令；

(5)应用程序对指令做出响应。

5 结论

多点触摸的出现，让人和系统的操作更为直观、简单。不难想象未来的计算机操作界面必定是摒弃键盘、鼠标这些输入设备，而直接在图像上操作。本文使用低成本的方式实现了这一目标。尽管背投式方案已达到相当高的精确度，但正投式方案由于红外光功率不足以及手指正面造成红外光较强的散射等原因，始终未能达到令人满意的精确度，这一问题还有待解决。

在方案试验的过程中，将摄像头前滤光片的截止波长适当降低，使红光通过，就可用红色激光笔进行远距操作，解决了投影图像面积过大导致的人手触摸不及的问题。另外，可以设计一种笔尖有绿红两个灯头的激光笔，用绿色激光定位，再用红色激光进行点击、拖动等操作。水平投影方式适合应用在个人办公、休闲娱乐等场所，趋于小型化；而竖直投影方式则适合在教室上课、会议论述、广告宣传等场合，可向大型化发展。

[1]Dietz P,Leigh D. Diamond touch:a multi—user touch technology[C].Proceedings of the 14th Annual ACM Symposium on User Interface Software and Technology,Orlando,Florida,2001.

[2]Rekimoto J．Smart skin：an infrastructure for freehand I． pu—lation on interactive surfaces[C]．Proceedings of the SIGCHI conference on Human Factors in Computing Systems，ACM Press，Minneapolis，Minnesota，USA，2002．

[3]http://www.microsoft.com/surface.corn/index.html,2007,10.

[4]袁保宗,阮秋琦,王延江,等.新一代第四代人机交互的概念框架特征及关键技术[J].电子学报,2003,31(12A).

[5]应根裕,胡文波,邱勇,等.平板显示技术[M].北京:人民邮电出版社.2002:272-442.

[6]Eva Hornecker. I don'tunderstand it either,but it is cool'-Visitor Interactions with a Multi-Touch Table in a Museum,Horizontal Interactive Human Computer Systems,2008.TABLETOP 2008.3rd IEEE International Workshop on.2008:113-120.

[7]Ronald T Azuma.A survey of augmented reality[J]. Presence:Teleoperators and Virtual Environments,1997,6(4):355～385.

[8]Yingmin Zhang,Viard-Gaudin,C. Liming Wu,An Online Hand-Drawn Electric Circuit Diagram Recongnition System Using Hidden Markov Models，Information Science and Engineering,2008. ISISE '08. International Symposium on,2008:143-148.

[9]冉洋,朱飞,陈康.虚拟现实及增强现实技术在工业设计中的应用[J].激光杂志,2010,1:4-6.

[10]Liming Wu,Qi Wang. A Recongfigurable Video Moving Target Deteciton IP Core,Digital Manufacturing and Automation (ICDMA),2010 International Conference on ,2010:104-108.

[11]吴黎明,崔山领,王丽萍,等.重复图案晶片自动检测新方法[J].光学精密工程,2008,5:925-930.