基于增强现实电子点餐系统的设计与实现

郭小成

（河海大学计算机与信息学院 江苏 211100）

0 引言

目前，绝大多数的餐饮企业的点餐过程仍然停留在单一、乏味的文字或图案菜谱上，无法展现菜式的详细信息，仅凭稀奇古怪的菜名常常让客户不知所云;其次，传统的点餐方式需要服务员借助笔、纸张和计算器等工具，不仅破坏了自由点餐的空间，也耗费了大量的人力和物力;再者，基本上每家餐厅都需要定期更换菜谱，而传统的菜谱制作费时费力;最后，传统的点餐方式缺少分享和推送功能，不利于餐饮企业特色菜、招牌菜的推广。

本文将增强现实技术应用到餐饮企业的点餐过程中，对传统菜谱进行适当修改，再利用手机、平板等移动设备的摄像头作为数据采集装置，将采集到的图像数据上传到服务器，服务器端对接受到的数据经过数据预处理、提取特征值和分类判别等步骤识别出菜式，再利用投影变换矩阵原理，实时注册跟踪并在客户移动设备的屏幕上叠加接近真实的三维菜色模型。从而可以让用户对菜色的外观、味道、成份和用户评价等信息有一个清晰直观的了解，有效地增强客户就餐的服务体验。

1 系统的体系结构

本文设计系统的体系结构如图1所示。厨房终端是普通的PC机，通过B/S模式访问，采用Ajax技术实时更新客户的订单信息。客户移动终端可以是手机、平板等带有摄像功能的移动设备。

客户在移动终端上运行系统的Android应用程序之后，将摄像头对准餐厅的菜谱，将拍摄到的图片上传到服务器，服务器通过对图片进行去噪、滤波和平滑等预处理，提取图片的特征值，然后以数据挖掘的算法进行分类，识别出对应的菜式，随后从数据服务器取出该菜式对应的三维模型和相关信息。最后移动终端接受该菜式的信息，利用投影变换矩阵原理，实时注册跟踪并在客户移动设备的屏幕上叠加接近真实的三维菜色模型和相关信息。

2 系统的工作原理

本系统涉及两个重要的过程。一是识别文字菜谱的过程，只有正确识别出客户指定的菜式，才能提供正确的增强现实信息；二是实时跟踪注册过程，需要通过投影变换矩阵技术，实时计算出摄像头与菜谱标识物的相对位置，才能准确的加载虚拟的三维模型，以达到虚实结合的效果。

2.1 菜谱识别过程

2.1.1 传统菜谱的修改

首先需要对传统的文字菜谱进行适当修改，以满足增强现实标识物简单、易区分、易识别的特点。在修改过程中，需要满足以下两条原则。

菜谱上的菜式可以是任意的文字或图案，但一定不能中心对称或轴对称，否则虚拟物体会上下或左右倒置。

菜谱上的菜式的文字或图案应该越简单越好，越简单识别速度越快。其中，黑白相间的图案可以有效地加速标识物的边缘探测。

图1 系统的体系架构

2.1.2 数据预处理

从客户移动终端的摄像头获取到图像后，在移动终端进行初步的处理，将图像进行灰度化处理和适当压缩。上传到服务器之后，对图像进行去噪、滤波、平滑和提取边缘等 处理。

2.1.3 提取特征值

提取特征值过程实质上是在图像上检测“兴趣点”，然后对这些“兴趣点”转换为特征向量。这里我们采用SURF算法[2]生成一个64维的向量，该算法提取的特征向量对光照和视角变换的影响很小，对平移，旋转和缩放也能保持不变性[4]。

2.1.4 分类判别分析

因为SVM能较好地解决小样本、非线性、高维数的分类问题，在图像识别上有先天的优势[2]。在使用SVM分类器进行分类时，包含以下两个阶段：

模型训练阶段，首先需要预先将菜谱中的菜式图案上传到服务器，服务器端对这些图片进行预处理，提取特征值生成特征向量之后，输入到SVM模型中进行训练。

在线识别阶段，客户移动终端将获取到的图像上传到服务器，服务器端对图片进行预处理，提取特征值生成特征向量作为之前训练好的SVM模型的输入，输出即为分类结果。

2.2 跟踪注册过程

2.2.1 投影矩阵变换原理

在进行标识物的跟踪注册时，涉及到三个坐标系统，分别是客观世界绝对坐标系，摄像头坐标系和标识物平面坐标系，如图2所示。

图2 坐标系统

为了获取摄像头的位置和方向，可以通过式(1)[5]将菜谱坐标（Xmc，Ymc，Zmc）转换到摄像头坐标（Xcc，Ycc，Zcc）。式(1)中，变换矩阵由一个旋转矩阵V3×3和一个平移矩阵V3×1组成。

在摄像头的定标过程中，可以由公式(2)[5]获得摄像机的透视投影矩阵P，即摄像头坐标系到绝对世界坐标系的转换矩阵。

式(2)中，f 为摄像头镜头焦距；Sx 与Sy 分别为X 轴、Y 轴方向的比例因子，(x0，y0）为人眼坐标系中Z轴的位置[1]，K是校准参数。

因为菜谱对应的矩形区域四个顶点的坐标是确定的，移动终端屏幕显示区域四个顶点坐标也可以实时获得。在确定了V3×3矩阵之后，就可以计算出从菜谱坐标系到摄像头坐标系的转换矩阵。此外，由于标识物的图案是不对称的，利用它可以确定摄像头的方向。

2.2.2 叠加虚拟图像

利用OpenGL ES的矩形运算和图形绘制函数库，将事先设计好的菜式三维模型实时加载到真实环境中，以达到虚实结合。

3 总结和展望

本文设计的基于增强现实的电子点餐系统，具有用户体验好、更换菜谱方便和实现成本低等特点。但目前该系统还有很大的提升空间，例如菜谱识别的准确性，摄像头定标的稳定性以及虚拟物体的加载速度等。

[1]周见光,石刚等.增强现实系统中的虚拟交互方法 [J].计算机工程, 2012, 38(1): 251-253

[2] 刘太安.基于支持向量机的空间数据挖掘方法及其在旅游地理经济分析中的应用[D]. 徐州:中国矿业大学,2012.

[3]钟志鹏.移动增强现实博物馆导览应用研究[D].北京:北京理工大学, 2011.

[4]Kato H,Billinghurst M,Weghorst S, et al.A Mixed Reality 3D Conferencing Application[R]. Washington D. C., USA: University of Washington, Technical Report: R-99-1, 1999.