一种运用手机照相机实现实物智能搭配的功能研究

(天津机电职业技术学院，天津 300350)

一、智能搭配的研究意义

(一)研究现状

目前大部分手机照相机仅仅用于拍照和录像，而没有照相机拍照时获取的诸多参数进行优化利用，使得手机照相机功能的应用受到很大限制，未能达到与现实生活的完美结合。

近年来有人提出使用移动终端实现实物尺寸的测量，但目前局限于测量实物的尺寸，没有将测得的实际物体尺寸应用于现实中，也没有完成运用测量的结果对虚拟图片的现实还原以及搭配的功能。目前应用于手机照相机较多的是一些换装app,或是美图软件，也仅仅实现了利用预先设置好的模型和固定的服饰配饰进行简单换装，其展示的也是有限的虚拟搭配，未能应用于实际的场景。最主要的当前技术没能充分利用手机照相机的自身功能和参数，实现现实与虚拟的结合，导致手机自带照相机的利用率越来越低。

(二)现有技术在实际应用中存在的问题

现在手机已经成为我们日常出行必不可少的随身物品，我们希望手机能够最大化的为现实生活带来便捷。同样的，网购也是大家熟知且越来越受欢迎的一种购物方式。但问题是好多网上看好的物品买回来大小或式样不满意，这也是广大网购族的一大困扰。究其原因便是网购的物品不能实现与实物的匹配，只能靠人为估计往往误差较大。再者，在进行装修时，各种家具的购买既要考虑尺寸也要考虑风格搭配，当我们在家具城发现喜欢的家具时又会担心其尺寸是否合适？搭配到家里是否风格匹配？这种大件物品也不容易进行实际的搭配。所以，以上的困惑希望我们最常使用的工具——手机能够帮我们解决。

二、技术实施方案及可行性分析

针对以上现实生活中遇到的问题，可以利用手机自带照相机功能来解决。本文提供了一种既可以利用手机照相机的拍照功能，有可以充分利用拍照时生成的一系列参数，通过利用照相机的拍照功能及相关参数进的计算，实现对所拍照实物或虚拟图片中物品的优化缩放，可准确的完成实物图片的智能搭配。

(一)主要实现方法

在照相机拍照界面添加AR存储按钮，在照片预览界面添加智能导入功能按钮。用户使用时打开照相机对被搭配实物(参照物)进行拍照，拍照后通常是照片自动存储到相册，当使用智能搭配功能时，需点击“AR存储”按键，此时存储的照片是具有一系列参数的图片(如焦距,像距，由成像原理所得物距,成像大小以及经计算得到的实际拍照物体的实际尺寸如对应尺寸为长度，等等)。此时可以得出实际被搭配实物尺寸与拍照照片的比例：，为了保障所得系数的精准度，可以选在拍摄不同角度多张图片(例如3张)，分别获得一个比例系数，，此时利用三组所得系数经过优化算法(如最小二乘法，均方根发等方法)得出最终待搭配物的一个缩放系数。

此时选择搭配物品可以有两种方式获得：一是同样选择实时拍照并进行AR存储操作获取，然后进行智能搭配，在照相机预览界面选择“智能导入”按键首先选择被搭配物(参照物)图片，此时第一次获取的需要搭配的物品图片以及参数被导入。导入完成第一张图片后，再次选择“智能导入”选择第二次拍照的搭配物品图片，此时手机识别是二次导入的图片时，会自动完成图片预处理，并提出二次智能导入图片的重要信息，同时会按照最终被搭配物的缩放系数 完成自动的比例缩放。基本公式为：

其中，为待搭配物(参照物)实际尺寸，可通过成像原理及已知参数计算得出

为待搭配物成像显示大小，可通过屏幕像素点与成像传感器比例计算得出

为搭配物的实际尺寸，看通过参数计算得出

另搭配物按照实物尺寸缩放比例后的成像大小为，则得出导入的搭配物(与被搭配物统一尺寸比例的)图像尺寸为。

另一种获取搭配物的方法是从网购图片中找到适宜的物件截图保存，在照相机预览界面选择“智能导入”该截图图片时同样进行图片预处理提取重要信息，此时导入的照片不存在参数信息，所以可通过双击导入的图片进入实际参数输入界面，这样便可以对网购中的物品进行实际尺寸或参数的设置，设置完成后点“完成”，此时手机处理器同样可以根据读取到的搭配物实际尺寸与待搭配物缩放系数进行计算，得出二次导入的截图图片经实际缩放后的显示尺寸，并自动进行图片大小的调整，完成待搭配物与导入的搭配物图片实现同一比例的缩放，最终通过图片的处理实现实物间的智能搭配功能。

具体流程图如下：

图1 手机照相机完成实物智能搭配流程图

图1表示本文示例性实施案例的图像显示方法的流程图。

步骤1中，显示参照物的图像，并提取所述参照物的显示参数。通过对参照物进行拍摄来获取该参照物的图像以及参照物的显示参数，并将参照物的显示参数插入到参照物的图像中。例如，可基于拍摄该参照物时的拍摄参数来产生该参照物的显示参数，也就是说，参照物的图像所携带的显示参数可基于对参照物进行拍摄时的拍摄参数而被确定。

步骤2中，获取搭配物件即目标对象的图像。获取目标对象的图像的步骤可包括：在原始图像上标记关于该目标对象的区域，截取所述区域的图像，并将截取的所述区域的图像作为目标对象的图像。即，从原始图像中去除背景部分，仅保留目标对象的区域。这里，原始图像可为对目标对象进行拍摄获得的图像或者从网络(或电子终端本地)获取的关于目标对象的图像。相应地，参照物的图像可以是指去除背景部分仅保留参照物的区域的图像，也可以是参照物的原始图像。

步骤3中，基于所述参照物的显示参数确定所述目标对象的成像尺寸。当所述参照物的显示参数包括所述参照物的显示比例系数时，可基于参照物的显示比例系数来确定目标对象的成像尺寸。具体说来，基于所述参照物的显示比例系数确定所述目标对象的成像尺寸的步骤可包括：确定目标对象的实际尺寸，根据参照物的显示比例系数和目标对象的实际尺寸确定目标对象的成像尺寸。例如，目标对象的成像尺寸为目标对象的实际尺寸与参照物的显示比例系数的商。

步骤4中，在所述参照物的图像上按照所述目标对象的成像尺寸显示所述目标对象的图像。根据本文示例性实施例的所述图像显示方法可还包括：响应于对目标对象的图像的拖拽操作，改变目标对象的图像在参照物的图像上的显示位置。例如，还可在确定目标对象的图像在参照物的图像上的显示位置之后，输出目标对象和参照物的合成效果图像，以供用户进行参考。

(二)应用场景

本文以智能家装为例说明：以参照物为房间、目标对象为沙发为例来进行介绍。首先进入电子终端的拍摄界面，并选择AR识物模式，多次拍摄房间各个角度的图像用来获得房间的精确尺寸，最终通过优化算法确定每面墙的尺寸，保存房间的图像。此时，房间的图像中包含了拍摄参数、房间的显示比例系数等信息。以一面墙的尺寸为例，比如客厅中主墙(参照物)尺寸为长5米、高2.7米。在显示的房间的图像中，可将长5米的墙缩放至5厘米进行显示，此时显示比例系数η可为5米/5厘米=100。

此外，可在家具店对沙发进行拍摄来自动确定沙发的实际尺寸，也可从网络购物平台获得沙发的图像和实际尺寸，然后在后续图像合成过程中手动添加沙发，沙发的图像中存储了沙发的实际尺寸，此时在图像合成过程中可从沙发的图像中提取沙发的实际尺寸。

在电子终端的屏幕显示房间(参照物)的图像，并基于对显示的房间的图像的快捷菜单中的“添加AR识物”选项的选择操作，进入用于选择目标对象的图像的界面，可根据用户的操作(如对“相册”选项的选择操作)从该界面(此时,界面中显示电子终端的相册中存储的图像的缩略图)中选择一张图像作为目标对象(如沙发)的图像，还可根据用户的操作(如对“相机”选项的选择操作)控制电子终端进入拍摄界面以拍摄目标对象的图像。当获取了目标对象的原始图像(拍摄的目标对象的图像/从相册中选中的目标对象的图像，如图2)之后，可控制电子终端进入目标对象的图像的编辑界面，在该编辑界面上根据用户的操作来标记关于目标对象的区域，将截取的所述区域的图像作为目标对象的图像，基于房间的显示比例系数确定沙发的成像尺寸(通过计算得到沙发在房间中的尺寸应该是长：1.57米/100=1.57厘米，宽：0.59米/100=0.59厘米,高0.71米/100=0.71厘米)，如图3所示，并在房间的图像上以确定的成像尺寸来显示沙发的图像。此时，用户可以手动旋转及调整沙发在房间中的位置、方向等，并呈现房间与沙发的合成效果图，如图4。用户可以直观的看到买到该家具后放在家中的实际效果，然后可以提前判断该家具是否符合自己家的装修风格等。

图2 沙发实体图

图3 沙发详细尺寸图

图4 沙发被添加AR实景中效果图

图2示出根据本文示例性实施例的在电子终端通过拍摄来获取目标对象的实际尺寸的示例图。

图3示出根据本文示例性实施例，依据参照物房间的尺寸根据比例系数从而获取目标对象的抽象尺寸的示例图。

图4示出根据本文示例实施例的电子终端的拍摄界面，在该拍摄界面中可新增“AR识物”选项，当接收到用户对该“AR识物”选项的选择操作并进行拍摄时，将拍摄图像时的拍摄参数和/或被摄对象(可指目标对象/参照物，如图中所示沙发)的显示参数(和/或被摄对象的实际尺寸)插入到被摄对象的图像中一同存储。即，基于“AR识物”功能所拍摄的图像是携带了拍摄参数和/或被摄对象的显示参数(和/或被摄对象的实际尺寸)的图像。

三、小结

针对现在移动终端自身照相机功能单一，利用率较低等缺点。同时，考虑目前网络购物、便捷家装的兴起以及移动终端的普及，使用手机AR功能已经是紧跟潮流的迫切需求。本文基于自带照相机的基础上添加“AR识物”和“智能导入”等功能，在原有拍照存储的同时，可以将拍照的识物照片以及参数进行AR保存，同时优化计算其缩放比例，从而可以将现实生活中实物通过拍或智能导入的方式实现等比例缩放并自动匹配。这样，不但可以扩展手机照相机的功能，还可以增强手机在现实生活中的利用价值，方便快捷，可大大提高用户体验感和实用性。