赖俊涛
(黎明职业大学 轻纺工程学院,福建 泉州 362000)
珠宝影像半球扫描仪设计
赖俊涛
(黎明职业大学 轻纺工程学院,福建 泉州 362000)
为了实现珠宝产品影像可在垂直与水平2个自由度方向的观察、满足HTML5页面、VR影像展示要求,利用iPhone自带摄像头实现对珠宝360°+180°进行半球影像扫描,对标本的多组照片进行球面映射排序处理,并对水晶标本进行影像半球扫描实验及HTML5半球视景页面测试。研究结果表明:影像信息预期应用可通过HTML5 、VR、AR等技术,便捷实现立体影像在多种移动设备平台展示与分享,改进珠宝产品拍摄、珠宝质检应用、珠宝课程教学中立体影像信息表达。
珠宝;半球扫描;球面映射排序;HTML5
随着近年来VR(虚拟现实技术)及AR(增强现实技术)飞速发展,相关软硬件研发成为投资新热点。目前,垂直于珠宝产品信息的HTML5、VR立体影像展现技术尚属市场空白,针对珠宝信息采集的软硬件技术应用有待开发,具有广阔的市场应用空间。本项目旨在为用户能够通过可穿戴设备或app实现与虚实场景交互,极大提升对珠宝展示认知,增强感官体验。实现虚拟现实技术主要分为:信息采集建模、表现技术、人机交互及设备应用,其中,信息采集及建模遇到工作量大、仿真模拟成本高、可信度低等问题[1]。本文所研发的珠宝影像半球扫描仪,能有效地对宝石原石进行球形扫描测试及HTML5页面图像展示观察,力图通过半球式扫描,打破市场原有珠宝柱面影像采集方式,利用照片球面映射排序与合成,形成样品360°+180°自由浏览的半球面视景图。
虚拟现实所需的影像信息来自于模型数据,包括实际测量、数学生成和人工构造[2]。由于每件珠宝产品具有不同的颜色、形状、大小等特征标定,若都进行数学生成或人工CAD绘制3D模型并加以渲染存在极大困难。因此,通过实际测量方式,采用摄像机的预先位置与观察角度标定,进行影像信息采集获取珠宝产品的3D表面信息,可以有效解决信息采集成本高、工作量较大、产品信息真实性差等难题。
为了增强珠宝影像扫描仪在市场中的应用、降低硬件价格,设备采用外接手机作为硬件摄像头。目前众多智能手机摄像头已到达千万级像素,其中Apple Computer Incorporated 公司的iPhone产品具有3传感器、3镜头的设计,能大幅度提高成像质量,达到影像拍摄高清要求;iPhone可运行自主开发兼具图片后期处理、照片排序、上传云端等功能的App应用软件,界面交互性强、人工操作简易;其手机的位置和角度传感器亦可对相机跟踪起到重要的辅助作用;珠宝产品在标定的稳定工作环境下,通过iPhone手机自带相机预先标定坐标,可实现将多幅图片投影到3D模型上并完成排序。
采集的珠宝半球影像信息由多幅照片组成并排序,通过网页交互界面展示形成360°+180°自由旋转浏览功能。所测试的HTML5页面采用照片球面映射排序后,经过后台程序,随着触屏滑动方向连续导出相应视角照片即可完成;其设备采集信息呈现方式后期亦可采用VR形式表现,采集过程中要求拍摄同一场景时,相似角度完成两张不同位置照片,针对左右眼播放不同序列照片,形成物体深度感知。
2.1 照片球面映射排序
将多幅照片按照定位角度映射到一个合适的单位球面上,建立xyz直角坐标系,每一幅照片平面均与球面相切,其接触点为坐标值,如图1所示。
图1 单位球坐标模型
将所有照片按照物理顺序排列,并在垂直方向上分为几个层次,每一层按照相邻自左向右照片组成,每一层的第一张和最后一张是同一幅照片,形成在此垂直层的360°视景图[2]。垂直方向照片层次越多,观察浏览范围越广、精细度越高。
在半球扫描设备应用过程中,设计垂直方向上90°内有m+1个档位,水平方向上360°有n+1个档位,其中P(t,i)表示垂直方向t图层,水平方向i角度档,P(0,0)代表水平平面上某一起始点位置,P(m,0)代表在垂直于顶部的照片位置,P(0,n)表示水平方向上与起始点相邻的终点档位,P(0,n+1)图像与P(0,0)一致,如图2所示。
图2 半球扫描照片结构排序
2.2 双目视差立体图
由于双眼接受不同的影像使人们对物体形成3D立体感知,因此,双目立体视觉法运用360°环绕拍摄的单摄像头模拟人眼采集不同角度记录同一物品图像(图3),并通过一定顺序将图片进行组合,通过相关设备分别在左右眼输出细微角度差异的图片,形成感知物体深度差,构成物体的3D立体感知。
图3 360°环绕摄像头
综合考虑市场应用和技术成本等因素,笔者研制了珠宝半球扫描设备原型机,具体介绍如下。
3.1 硬件构成
设备采用一体化设计,外观包括底座、托盘、底座与托盘间360°转动盘、180°转动弧形单臂摆杆,如图4所示。底座内设有转动伺服电机,电机转轴上设有齿轮驱动转动盘,将珠宝拍摄样本固定在托盘上,可在水平位置上实现360°旋转。硬件设备上搭载低功耗蓝牙模块,手机App通过蓝牙模块与硬件设备进行通讯、传递控制信息,实现硬件无线操作和图像采集,如图5所示。
图4 珠宝半球扫描设备(专利号201620606784.7) 图5 底座结构示意图(专利号201620606784.7)
单臂摆杆向上延伸至托盘上方,摆杆的自由端设有可插入iPhone卡槽的夹持装置,360°转动盘上设有摆动伺服电机使得摆杆在垂直方向上180°转动。利用摆杆与转动盘的位置移动,使得手机在多角度进行拍摄。
3.2 设备操作方法
(1)选择任意一台iPhone(IOS7.0及以上版本),完成自主开发的3D拍摄App的安装;
(2)将珠宝放在载物台上,在不显眼处用粘胶将产品固定在托盘上;
(3)点击App上的开始按钮,按提示打开手机蓝牙功能,将iPhone架在360°+180°转动台上的摄像头位置;
(4)App通过低功耗蓝牙遥控云台作360°+180°半球形转动,并通过iPhone的相机功能进行拍摄;
(5)采集结束后,照片将同步到服务器端,并形成“半球形扫描”的图片序列,随后服务器完成生成交互式浏览的HTML5半球视景页面及对应的链接二维码;
(6)通过扫描二维码或者打开页面链接,可在其他任何一台手机上浏览此珠宝的360°+180°的HTML5页面。
整体拍摄方法简单、放大效果明显、细节处理优越,便于珠宝全息信息分享。此外,HTML5页面可承载更多相关导览购物信息,便于传播。
4.1 影像半球扫描测试
在IOS SDK(Apple Computer Incorporated公司提供的开发工具)以及Xcode开发环境下,使用Objective-C(驱动所有IOS程序应用的语言)进行汇编,开发Gem-scan软件操作界面。手机蓝牙连接硬件,实现控制程序、机器自动化运作。
图6 影像半球扫描测试演示
鉴于图片信息需保持清晰、处理速度快的特点,因此,需在保持较好的球形视景条件下,简化拍摄工序。利用iPhone自带800万像素及以上的后置摄像头,通过深槽隔离(deep trench isolation)技术有效提升色彩还原、数字防抖和光学防抖功能,保障摄像头运动过程中影像的清晰抓取。在水平方向上设置每隔7.5°定格拍摄,同一垂直图层达48张图片,在垂直方向上90°内设置3层平面并相隔45°,如图6所示。所采集的珠宝图像信息与摄像头在空间中位置一一对应,由手机App下载图像并传送至云端服务器进行图片球形映射排序处理。
4.2 HTML5半球视景页面测试
HTML5页面可在手机及PC端浏览器、微信等软件应用中打开,同时可进行扫描二维码信息传播,其页面交互性强、操作便捷,是良好的影像呈现平台。
为了将珠宝半球扫描设备所采集的影像信息表达成半球形观察视景,在前人工作基础上[3],在服务器后台程序中引用Gem View软件程序代码,调用Gem-Scan上传的一系列序列照片,通过程序在后台形成相关指令,形成球面映射投影,合成相应半球旋转观测的HTML5页面,利用鼠标或手机触屏感应控制珠宝影像在360°+180°的范围内自由旋转浏览,其观察角度与设备的采集角度一一对应。
后台程序基于微软.net运行,开发环境为Visual Studio 2012,引用CSGL库,使用SQL Server 2008数据库储存图片索引信息及用户数据,Web浏览器采用HTML5语言汇编,界面可调用了Canvas窗口创建图像预览。手机打开HTML5页面,通过在垂直和水平两个自由度方向滑动,实验测试珠宝标本(水晶2.7 cm ×1.7 cm×1.5 cm)在HTML5页面展示区域实现观测样本角度随着手指触屏方向而旋转变化,360°+180°半球视景观察效果良好,如图7所示。
图7 向右滑动手机屏幕
开发珠宝半球扫描仪及相关软件应用、HTML5半球视景网页;进行宝石的影像采集及页面观察,在垂直与水平两个自由度上实现了良好的360°+180°自由旋转的浏览效果。珠宝半球扫描仪采集的影像信息具有多项影像表现途径,通过HTML5、VR、AR等技术应用过程中适用于众多相关珠宝工作流程中信息效验与改善产品视觉表现。该技术应用方向可归纳如下:
(1)珠宝产品拍摄:目前在各大电子商务平台,珠宝影像表达多为平面拍摄图片,应用半球立体影像呈现方式,可大幅提升客户感官,更加全面、准确地了解货品信息。立体影像可通过HTML5页面、Flash、GIF等多格式表达,链接至电子商务平台。HTML5页面方便客户在移动端阅览与分享,有效提高产品成交率[4]。利用珠宝半球扫描仪,实现标准化拍摄,简化拍摄沟通与修图,在珠宝产品高频更新的市场环境中,能有效控制拍摄与影像信息整理成本。
(2)建立数字标本库引导信息化教学:借助珠宝批发公司、博物馆、高校等搭建“珠宝高校联盟+裸石珠宝批发公司”产品信息标本资源库,地区高校可共享校际网络信息资源,学生可通过此技术不受时间及场地限制大量观测标本影像,增强自主学习实践能力,完成线上教学应用突破,提升各地高校珠宝教学质量。
(3)AR影像视频珠宝质检标定:由于采用平面拍照拍摄常规珠宝质检难以完整显示宝玉石信息,因此,市面上出现少量不良商家利用此拍摄弊端出现“套货”现象(证书与外观相似货品一起当作原货品售卖,以次充好)。利用AR技术在珠宝半球视景图中在宝玉石特征鉴定区域增加特征标定,通过360°+180°旋转观察宝玉石特征,可根据色块、宝玉石形状做简易区分,有效提升鉴定证书价值,提升防伪门槛。
(4)珠宝影像信息保护:由于市场上充斥高仿知名珠宝品牌款式,通过现有法律监管体系,知识产权无法受到有效保护。通过服务器信息提取与分类有效识别相似度过高的产品上传,保护品牌独立设计师知识产权,同时有助于消费者更好地认知产品特征。
[1] ZHAO Q P. A survey on virtual reality [J].Science in China(Series F:Information Sciences), 2009(3): 348.
[2] 史大伟.图像拼接方法及其关键技术分析[J].科技创新与应用,2016 (4):32.
[3] 余悠,李晶. 基于单摄像头的宝石三维影像采集系统[J].宝石和宝石学杂志,2013,15(2):7.
[4] 魏加晓. 微信广告的应用研究[J].企业导报,2013,16(8):98.
(责任编辑:黄韡 英文审校:杨德权)
The Design of the Jewelry Image Hemisphere Scanner
LAI Juntao
(College of Light-Textile Engineering, Liming Vocational University, Quanzhou 362000, China)
In order to observe the images of jewelry products in vertical and horizontal angle, which is a basic display requirement of HTML5 page and VR (virtual reality) stereoscopic image, this paper puts forward a design, which could conduct a 360°+180° hemispheric scanning of the jewelry products with the camera in iPhone. The device could make hemispherical mapping sorting of multiple images of jewelry products and the crystal specimens were hemispherical scanned, HTML5 hemisphere visual page tested. Their image information is intended to be achieved easily with HTML5, VR, AR and other technologies in order that the 3-dimensional images could be shared in a variety of mobile devices and also could be improved in fields such as jewelry products photography, jewelry inspection application and jewelry course teaching.
jewel; hemispherical scanning; hemispherical mapping sorting; HTML5
1008-8075(2017)01-0065-05
10.13446/j.cnki.jlvu.20170015
2016-10-13
赖俊涛(1990-),男,助教,主要从事珠宝营销与互联网方面研究。
福建省教育厅课题;黎明职业大学规划项目(LZ2015108)
TU 502.6
A