物联网可定位光场相机控制方法

摘 要：光场相机由于其自身不需要对焦的优势在很多行业都得到了广泛应用。但是光场相机还没有实现对目标的定位和精确查找，限制了光场相机在当今物联网时代的发展。为了实现光场相机的精确定位和目标精密查找功能，使光场相机能够给工业生产、工业元宇宙、仿真工厂等行业的发展提供便捷的工具性服务，本文将光场相机的三维成像技术与通信装置、指南针、三轴陀螺仪、定位装置以及光场相机控制系统相融合，应用OCR文字识别功能和图像查询功能，实现对所拍摄物体进行精准三维图像合成以及所在图像的精确定位，并且在工业4.0的机器人车间精确展示出用户当前所处的位置及当前位置周边设备的分布，为设备的维修、管理等提供图片参考。该方法可以为工业生产、工业元宇宙、仿真工厂等的发展提供丰富的底层数据基座，推动我国工业新制造的发展。

关键词：物联网；可定位；光场相机；三维照片；数字孪生地图；三维深度信息

中图分类号：TP39；TB879 文献标识码：A 文章编号：2095-1302（2024）02-00-04

0 引 言

在制造业的自动化、数字化、智能化转型过程中，需要应用大量的机器视觉和物联网相关技术，物联网可定位光场相机可被广泛应用于工业设备监测、故障诊断、故障维修中，对拍摄物体进行三维图像数据合成并进行精确定位，还能支持文字查询、图像搜索等功能，可在机器人车间精确展示出用户当前所处的位置及当前位置周边设备的分布，为设备的维修、管理等提供参考。

1 概 述

光场相机是“先拍照后对焦处理”的相机，光场相机吸收照射进相机的瞬间光线，测量场景内的所有光线，然后重造三维光场，对场景进行还原。在这个过程中，光场相机收集光线，并将其转化为多个1和0，再针对不同用途对数据进行处理。光场相机的核心在于两部分，即光场感应器（硬件设施）和光场引擎驱动（软件支持），前者类似于苍蝇的复眼，能够将场景中所有光线的波长、强度和方向一一扑捉，而后者则主要为后期图像制作提供支持。

随着物联网的不断发展，普通相机已不能满足当今物联网的需求，光场相机由于其自身不需要对焦的优势在很多行业都得到了广泛应用。但是，目前光场相机的应用主要针对普通大众消费领域，例如3D效果和动画效果制作等，而对于物联网中目标的精确查找与定位还不够“智慧”。例如，德国RAYTRIX 3D光场相机的具体实现方法为：先将光场相机安装好，再拍摄照片并列印，并将需要定位的目标物体在打印出的照片中标出，使得目标物体在照片中的位置与实际物理位置对应，从而实现需要定位的目标物体的实际物理位置与照片中的位置对应。然而，上述方法费时费力，并且精确度不高。

物联网可定位光场相机结合定位功能及指南针、陀螺仪等对拍摄照片中的物体进行定位，能够精确确定每一物体在所拍摄照片中的精确位置，能实现3D照片及照片地图等的合成。此外，还结合ORC文字查询功能及图像识别、图像搜索查询等功能，实现物体定位的智能化，方便用户快速查找需要定位的目标物体并根据目标物体在照片地图中的位置确定该物体的实际物理位置。

2 物联网可定位光场相机实现方法

光场相机能够记录三维空间中光线的位置和角度信息，重建场景的三维深度信息[1]。光场的概念最早由Gershun[2-3]提出，用以描述光在三维空间中的辐射传输特性。Ng等[4]在主镜头和相机成像探测器之间放置微透镜阵列，研制出光场相机，实现了单相机的光场获取，但是这种传统光场相机的分辨率较低。Georgiew 等[5-6]提出了光场相机2.0的设计，也称为聚焦光场相机。聚焦光场相机的成像探测器不在微透镜阵列的焦面上，减少了光线方向维度的采样，用较低的方向分辨率换取相对更高的空间分辨率，有效提高了重聚焦图像的成像分辨率。

物联网可定位光场相机由存储器、处理器、通信装置、指南针、三轴陀螺仪、定位装置以及光场相机控制系统组成，详细如图1所示。

指南针用于在光场相机拍摄照片时测量物联网可定位光场相机的拍摄方向。三轴陀螺仪用于在物联网可定位光场相机拍摄照片时测量物联网可定位光场相机的拍摄角度。处理器用于获取物联网可定位光场相机拍摄的多张照片及物联网可定位光场相机拍摄每一照片时的拍摄方向及拍摄角度，并根据每一照片的拍摄方向及拍摄角度将多张照片合成为三维照片。光场相机的处理器还包括识别模块，用于识别物联网可定位光场相机拍摄的照片上的文字，将照片上的文字转换成可编辑文本，并将可编辑文本与其对应的照片关联。处理器上还包括图片识别模块，可根据使用者输入的图片从物联网可定位光场相机所拍摄的照片中搜索出与该使用者输入的图片相匹配的照片。定位装置用于对物联网可定位光场相机所在位置进行定位。物联网可定位光场相机还包括通信装置，用于实现物联网可定位光场相机与远端服务器之间的连接。

南京大学的张益昕认为[7]三维照片形成的方法是，首先采用高曝光图像峰值检测法对微透镜阵列中心进行标定；然后利用标定得到的中心坐标数据对原始光场数据进行重映射得到4D光场；最后利用重积分与基变换的方法对获取的4D光场数据进行处理，获得光场重聚焦图像。接下来采用交互式方法分割出场景中纹理较为复杂的部分；然后利用散焦深度图结合分割出的场景重新定义原始场景的深度范围；最后采用光场图像散焦与相关性结合的方法得到量化级为256的深度图。这里重新定义的深度范围实质就是光场图像的重聚焦范围。利用该方法在不增加深度生成时间的情况下，提高了深度图的整体质量，有利于对生成的深度图像进行后期处理与应用。

利用光场原始图像进行数字重聚焦获取多幅不同深度的散焦图像；再利用散焦方法生成一幅简单的深度图像；最后利用深度图像确定每幅散焦图像的具体聚焦位置以进行最后的全聚焦图像生成。该方法突破了传统基于图像融合的全聚焦图像生成算法的限制，能够准确找出散焦图像的聚焦区域，进行全聚焦图像生成。

光场相机拍摄照片时控制光场相机上一定位装置对光场相机所在位置进行定位；获取光场相机拍摄每一照片时的位置信息，并根据每一照片的拍摄位置、拍摄方向及拍摄角度将多张照片合成一三维照片地图。光场相机拍摄照片上的文字，将照片上的文字转换成可编辑文本，并将可编辑文本与其对应的照片关联。另外，根据使用者输入的图片从光场相机所拍摄的照片中搜索出与该使用者输入的图片相匹配的照片。

物联网可定位光场相机不仅能够精确确定物体在所拍摄照片中的精确位置，实现照片地图等的合成，通过结合ORC文字查询及图像识别、图像搜索查询等功能，还可实现物体定位的智能化，方便使用者快速查找需要定位的目标物体，并根据目标物体在照片地图中的位置确定该物体的实际物理位置，如图2所示。

3 物联网可定位相机实现流程

物联网可定位光场相机用于特定场所，例如超市、生产车间、停车场、仓库等空间内进行拍摄。图3是物联网可定位光场相机控制方法的步骤流程。

南京信息工程大学的钱蕾认为[8]，不采用三角测量方式的测量方法局限于纵深物体的测量。也有人提出多相机系统的方式，即一个相机采集不到，别的相机能采集到。理论上，相机越多，最终结果完整性就越好，然而系统会变得越来越复杂，系统耗费更大。本文所用的光场相机的一次拍摄能够获取比传统的CCD（Charge-Coupled Device， CCD）相机更加丰富的角度信息。我们通过将传统结构光系统中的CCD相机替代为光场相机，构建新的结构光系统，将采集的多角度图片生成的数据采取合适的方法融合，能够一定程度上获得比传统结构光系统更加完整的三维数据。

三维照片地图是指具有地图功能的三维照片，光场相机拍摄照片时控制定位装置对光场相机定位，从而获取光场相机的位置信息和相对定位信息，例如工业4.0机器人车间某一编号的机器人机械手臂的末端等。根据照片的拍摄位置、拍摄方向及拍摄角度将多张照片合成为真实场景下的，符合实际位置、方向及角度的三维光场地图，也可称其为三维光场数字孪生地图。

在合成的三维光场数字孪生地图上，将照片上的文字内容转换成可编辑文本并将可编辑文本与其对应的照片关联，便于用户根据文字信息搜索照片。本文在文字信息搜索中采用光学字符识别（Optical Character Recognition， OCR）技术识别照片上的文字内容并将文字内容转换为可编辑文本。

（1）控制模块在物联网可定位光场相机拍摄照片时发送控制指令控制物联网定位，指南针测量物联网可定位光场相机的拍摄方向，控制物联网可定位三轴陀螺仪测量物联网可定位光场相机的拍摄角度。

（2）获取模块获取物联网可定位光场相机拍摄的多张照片及物联网可定位光场相机拍摄照片时的拍摄角度及拍摄

方向。

（3）合成模块根据照片的拍摄方向及拍摄角度将多张照片合成为三维照片。

（4）控制模块在物联网可定位光场相机拍摄照片时控制物联网可定位装置对物联网可定位光场相机的拍摄位置进行

定位。

（5）获取模块获取物联网可定位光场相机拍摄照片时对应的位置信息。

（6）合成模块根据照片的拍摄位置、拍摄方向及拍摄角度将多张照片合成为三维照片地图。

（7）文字识别模块识别物联网可定位光场相机拍摄的照片上的文字，将照片上的文字转换成可编辑文本并将可编辑文本与其对应的照片关联。

（8）图片识别模块用于从物联网可定位光场相机所拍摄的照片中搜索出与该用户输入的图片相匹配的照片。物联网可定位控制模块还可根据输入的图片确定该图片在物联网可定位三维照片地图上所处的位置，并将物联网可定位位置标示出来。

4 物联网可定位相机的物联网功能

本物联网可定位通信装置用于实现物联网可定位光场相机与其他光场相机或远端服务器之间的通信数据传输，物联网可定位通信装置可以是蓝牙模组、WiFi模组、ZigBee模组等。

假定该模块用来检测产线的各设备是否正常运行，多个WiFi数据兼精确定位模块发数据给云端数据存储服务器，云端数据存储服务器根据接收的多个WiFi数据兼精确定位模块判断检测各设备是否正常运行，若发现某个设备的部件出现故障，例如模块2设备出现故障，则将模块2的位置信息发给云端位置存储服务器，将所有拍摄的光场实物、3D图像等进行定位，生成光场地图，进行文字/图片查询，辅助实现实际导航功能。

云端位置存储服务器查询并传回模块2设备的精确光场图片，包括设备详细的3D光场照片和设备周围的详细3D光场照片，用于测算设备间的距离、判断设备的结构及其复杂性、确定设备的检修方法和检修工具以及检修路线，如图4所示。

物联网可定位三轴陀螺仪在物联网可定位光场相机拍摄照片时用于测量物联网可定位光场相机的拍摄角度，物联网可定位装置用于在物联网可定位光场相机拍摄照片时对物联网可定位光场相机所在位置进行定位，物联网可定位装置可以是GPR定位模组，也可以是室内精确定位装置。例如，采用谷歌室内定位技术、诺基亚室内定位技术、博通室内定位技术、IndoorsAtlas室内定位技术、Qubulus室内定位技术的装置。

物联网可定位控制模块还可控制物联网可定位通信装置将物联网可定位光场相机拍摄的照片发送至其他光场相机或远端服务器，方便用户在远程服务器端根据物联网可定位光场相机拍摄的照片了解拍摄现场的情况。在物联网可定位光场相机中，多个光场相机均可与远端服务器通信，并将拍摄的照片及获取的照片信息发送至物联网可定位远端服务器，物联网可定位远端服务器根据物联网可定位多个光场相机拍摄的照片进行三维照片地图的合成。

5 结 语

伴随着工业4.0的发展以及制造业的自动化、数字化、智能化转型，需要应用机器视觉和物联网相关技术，尤其在工业设备监测、故障诊断、故障维修过程中，物联网可定位光场相机可以实现对整个区域内所有物体的精确定位，还能支持文字查询、图像搜索等功能，可在工业4.0机器人车间精确展示用户当前所处位置及当前位置周边设备的分布，为设备的维修、管理等提供参考。

物联网可定位光场相机及其控制方法能够应用于室内、室外的精确拍摄定位，可以给工业生产、工业元宇宙、仿真工厂等制造业的发展提供丰富的底层数据基座，推动我国工业智造的发展。

参考文献

[1]张春萍，王庆.光场相机成像模型及参数标定方法综述[J].中国激光，2016，43（6）：0609004.

[2] GERSHUN A.The light filed [J]. Journal of mathematics and physics，1939，18（1）：51-97.

[3] ADELSON E H，WANG J Y A.Single lens stereo with a plenoptic camera [J]. IEEE transactions on pattern analysis amp; machine intelligence，1992，14（2）：99-106.

[4] NG R，LEVOY M，BREDIF M，et al.Light field photography with a hand-held plenoptic camera [J]. Computer science technical report，2005，2（11）：1-11.

[5] GEORGIEW T，LUMSDAINE A. Focused plenoptic camera and rendering [J]. Journal of electronic imaging，2010，19（2）：0211061.

[6] LUMSDAINE A，GEORGIEW T. The focused plenoptic camera [C]// 2009 IEEE international conference on computational photography sanfrancisco America，2009（15）：1-8.

[7]孙俊阳，孙俊，许传龙，等.一种基于光场图像的聚焦光场相机标定方法[EB/OL].http：//www.doc88.com/p-1187437105888.html

[8]张益昕.基于计算机视觉的大尺度三维几何尺寸测量方法及应用[D].南京：南京大学，2011.

[9]钱蕾.基于图像序列的三维重建技术研究[D].南京：南京信息工程大学，2011.

[10]刘玉轩，张力，艾海滨，等.光场相机三维重建研究进展与展望[Z].10.12263/DZXB.20211615.

[11]孙俊阳，孙俊，许传龙，等.一种基于光场图像的聚焦光场相机标定方法[Z].10.3788/AOS201737.0515002.

[12]吕斌，裴承全，田进寿，等.基于物联网的智能化条纹相机控制系统的研制[J].光子学报，2017，46（5）：80-87.