基于尺度金字塔标定的摄屏图像重构算法

陈申渭 马汉杰 冯杰 许佳立

摘要：为使数码相机直接拍摄电子显示屏获得更清晰的摄屏图像，提出一种基于液晶点物理结构与原始像素点映射的空间重构算法。该算法通过改进的尺度金字塔标定采样的液晶结构特征，并利用基于区域关系的向量内积插值算法恢复颜色通道。算法将图像重构至原始尺寸，在保留原始图像信息的同时过滤高频噪声，避免缩放产生摩尔纹和镜头畸变。实验表明，与传统图像分割算法相比，基于尺度金字塔标定的摄屏图像特征算法运行时间更短，样本提取特征准确度达到99.99%。其重构图像与原始图像的直方图相似度达到85%，远高于摄屏图像与原始图像36%的相似度，同时消除了镜头畸变与缩放类摩尔纹。

关键词：图像金字塔;图像滤波;图像重构

DOI： 10. 11907/rjdk.191806

开放科学（资源服务）标识码（OSID）：

中图分类号：TP317.4

文献标识码：A

文章编号：1672-7800（2020）004-0234-04

0 引言

数码相机通过（光）电荷耦合器件CCD/COMS感光矩阵接收光学镜头传递的影像，替代原有胶片相机的感光胶片位置，使图像数字化得到长足发展[1]。随着科技进步，数码相机取代了传统胶卷相机的垄断地位，并搭载智能手机，成为信息化时代标志性产品之一[2]。同时，显示技术快速发展，LCD（ Liquid Crystal Display）液晶显示屏取代CRT显示器（阴极射线显像管）成为主流，作为主要电子输出设备应用广泛，开创了显示领域新时代。无论是主流的LCD、LED（Light Emitting Diode，发光二极管）液晶技术，还是新兴的DLP（Digital Light Processing）激光投影显示技术，均通过一个或多个微小的单元格组成像素，通过矩阵排布组成完整屏幕画面。该特性被定义为屏幕分辨率，屏幕分辨率直接反映屏幕精密度[3]。相较于快速发展的数码相机像素，主流计算机显示器屏幕分辨率仍停留在原来规格上[4]。

在日常生活中，用户常直接利用数码相机拍摄液晶屏幕画面，获取并传递屏幕画面文字信息，尤其是被封装的设备无法通过正常数据传输的方式获得屏幕信息时，往往通过数码相机拍摄电子屏幕捕捉信息，该方法极大程度上便利了信息存储与交流[5]。但数码相机和电子屏幕的物理特性使摄屏图像在场景拍摄时过采样显示器液晶结构，在屏幕输出时又由于图像过大而进行下采样，因此造成诸如相机标定、空间转化、摩尔纹、不同终端设备的图像缩放等不可避免的问题[6-7]。

在数码相机采样与电子图像成像过程中，图像信号频率与采样频率失调引起的图像失真现象引起了学者关注[8-9]。研究发现可通过光学处理幕去除LED显示屏摩尔纹，即在LED显示屏表面叠加一层光学处理幕，该幕由特定比例的特殊吸光材料与表面微珠透镜涂层组成，通过光学处理幕放大显示离散的LED发光点，改善LED显示屏表面物理结构，使LED显示屏由点发光转换成面发光，最终在光学处理幕表面形成连续的高清晰图像，消除摩尔纹[10]。

摩尔纹是由于不同物体之间发生波的干涉现象产生的，而波在干涉时受到频率、振幅和方向等因素影响。因此可通过改变拍摄对象与感光元器件的空间频率、振幅、距离和方向消除摩尔纹[11-12]。然而在数码摄像上简单地改变相机角度、相机位置、焦点、镜头焦长已不足以面面俱到，同时违背了产品智能化的设计理念。

本文针对摄屏图像的重构算法与传统图像插值及超分辨率重构的不同，提出基于尺度金字塔标定的摄屏图像重构算法。该算法针对摄屏图像的独特性质，一方面通过先验的液晶屏幕物理结构，在滤波算法基础上通过尺度金字塔提取图像特征信号模型，进而完成空间重构[13-14];另一方面通過对相机采样的先验知识，利用改进的插值算法，有效抑制物理结构带来的噪声干扰，获得色调还原度与细节保存较好的重构图像[15]。同时重构图像还可克服镜头畸变[16]和拍摄角度倾斜引起的相机标定问题[17]。算法通过图像直方图相似度，可清晰、准确地判别出重构图像的空间结构，并使颜色接近于被采样图像[18-19]。

1 摄屏图像形成与还原

摄屏图像的形成过程复杂，被采样的摄屏图像具体形成过程如图1所示。首先原始图像信息作为数字信号存储于电子存储设备中，通过显示设备转换为光信号输出;然后在世界坐标系中转换为光信号，使原始图像信息与环境信息相交融，之后在转化至相机坐标系的过程中，又受相机采样分辨率、光学效应、白平衡等相机成像因素影响进一步失真;最终再转换为数字信号存储于数码相机内存中，形成本文描述的摄屏图像[20]。

通过拍摄屏幕获取的目标信息实际并不是摄屏图像，而是在显示设备输出时的原始图像。然而经过图1所示的复杂过程后，摄屏图像与原始图像已有显著差异。首先是图像尺寸和数据大小，目前主流的智能手机摄像头已达到千万像素，而主流的显示摄屏依旧停留在1920*1080左右，当仅对屏幕的一部分进行采样时，其尺寸差异进一步拉大，往往一张在计算机内存中几KB压缩格式的原始图像经过摄屏操作后，得到几十MB大小的位图格式的摄屏图像;其次是图像结构发生变化，相机采样的实质并非原始图像，而是承载原始图像光信号的液晶点矩阵，这使相机过采样液晶点物理结构信息，这些结构形成了周期性高频信号并在缩放过程中造成摩尔纹现象;最后受屏幕模式、相机模式、环境光等多种复杂因素的影响，使摄屏图像与原始图像之间的颜色产生极大失真。

本文设计思路是通过解决空间结构还原与颜色通道还原两方面的问题，使摄屏图像重构还原接近原始图像水平。算法流程如图2所示。

2 算法实现

2.1 摄屏图像与原始图像的空间映射

通过改进尺度金字塔提取两个方向的图像高频信号特征，利用两个方向上的映射重组建立信号模型，在重构图像的具体过程中，先重构图像空间矩阵，再恢复像素值插值。

在图像空间重构过程中，需计算从大小为m×m的原图像g到大小为nxn的目标图像h的空间非线性映射φ。引人大小为mxn的过度图像t，将映射φ拆解为从g到t的竖直方向映射φ1与从t到h的水平方向映射φ2。

h=φ（g）=φ2（t）=φ2（φ1（g））

（1）

通过内积操作，自适应地增大高灰度值采样点的权重，合理规避液晶点间隙带来的颜色质量干扰，同时削弱图像分割引起空间映射的误差。实际算法实现时，内积法计算前不需要先验区域的长度T，可大幅降低算法时间复杂度。

2.2 基于尺度金字塔的特征标定

如图4所示，本文改进的尺度金字塔不同于传统图像金字塔。算法保持一个方向尺度不变的情况下，构建分辨率逐级降低的两个图像合集，通过低通滤波尽可能削弱相切方向的高频信号干扰，从而将摄屏图像的网状特征信号分离成两个相切方向的特征信号，构建液晶点区域与像素点的空间映射关系。

如图5所示，在摄屏图像偏转角度允许的范围内，尽量压缩图像，通过图像金字塔低通滤波算子削弱噪声，以提取连续稳定的图像特征;然后，将特征信号模型恢复至原图大小，获得两个相切方向的高频信号模型，进而完成空间映射的计算。

受限制于特征条纹的偏转角度限定，理论最优状态是图像中特征条纹最大偏转角度为45°，否则将由于过度下采样造成待提取特征信号缺失。本文算法通过在图像高频信号的周期领域内取灰度极小值点，从而标定液晶点间隙对应的高频特征信号。

3 实验结果与分析

实验以50张分辨率为3 024*3 024且对应原始图像为525*525的摄屏图像作为样本集，其最大偏转角度控制在10°以内。如图6所示，摄屏图像通过本文重构算法还原至原始图像尺度，并消除了高频噪声干扰，直方图相似度达到85%左右，远高于摄屏图像和原始图像36%的直方图相似度与传统缩放算法和原始图像40%的直方图相似度。如表1所示，实验利用各级尺度金字塔提取图像特征，图像收缩尺度越大，则过滤噪声信号越明显、识别度越精确，重构图像与原始图像的直方图相似度越高;但当过度收缩时，由于单一尺度收缩图像使偏转角度被过度放大，造成有效信号丢失。

4 结语

本文通过重构摄屏图像，使其尺寸和空间结构达到原始图像水平，不仅可解决摄屏类图像分辨率过大的问题，同时基于空间映射的颜色通道插值恢复算法抑制了液晶点物理结构带来的噪声干扰，消除了过采样液晶点间隙形成的高频周期信号，从而避免了缩放后产生摩尔纹的问题。此外，图像空间映射过程中对液晶点单元的标定使重构图像严格按照显示屏像素点逐行逐列排布，解决了图像拍摄角度倾斜、相机镜头光学畸变等图像偏转问题。

数码相机与电子显示屏的技术突破，通过拍摄屏幕获取信息的方法愈加常见。本文算法将摄屏图像重构为实际需求的原始尺度图像画面，更贴近用户实际需求，对封装的电子显示设备（如柜台机、广告屏）更具有现实意义与实用价值。

参考文献：

[1] 贾志科，崔慧娟，唐昆.彩色数字照相机的设计[J].电视技术，2000（ 11）：15-17.

[2] 侯雨石，陳永飞，何玉青，等.数码相机原理与系统设计研究[J].光学技术，2002（5）：452-454+458.

[3] 李继军，聂晓梦，甄威，等.显示技术比较及新进展[J].液晶与显示，2018，33（1）：74-84.

[4] ALONG.超清晰体验-2K分辨率手机导购[J].电脑知识与技术·经验技巧.2017（2）：75-77.

[5] 牛春梅.朋友圈的“屏摄”，别再觉得美了[N].北京日报，2019-05-10（ 011）.

[6] 刘芳蕾.基于图像分解的纹理图像摩尔纹消除方法[D].天津：天津大学，2017.

[7] 向祖权.大尺寸LCD图像引擎的关键算法与前端设计[D].武汉：华中科技大学，2008.

[8] 陈凡.数字放映机使用维护小知识——数字放映出现“摩尔纹”怎么办[J].现代电影技术，2016（7）：52.

[9]

SCHOBERL M， SCHNURRER W， OBERDOORSTER A. et al. Di-mensioning of optical biref ringent anti-alias filters for digital cameras[C]. Hong Kong： 2010 17th IEEE International Conference on ImageProcessing，2010.

[10] 栗小斌.LED显示屏摩尔纹的消除方法[J]。演艺科技，2013（8）：44-47.

[11]佘波，王文彬，张婷婷.无人机航拍镜头中摩尔纹产生的原因及解决方法[J].影视制作，2017，23（2）：42-45.

[12]傅庆健.电视演播室摄像的摩尔纹现象探究[J].影视制作，2014，20（ 7）：34-37.

[13] 周全，张荣，尹东.基于高斯金字塔的遥感云图多尺度特征提取[J].遥感技术与应用，2010，25（5）：604-608.

[14] 苏衡，周杰，张志浩，超分辨率图像重建方法综述[J].自动化学报，2013， 39（8）：1202-1213.

[15]钟宝江，陆志芳，季家欢.图像插值技术综述[J].数据采集与处理，2016，31（6）：1083-1096.

[16]张敏，金龙旭，李国宁，等.基于直线特征的摄像机镜头畸变标定方法[J].光学学报，2015，36（6）：185-193.

[17]谭晓波.摄像机标定及相关技术研究[D].长沙：国防科学技术大学，2004.

[18]李大鹏，禹晶，肖创柏.图像去雾的无参考客观质量评测方法[J].中国图象图形学报，2011，16（9）：1753-1757.

[19] 汪启伟.图像直方图特征及其应用研究[D].合肥：中国科学技术大学，2014.

[20] 李郁.关于数码相机图像传感器的工作原理[J].高等继续教育学报，2002，15（5）：20-23.

（责任编辑：江艳）

作者简介：陈申渭（1994-），男，浙江理工大学信息学院硕士研究生，研究方向为计算机视觉、图像处理;马汉杰（1982-），男，博士，浙江理工大学信息学院副教授、硕士生导师，研究方向为计算机视觉、多媒体传输。本文通讯作者：马汉杰。