人眼凝视点自适应的近眼显示控制器

季 渊，陈远生，宋远胜，陈文栋，穆廷洲

（1.上海大学微电子研究与开发中心，上海200444；2.上海大学机电工程与自动化学院，上海200444）

1 引 言

近眼显示也称头戴式显示，主要包含微显示器和光学显示装置［1-2］。其中，微显示器作为显示源。微显示器显示的图像通过光学显示装置后，形成放大的虚拟图像，实现虚拟场景的模拟［3］。近眼显示在军事、教育、航天和娱乐等方面均有广泛应用［4-7］。随着用户对沉浸式体验和交互性要求的提升，近眼显示器需要具备显示高分辨图像、设备质量轻、图像渲染时延小等要求。高分辨率和高刷新率，导致传输数据量的激增。若直接传输高分辨率图像，则为数据的传输和存储带来挑战，并且一般的硬件电路难以达到该传输要求。

人眼在获取外界信息时，对图像信息的采集呈现非线性，凝视区采样密度较高，非凝视区采样密度较低［8］。借助人眼视觉系统中存在凝视区和非凝视区对细节分辨能力强弱的生理特性，对图像数据进行压缩。Tan等［9］人提出具有两个显示面板和一个光学组合器的多分辨率集中式显示器，通过光学缩小系统在凝视区提供超高分辨率图像，非凝视区提供低分辨率图像，有效降低了近眼显示器中的像素颗粒感和纱窗效应。Chang等［10］人提出一种基于人眼中心凹的3D全息图像渲染方法，加速全息近眼3D显示器全息图像的渲染速度，将目标图像渲染为高分辨的凝视区和低分辨率的非凝视区，有效降低基于迭代的双步菲涅耳算法的运算量。Zhao等［11］人提出了一种采用视觉特征整合的弱小目标检测方法，有效解决红外光学系统在复杂背景下的弱小目标检测的问题。Zhao等［12］人结合多尺度视觉显著性，提出了一种适用于复杂背景的舰船目标检测方法，有效克服了复杂背景对舰船目标检测的干扰。近年来提出了基于人眼视觉特性的多分辨率图像融合［13］压缩算法［14］和基于多尺度金字塔的多分辨率图像传输算法［15］，将人眼视觉特性应用于虚拟现实的数据传输领域，有效降低数据传输带宽，但两种算法均未对凝视点变化进行研究。

本文针对此问题，提出一种基于人眼凝视点自适应的中心凹图像传输算法，构建一种压缩比金字塔的硬件实现结构。在符合人眼视觉感知的前提下，对输入的视频源进行压缩，可大幅降低数据的传输带宽，使得近眼显示器在相同的时钟频率下可显示更高分辨率、更高刷新率的视频，提升用户的沉浸式体验。

2 中心凹图像传输

人对图像信息的感知主要由视觉感知系统和心理因素共同作用下形成。人眼中心凹和经典观看模型表明，人眼无法感知图像中的所有信息，人眼在凝视区采样密度较高，对细节的分辨能力强；非凝视区采样密度较低，甚至出现“视而不见”的现象。因此，可构建一种基于人眼凝视点自适应的中心凹图像传输算法，通过建立包含压缩比和像素距离的压缩比金字塔，模拟人眼凝视点变化的效果。

2.1 人眼中心凹模型

在人类视觉系统特性的基础上提出视敏度，借此表征人眼分辨物体细节的能力，刻画人眼能够观察或感知刺激的细微程度。人眼视网膜上感光细胞的分布呈现不均匀的状态，在中心凹区域密度较高，具有较高的视敏度，距离中心凹越远，分布密度越低，视敏度越低。

Geisler等［16］人对大量的生理学实验数据进行研究，得出人眼临界频率fc（cycle/（°））和视角e（°）的关系式，如公式（1）所示。

其中：空间频率衰减系数常量α取0.106，半分辨率视角常量e2取2.3，最小对比度阈值CT0取0.015 63。图1为视角和人眼临界频率关系曲线，横轴为视角，纵轴为人眼临界频率。

图1 视角和人眼临界频率关系曲线Fig.1 Viewing angle and spatial critical frequency of hu⁃man eye relationship curve

2.2 凝视点自适应模型

为拟合人眼凝视点自适应的效果，需要将人眼中心凹模型应用于图像中。人眼的经典观看模型［17］，如图2所示。设图像尺寸为N×M，图像左下角为坐标轴原点，图像凝视点坐标为Xf（xf，yf），图像中任意像素的坐标为X（x，y），人眼到Xf的距离为N×v，即为视距，X到Xf的距离为d（x，y）=||X-Xf||2。图像上任意像素点所处人眼的视角如公式（2）所示：

图2 经典观看模型示意图Fig.2 Schematic diagram of classic viewing model

定义E=｛ei：iϵℕ+｝为装载e的容器，i属于正整数，ei为第i个视角，该模型中E最多包含N×M个e。显然，Xf-1和Xf+1求解e的数值一样。因此，若计算所有像素对应的e，则将增加冗余数量且存在大量浮点数运算。为了降低运算量，提出一种十字形距离判别法。十字形距离判别法示意图，如图3所示（彩图见期刊电子版）。图中红色圆圈表示凝视点Xf，其中，Xf到图像右、上边界的距离分别记为dx，dy。定义dmax为Xf到图像四条边界的最大距离，即dmax=max｛dx，dy，xf，yf｝。dmax对应像素个数最多，涵盖的视角范围最广。可将E表示为：

式中，E中包含观看图像所需的e且数值互异。同理，不同凝视点通过十字形距离判别法可获得不同的容器E。

图3 十字形距离判别法示意图Fig.3 Schematic diagram of cross-shaped distance dis⁃crimination method

以分辨率为1 600×3×1 600的图像，并且视距等于2为例，采用MATLAB软件绘制出凝视点自适应的视敏度曲线，如图4所示。图中xoy平面表示图像坐标平面，纵轴表示人眼临界频率，凝视点为（400，400）。

图4 凝视点自适应的视敏度曲线Fig.4 Gaze point adaptive visual acuity curve

为了模拟人眼在凝视区与非凝视区对细节分辨能力强弱的生理特性，使用高斯滤波去除图像中人眼无法感知的高频信息。根据文献［18］，可知空间变化的高斯核σ和人眼临界频率fc的数学关系式，如公式（4）所示。

其中：F为常数45，σ为衡量图像模糊程度的参数，σ越大图像的模糊程度越高，反之越低。分析公式（4）可知，fc越大，σ越小，即获取图像信息量大，图像模糊程度低。采用不同大小的高斯核σi对原始图像进行滤波处理，获得不同模糊程度的图像Gi（x，y），如公式（5）所示：

其中：SRC（x，y）为原始图像，G（x，y，σi）为窗口大小不同的高斯卷积模板，Gi（x，y）为经过高斯核σi处理的图像。

双线性插值图像缩放法的核函数为一个低通滤波器，可去除高频信息［19］。由于人眼在非凝视区对高频信息获取能力弱，因此采用双线性插值图像缩放法对原始图像进行处理，获得不同模糊程度的图像SRCRj（x，y）。其中，SRCRj（x，y）为SRC（x，y）先进行Rj倍缩小，再进行Rj倍放大后的图像。Rj为第j个压缩比，j为不同压缩比的下标。

峰值信噪比可衡量待评价图片与参考图片的相似度，数值大表明两者相似度高。因此，采用峰值信噪比衡量Gi（x，y）和SRCRj（x，y）的相似度，如公式（6）所示。通过确定Gi（x，y）与SR⁃CRj（x，y）峰值信噪比的最大值，实现σi和Rj的关联。

其中：n为图像的灰度等级，PSNRi，j为Gi（x，y）和SRCRj（x，y）峰值信噪比。

定义dk=COUNT（σi，Rj）为计算相同压缩比Rj的σi个数。其中，dk为第k层的像素距离。以分辨率为1 600×3×1 600的图像，并且视距等于1为例，利用MATLAB软件绘制出凝视点改变时，像素和压缩比关系图，该关系图反映出人眼临界频率高时，压缩比小；人眼临界频率降低时，压缩比增加，如图5（a）所示。图中横轴为像素，纵轴为压缩比，凝视点坐标为（400，400）。

显然，由于人眼凝视点会发生变化，若凝视点在图像坐标系原点，则dmax=max｛N，M｝，包含dmax个互不相等的视角，借助这一特性绘制出像素和压缩比的极限关系图，如图5（b）所示。图中横轴为像素，纵轴为压缩比，凝视点坐标为（0，0）。由于dk为离散值，因此压缩比呈现台阶状且记为Rk。其中，Rk为第k个台阶的压缩比。图中曲线为符合人眼凝视点自适应的视敏度曲线，灰色台阶表示压缩比。

图5 像素和压缩比的关系图Fig.5 Figure of relationship between pixels and com⁃pression ratio

图6 符合人眼视觉特性图像融合示意图Fig.6 Schematic diagram of image fusion in accordance with human visual characteristics

为了便于硬件实现各个图层像素的存储与传输，因此，图像融合采用“方形”+“回形”的方式。根据dk和Rk，可将各图层融合为符合人眼视觉特性的图像，如图6所示。定义LFk，RFk，UFk，DFk分别表示第k层与原始图像左、右、上、下四个边界的标识量，表征第k层与原始图像边界之间的“触碰”关系。若标识量为1，则表示第k层未“触碰”到原始图像边界。若标识量为0，则表示第k层“触碰”到原始图像的边界。

LLk，LRk，HUk，HDk分别表示凝视点与第k层或原始图像左、右、上、下边界之间的距离，如式（7）～式（10）所示：

图层需要传输的像素总数，如公式（11）所示。

其中：PTk为第k层的像素总数，ΔLL为LLk与LLk-1的差值，ΔLR为LRk与LRk-1的差值，ΔHU为HUk与HUk-1的差值，ΔHD为HDk与HDk-1的差值。

2.3 压缩比金字塔

为降低运算量和硬件结构的复杂度，利用像素和压缩比的极限关系，建立适合硬件处理的压缩比金字塔，如图7所示。

图7 压缩比金字塔示意图Fig.7 Schematic diagram of compression ratio pyramid

压缩比金字塔包含两个参数，分别为第k层对应的压缩比Rk和像素距离dk，记为CRP（Rk，dk）。图像传输部分利用CRP（Rk，dk）中的Rk作为双线性插值图像缩放法的缩小倍数对原始图像做处理，获得中心凹图像，并且选取像素距离dk/Rk作为待传输的像素范围。图像融合部分利用CRP（Rk，dk）中的Rk作为双线性插值图像缩放法的放大倍数对中心凹图像做处理，并且选取像素距离dk作为图像融合的像素范围。当凝视点位于图像中心时，融合原始分辨图像使用CRP（Rk，dk）层数较少；当凝视点在图像坐标系原点时，融合原始分辨图像使用CRP（Rk，dk）层数较多。其中，CRP（Rk，dk）的顶层为P。

3 近眼显示控制器

针对上述基于人眼凝视点自适应的中心凹图像传输算法，设计了一款人眼凝视点自适应的近眼显示控制器。该控制器主要包含自适应编码模块和数据解码模块，系统结构框图如图8所示。首先，视频源经过自适应编码模块后，形成中心凹图像；其次，通过LVDS接口电路将图像数据传输至数据解码模块；再者，数据解码模块对接收到的图像数据进行放大、融合，形成符合人眼视觉特性的图像；最后，由扫描控制模块［20-21］驱动硅基OLED微显示器显示视频。

图8 系统结构框图Fig.8 Structure diagram of system

3.1 自适应编码模块

自适应编码模块主要包含双线性插值缩小模块、压缩比模块、像素区域分析模块和SDRAM控制器模块，如图9所示。首先，结合压缩比模块和双线性插值缩小模块对输入视频数据进行编码处理，形成多张不同分辨率的图层。Layer1～LayerN由输入图像经过压缩比R1～Rn的双线性插值法获得。其次，通过SDRAM控制器模块和像素区域分析模块，选取各图层中对应像素距离内的像素写入SDRAM中。为提高读写速度，两片SDRAM采用乒乓操作，即同一时间段内SADRAM_A存储图像数据时，SDRAM_B读取需要发送的图像数据。最后，通过LVDS接口电路依次输出SDRAM存储的图像数据。

图9 自适应编码模块结构框图Fig.9 Structure diagram of adaptive coding module

3.2 数据解码模块

数据解码模块主要包含双线性插值放大模块、压缩比模块和像素位置分析模块，如图10所示。首先，通过压缩比模块和双线性插值放大模块对各图层进行放大处理，填补由编码模块中压缩的像素数据。将接收到Layer1～LayerN的图层分别放大R1～Rn倍。其次，通过像素位置分析模块确定像素在Frame Buffer的空间地址，将不同图层的像素依次存放于Frame Buffer对应的空间地址中。最后，融合成符合人眼视觉特性的图像，并通过扫描控制模块驱动硅基OLED微显示器显示视频。

图10 数据解码模块结构框图Fig.10 Structure diagram of data decoding module

4 FPGA验证平台

图11 近眼显示器系统测试平台Fig.11 Near-eye display system test platform

本节采用硅基OLED微显示器测试平台，对所设计的近眼显示控制器进行验证。图11为近眼显示控制器测试平台，包含视频源、近眼显示控制器和硅基OLED微显示器。视频源由计算机提供，通过HDMI接口传输至近眼显示控制器。硅基OLED微显示器的尺寸为1.15英寸，分辨率为1 600×3×1 600，采用数字驱动方式，灰度级为256级。

将不同视距、不同凝视点的微显示器实拍图分为两组，第一组是视距分别为2，3，4，第二组是固定视距且视距为2，凝视点分别在屏幕的中心、左下角、左上角，如图12所示（彩图见期刊电子版）。其中，图12（a）、（e）为原始图像，图12（a）～（d）为第一组，图12（e）～（h）为第二组，图中红色小圆圈表示凝视点（彩图见期刊电子版）。观察第一组四张图像可知，随着视距增大，凝视区增大，获得信息量增加，图像清晰度提高。观察第二组四张图像可知，凝视区成像清晰，以凝视点为中心向外模糊程度逐渐增加。

图12 基于人眼凝视点自适应微显示器的实拍图组Fig.12 Real-shot picture group based on human eye gaze point adaptive microdisplay

综合压缩比定义为原始图像的像素总数与各图层像素总数的比值。采用中心凹峰值信噪比FPSNR［22］作为图像的定量评价指标，对不同视距的图像进行评价，并给出定量指标。以分辨率为1 600×3×1 600的图像为例，在不同视距、不同凝视点下采用本文方法得到的综合压缩比和FPSNR对比结果，如表1-2所示。其中，表1凝视点为（800，800），表2凝视点为（0，0）。从表中可以看出，当视距增大时，综合压缩比减小，传输数据量增加，FPSNR提高，图像质量提升。当视距为2且凝视点为（800，800）和（0，0）时，待传输像素总数分别为原始图像像素总数的8.16%、2.33%，大幅地降低数据传输带宽。

以分辨率为1 600×3×1 600，凝视点为（800，800），视距为2，3，4为例，将本文所提算法的综合压缩比与基于多分辨率融合的纹理金字塔压缩算法、基于多尺度金字塔的压缩算法进行对比，如表3所示。从表中可以看出，本文算法相较于基于多分辨率融合的纹理金字塔压缩算法和基于多尺度金字塔的压缩算法综合压缩比有明显地提升。

表1 凝视点为（800，800）时，不同视距下综合压缩比和FPSNR对比（N=1 600，灰度级=256，数据位宽=24 bit）Tab.1 When the gaze point is（800，800），the comprehensive compression ratio and FPSNR comparison under different sight distances（N=1 600，gray level=256，data width=24 bit）

表2 凝视点为（0，0）时，不同视距下综合压缩比和FPSNR对比（N=1 600，灰度级=256，数据位宽=24 bit）Tab.2 When the gaze point is（0，0），the comprehensive compression ratio and FPSNR comparison under different sight distances（N=1 600，gray level=256，data width=24 bit）

5 结 论

本文介绍了一款人眼凝视点自适应的近眼显示控制器。借助人眼中心凹和经典观看模型，提出一种基于人眼凝视点自适应的中心凹图像传输算法，建立压缩比金字塔。在FPGA上验证了所设计的自适应编模块和数据解码模块。实验结果表明基于人眼凝视点自适应的中心凹图像传输算法和所建立的压缩比金字塔，不仅有效降低了数据的传输带宽，而且保证人眼主观感受。该设计为高分辨率和高刷新率近眼显示设备的图像传输提供一种可行性的方案。

表3 凝视点为（800，800）时，不同算法综合压缩比对比（N=1 600，灰度级=256，数据位宽=24 bit）Tab.3 When the gaze point is（800，800），the compre⁃hensive compression ratio comparison of different algorithms（N=1 600，gray level=256，data width=24 bit）

status of immersive virtual reality and its develop⁃ment trend［J］.

Computer Systems & Applications

，2019，28（3）：18-27.（in Chinese）