基于心理视觉调制信息显示的一屏双显电视

唐　麟，朱　晨，黄豫蕾

(上海数据分析与处理技术研究所，上海　201112)



基于心理视觉调制信息显示的一屏双显电视

唐麟，朱晨，黄豫蕾

(上海数据分析与处理技术研究所，上海201112)

随着显示技术的发展，高性能的显示设备对于人眼在时域和空域上产生心理视觉冗余。基于近期提出的基于时域和空域的心理视觉调制信息显示技术，提出了一屏双显电视系统。由于之前提出的显示模型仅考虑相邻两帧或两行之间的影响，显示效果不佳。对时域和空域的心理视觉调制信息显示模型进行了改进，从而使其符合显示设备的显示特性和人眼的感知特性，为裸眼用户和佩戴辅助观看装置的用户提供更好的显示效果。同时，系统也针对安卓系统进行了优化，从而能够更流畅地观看视频。

心理视觉调制；一屏多显；单屏多通道显示；构图基；高分辨率；高刷新率

在多媒体技术主导的信息时代，信息显示的重要性日渐体现，成为了信息技术领域研究与发展的一个热点。随着显示技术的飞速发展，现代市场上的显示设备支持的刷新率可达60 Hz及以上，主流的主动式3D显示器都支持120 Hz、240 Hz甚至更高的刷新率。然而，研究显示在通常情况下，人眼最高能够分辨60 Hz左右的信号，即人眼融合频率为60 Hz。故较高刷新率的显示设备能够播放高于人眼闪烁融合频率的视觉信号，即造成了在时域上的心理视觉冗余。同样，在空域上，目前市场上的主流显示设备分辨率都达到了1 920×1 080。而分辨率为2K(2 048×1 152)、4K(4 096×2 160)的显示技术正在迅速发展。与之对应的，屏幕像素密度也越来越高，苹果公司提出的视网膜屏幕概念更是将屏幕像素密度提升到了300 pixel/in(像素每英寸)及以上。而研究显示，人眼的最高空间分辩率约为30 cpd (cycles per degree)，最敏感空间分辨率约为3 cpd，最敏感时间分辨率约为60 Hz。在一般情况下,更高的像素密度将造成空域上的冗余。

在文献[1]中，武筱林、翟广涛提出了基于时域心理视觉调制的信息显示系统及方法(TPVM)。该方法利用辅助观看装置通过调节从高速显示装置的显示面到人眼的光强传递率,实现对高速显示装置播出的构图基序列的时域幅度调制，从而使一个或多个用户通过该辅助观看装置或无辅助观看装置看到显示设备播放不同的信息/图像。然而现有的技术并未利用基于空域的心理视觉冗余。在文献[2]中，心理视觉调制的信息显示系统被推广到了空域上(SPVM)，通过空域调制的方式充分利用了高分辨率显示设备的视觉冗余和显示信息内容的统计相关性。本文将一组构图基以特定的空间排列在一个高分辨率显示设备上播出。不同于简单的空域复用显示方式中在屏幕上同时显示多个完整图像，任一区域所播放的 SPVM的构图基只是多幅图像共有的组成部分或一幅图像的组成部分。对于裸眼用户，所述构图基组直接进入人眼，并融合成有意义的图像。对于有辅助观看装置的，显示设备所播放的构图基组辅助观看装置进行空域幅度调制，调制后的信息最终通过用户人眼视觉系统在人脑中融合成其所需的图像。基于此技术，还出现了多字幕显示[3-4]、新型可见光通信系统[5]、2D/3D同时显示[6]、隐形二维码显示[7]、医用多视图眼镜[8]、影院防偷拍[9]等应用。

1　时域和空域的心理视觉调制显示模型

如前所述，现有高性能显示设备的多项性能对于人眼视觉系统有限的感知能力来说有着巨大冗余。当通过这些设备播出超过人眼视觉系统分辨能力的视觉信号时，人眼视觉系统的生理特性决定了其将把这些信号在时、空域上进行视觉激励的积分融合。

基于时、空域心理视觉调制的信息显示方法[1-2]，令高性能显示设备以某时域或空域排列播出构图基序列X1，X2，…，XM，其中M为一个正整数。与之对应地，构图基序列经过辅助观看装置不同权重的时域或空域调制，最终融合成图像Y1，Y2，…，YN，N是正整数。而对于裸眼用户，未经调制的空域信号融合成的图像为Y0。

(1)

对于无辅助观看装置的裸眼用户，其视图为所有未调制的构图基组的叠加，即

(2)

式中：0≤Xj≤255。

在实际系统实现过程中，已知需要最终在人眼视觉系统中融合成的目标感知图像Y，根据佩戴辅助观看装置或裸眼用户的调制权重W的约束，求解出在显示设备上需要播放的构图基序列X。这一过程即为视觉信号的分解。

如果用一个线性加权模型来模拟视觉融合的积分过程，则显示信号及控制信号的求解问题可以转化为一个矩阵分解问题。实际应用之中，由于显示设备所发出的光信号亮度以及观看设备的透光率均非负，上述过程实际成为一个非负矩阵分解(Nonnegative Matrix Factorization，NMF)问题。

故根据前述的融合特性，此时的非NMF问题可以表述为

(3)

(4)

得到充分满足。

目前最经济适用的透光率控制装置是液晶(LC)器件，LC材料的物理特性决定了其在室温状态下最高开关频率仅为数百赫兹，大大落后于显示设备的工作速率。在此条件下，一种降低调整速率对系统不利影响的方法是让控制LC状态切换的同步信号在时序上尽可能稀疏，即状态改变数尽可能少，从而缩短主LC开关的响应间隔。这意味着让调制权重矢量尽可能含有少量非零值，因此本文可以进一步增加一个稀疏约束并设计NMF目标函数为

(5)

2基于空域心理视觉调制的一屏双显

电视系统

这个系统是由一个安卓电视盒、一副偏振眼镜和一个偏光式3D电视组成,将能在Android移动设备上运行，比如在安卓电视和安卓移动设备。这个依托于被动立体显示设备上的信息安全显示系统是通过偏振光的交错实现的，系统的硬件是基于LG生产的立体显示屏。而系统软件是用Java语言在Android平台上开发的。在这个系统中，由于偏振眼镜的镜片奇数和偶数行的扫描行的偏振方向不同，所以通过对显示系统中图像或者视频每一帧像素的处理，能够实现裸眼用户群只能看到无意义或者特定的画面，而佩戴眼镜被授权的观众可以看到被隐藏起来的画面和信息。

3　基于安卓系统的性能优化

由于该系统中实现了在一个屏幕同时播放两种视频的视觉效果，所以需要对视频每一帧的所有像素进行遍历和映射的操作，这样便对安卓电视盒子系统的处理性能有相对较高的要求。而现在市场上的安卓电视系统往往不能提供高配置的处理性能，使得这套系统在安卓平台上运行时出现卡顿的现象，所以对系统的优化主要有硬件上和软件上两个方面。在硬件上，需要安卓系统提供较高的运行内存，需要数据的存取操作有更为强大的处理器。在软件系统上，由于需要对视频每一帧的像素进行处理，所以需要采用特定的textureview的播放控件，textureview控件会随着视频的播放获得其每一帧像素后会不断刷新而渲染新的画面。软件系统的设计框架也会影响视频的播放流畅度，所以需要测试和比较不同框架对运行性能的影响。初期该项目采用单线程的方法对像素进行遍历操作，但是在采用双线程同时存取数据后，视频播放比单线程更加流畅。

而视频的视觉显示效果也是该系统设计的一大挑战，由于视频播放的效果对人眼的观看感受有着直接的影响，所以需要采用多种方法改善系统播放视频时的视觉效果。一方面，本文需要用高精度的亮度计采集系统中3D立体显示屏的RGB三种颜色通道的亮度值，从而得出亮度值和灰度值的函数关系，再根据灰度值和亮度值的函数关系进行相应像素的映射，这对加强视觉效果有着显著的影响。另一方面，需要将裸眼看到的标准视频和通过佩戴眼镜观看的遮蔽视频进行不同的处理，标准视频所有帧的像素需要映射到[128,255]之间，而遮蔽视频所有帧的像素需要映射到[0,128]之间，这样映射后使得双视频的像素在运算时不会产生像素值溢出，使得视频播放时不会出现失真的现象。

4　心理视觉调制信息显示模型优化

但根据实际人眼观测模型，现有的TPVM和SPVM显示系统存在不足：现有的时域、空域心理视觉调制显示模型只是考虑到相邻两帧或两行之间的互相影响，并未考虑到相邻帧或周围像素对中央像素的影响分布。故本文针对这一问题提出了改进的模型，考虑时域、空域心理视觉调制的优化显示模型。

在时域模型中，由于人眼心理视觉特性，对于一帧图像，其对前后的多帧图像均产生不同权重的影响，即单帧对其前后的t时刻帧的感知亮度影响为

(6)

类似的，在空域模型中，对于每一像素，其亮度对其邻域像素点都产生不同权重的影响。中央像素亮度对于周围像素亮度影响大小为

(7)

然而在实际实验中，发现目前市场上所有的被动式3D技术都是基于隔行偏振技术，即隔行采用正交方向的偏振光。故在空域心理视觉调制中仅能实现在隔行显示不同构图基。同时，在主观实验中，当被试者在距离屏幕50 cm处时，其观察时相邻两行的像素对将空域模型简化为不同行像素之间的影响。

由此，对于隔行播放的构图基Xn-1，Xn和Xn+1，应满足

(8)

式中：λ为相邻行的影响权重。

(9)

式中：λ为相邻帧之间的影响权重。

在所述的时域或空域心理视觉调制信息显示系统模型中，有一组构图基提供辅助观看装置的视图，不妨设偶数行或偶数帧为

X2n=Y12n

(10)

则可解得

X2n-1=Y02n-1-λY12n-λY12n-2

(11)

即在优化后的基于空域心理视觉调制的信息显示系统中，奇偶行的构图基分别为

(12)

相似地，在优化后的基于时域心理视觉调制的信息显示系统中，奇偶帧的构图基分别为

(13)

在实验中，可以调节λ的值从而达到更好的显示效果，其中λ<0.5。

在实验中，首先对比了原有的空域心理视觉调制信息显示模型和本文改进后的模型的显示效果。如图1所示，本文设置裸眼画面Y0为一常量，从而模拟文献[2]中的信息隐藏显示系统，两种模型的隐藏效果模拟分别如图1和图2所示。可以看到，对于图中锐利边缘等高频成分的隐藏效果得到了改善。利用改进后的模型，戴眼镜视图的信息能够更好地隐藏，裸眼视图更为平滑，即旁观者无法看到有用的信息(如图3、图4所示)，从而提升了信息安全的效果。

图1　基于原有模型的模拟隐藏效果(图中纹理、边缘等高频成分隐藏效果差)

图2　基于改进模型的模拟隐藏效果(图中纹理、边缘等高频成分隐藏效果改善)

图3　基于原有模型的实际隐藏效果(图中间仍隐约可看到文字等高频成分)

图4　基于改进后模型的实际隐藏效果(隐藏效果得到改善)

在后续实验中，本文设置Y0，Y1为不同的视频，利用优化后的基于空域的心理视觉调制的一屏双显系统的显示效果如图5所示。实验中本文利用了BOE-LE55Z7000被动式3D电视机作为显示设备，利用对应的偏振眼镜作为辅助观看装置。从图5、图6中可以看到，裸眼视图和利用辅助观看装置视图的画面质量都非常好。

图5　一屏双显效果图(戴上眼镜后看到与裸眼视图不同的内容，两个节目互不影响)

图6　戴眼镜视图

5　小结

如今的高刷新率、高分辨率显示设备对于人眼在时域和空域上产生心理视觉冗余。针对这一现象，本文提出了基于空域的心理视觉调制信息显示技术的双画面显示系统，在高分辨率电视设备上同时播放不同构图基，不同用户可以利用辅助观看装置看到不同信息，而裸眼用户也可以直接看到他所需要的画面。然而，之前提出的时域、空域心理视觉调制显示技术模型存在不完善，仅考虑相邻两帧或两行之间的影响。在本文中对模型进行了改进，从而符合显示设备的显示特性和人眼的感知特性。同时本文提出的系统还针对安卓系统特性进行了优化，从而获得更流畅的性能。在之后的工作中，还将突破硬件的限制，针对实际的显示模型作进一步的改进。

[1]WU X，ZHAI G. Temporal psychovisual modulation: a new paradigm of information display [exploratory DSP][J]. IEEE signal processing magazine，2013，30(1)：136-141.

[2]HU C，ZHAI G，GAO Z，et al. Information security display system based on spatial psychovisual modulation[C]// 2014 IEEE International Conference on Multimedia and Expo (ICME).[S.l.]：IEEE，2014：1-4.

[3]HU C，ZHAI G，GAO Z，et al. Simultaneous dual-subtitles exhibition via spatial psychovisual modulation[C]// 2014 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting (BMSB).[S.l.]：IEEE，2014：1-4.

[4]HU C，ZHAI G，GAO Z，et al. Simultaneous triple subtitles exhibition via temporal psychovisual modulation[C]// 2014 IEEE 9th Conference on Industrial Electronics and Applications (ICIEA).[S.l.]：IEEE，2014：944-947.

[5]HUC，ZHAIG，GAOZ.Visiblelightcommunicationviatemporalpsycho-visualmodulation[C]//Proceedingsofthe23rdAnnualACMConferenceonMultimediaConference.[S.l.]：ACM，2015：785-788.

[6]WUX，ZHAIG.Backwardcompatiblestereoscopicdisplaysviatemporalpsychovisualmodulation[C]//SIGGRAPHAsia2012EmergingTechnologies.[S.l.]：ACM，2012：4.

[7]GAOZ，ZHAIG，HUC.TheinvisibleQRcode[C]//Proceedingsofthe23rdAnnualACMConferenceonMultimediaConference.[S.l.]：ACM，2015：1047-1050.

[8]GAOZ，ZHAIG，HUC，etal.Dual-viewmedicalimagevisualizationbasedonspatial-temporalpsychovisualmodulation[C]// 2014IEEEInternationalConferenceonImageProcessing(ICIP).[S.l.]：IEEE，2014：2168-2170.

[9]ZHAIG，WUX.Defeatingcamcorderpiracybytemporalpsychovisualmodulation[J].Journalofdisplaytechnology，2014，10(9)：754-757.

[10]WANGL，ZHAIG.ConstrainedNMFformultipleexhibitiononasingledisplay[C]//PictureCodingSymposium(PCS).[S.l.]：IEEE，2015：292-296.

[11]GAOZ，ZHAIG，ZHOUJ.Factorizationalgorithmsfortemporalpsychovisualmodulationdisplay[J].IEEEtransactionsonmultimedia，2016，18(4)：1-1.

唐麟(1985— )，硕士，主研计算机图像处理；

朱晨(1984— )，硕士，主研计算机图像处理；

黄豫蕾(1978— )，硕士，主研计算机图像处理。

责任编辑：许盈

Improvement of dual-view television via spatial-temporal psycho-visual modulation

TANG Lin, ZHU Chen, HUANG Yulei

(ShanghaiDataAnalyzingandProcessingTechnologyResearch,Shanghai201112,China)

As the development of the display technology, the high technology display systems result in the abundant in both spatial and temporal domains. This paper contains a survey on the recently proposed display technology based on spatio-temporal psycho-visual modulation, which makes the high-tech screens to display several different atom frames, so that different users can use the paired glasses to see different information simultaneously, and those who don't have a glasses can see the meaningful glass-free view also. However, the model proposed earlier just consider the influence of the nearest two lines. In this paper, the existing spatial psycho-visual modulation model is improved to make it conform to the character of the display systems and the perception of the human eyes. The improved model performs better for both the users with glasses and the glass-free view.

psycho-visual modulation; simultaneous display; multi-display on the same screen; atom frame; high resolution; high refresh rate

TN949.6

A

10.16280/j.videoe.2016.08.008

2016-03-25

文献引用格式：唐麟，朱晨，黄豫蕾. 基于心理视觉调制信息显示的一屏双显电视[J].电视技术，2016，40(8)：43-47.

TANG L，ZHU C，HUANG Y L. Improvement of dual-view television via spatial-temporal psycho-visual modulation [J].Video engineering，2016，40(8)：43-47.