亮度自适应增强的图像投影系统设计

岳小龙，刘一清，顾晓丽

(华东师范大学信息学院通信工程系，上海200241)

责任编辑:许 盈

对于一个图像显示系统，尤其是对于投影系统来说，光源是最重要的组成部分之一。经过多年的进步与发展，投影机的光源类型出现过多种多样。如UHE灯、金属卤素灯、氙灯、UHP灯等传统光源，LED光源、激光等新型光源。传统光源基本上为单个发光体的点光源，通过色轮折射出不同颜色的光线。传统光源的工作电压高，额定功率大，工作温度高。单一LED光源的工作电压额定功率低，但是亮度不高。堆积的LED光源可以将亮度大大提升，然而会像传统光源一样，额定功率变大，所以堆积LED光源不能从根本上解决亮度不足。如何在恒定的照明功率下增加投影亮度，或者说如何在恒定的视频亮度下降低照明功率是解决投影设备亮度以及功耗瓶颈的根本办法。

由于投影技术在行业中的巨大潜力，目前有很多组织和机构在研究上述问题。光线在进入数字微镜时由于入射光线的大角度扩散会造成能量损失。通过在光源和数字微镜DMD之间增加合适的透镜可以修正光源进入微镜的角度，降低光线在数字微镜上的损失，提高投影亮度［1］。对LED光源来说，通过实验选取合适的半导体材料，或者合理排列LED光源矩阵可以提高光源利用率，在恒定功率下提高投影亮度［2-3］。

本文利用软件算法与DMD驱动硬件配合，在视频信号进入DMD前实时分析视频信号，自适应PWM脉冲调节光源亮度。带来更清晰、更生动的图像以及更持久的电池寿命。除此，本文将软件算法嵌入到DMD驱动硬件核心处理器FPGA中，对整个投影器材没有造成硬件上的成本增加以及体积增加，这些得益于前期对DMD驱动算法的透彻研究［4-5］。

1 系统硬件结构

图1为投影系统硬件框图，包括提供视频源的PC机、核心处理板、装载数字微镜的DMD板卡、透镜、光源UHP灯及色轮［6-7］。核心处理板接收视频信号，经IEB算法自适应增益图像亮度，然后按照PWM数据交织算法将视频流转换成对应的比特面序列来驱动DMD芯片。同时核心处理板利用色轮的反馈信号同步色轮，利用IEB算法电路产生的PWM脉冲控制UHP灯亮度。UHP灯的白色光被色轮按时间顺序分离成各纯色光后照射在DMD上，并反射入透镜后投射在屏幕上。

图1 投影系统硬件框图

硬件系统的核心是核心处理板，其内部结构如图2所示。核心处理板包括DVIReceiver(高清视频信号解码模块)、MCU(微控制器)、FPGA(现场可编程门阵列)、4片DDR2(667 MHz的64位带宽高速缓存)。FPGA接收解码后的视频信号，并分析视频信号，自适应调节光源亮度，以及增益视频信号的亮度信息，同时将处理后的视频信号按照PWM数据交织算法将视频流转换成对应的比特面序列，最后传送给DMD板卡驱动数字微镜DMD进行投影显示。MCU驱动色轮均匀旋转，并通过USB接口与PC通信实现远程控制。

图2 核心处理板内部结构

2 亮度自适应增强的图像投影IEB算法

一般增加视频信号亮度，并反比例地降低光源亮度，可以在不降低视频投影亮度的同时，降低光源发射功率。然而经实验发现存在局部细节丢失、色彩失真的现象。本文提出的IEB算法可以在投影亮度实时提高的前提下，更好地还原图像细节。在IEB算法中分析整帧图像的亮度信息以及每个颜色的灰度信息，判断是否可以进行亮度增益。然后根据整帧的亮度信息以及色彩信息，进行增益系数动态可调的视频信号增益，并产生PWM脉冲调节光源的亮度。

2．1 视频信号直方图统计

将0～255每隔16个单位分成16个亮度空间，分别判断输入视频信号每个像素4个颜色分量(RGBY)的亮度值属于哪段亮度区间，增加与此亮度区间对应的寄存器的值，通过这些寄存器得到16段亮度分布直方图。

由于4是16的约数，在得到16段亮度直方图后可以通过线性叠加得到4段亮度直方图的相关量，即

式中:Φ为4段直方图对应函数;φ为16段直方图对应函数;i=0，1，2，3;C=R，G，B;Y 输入的视频信号由 RGB三种颜色信号组成，Y信号是由RGB三种颜色根据709亮度方程计算而得，Y(白色)信号的计算式为

2．2 直方图数据动态分析

为了避免因亮度增益而丢失高亮度的图像细节，判断16阶函数中白色最高灰阶段是否超过白色峰值，超过将亮度增益系数设为1。白色峰值可以根据实际效果实时调节。其值越大，图像得到增益的比重增加，光源的发射亮度降低，但白色峰值过大会由于某些像素值溢出，使得部分图像细节丢失。

为了避免投影图像因某种颜色的失真而造成整体色彩失真，需要判断其他颜色在各自直方图的最高灰阶段所占比例。如果某个颜色的Φ(3，C)(4段直方图的最高灰阶)所占比例最高，则不进行该颜色的系数增益。

2．3 光源亮度控制

动态线性调节光源的亮度，降低投影机光源的整体亮度，并计算调节系数η(c)，其中C=R，G，B，Y。测出每种颜色光源投影显示最低分辨亮度，并做归一化处理，用ξ(C)表示。在得到归一化的投影显示最低分辨亮度后，计算归一化的映射系数δ(C)，即

利用映射系数δ(C)以及视频信号16段直方图函数φ(i，C)，计算光源调节系数 η(G)，即

2．4 增益视频信号

利用光源调节系数η(C)计算图像增益系数，即

最后将增益系数迭乘到视频信号上，即

式中:O(C)为输出视频信号;I(C)为输入视频信号。

3 IEB算法的FPGA软件实现

3．1 FPGA内部算法模块及系统总线

FPGA为核心处理板上的核心处理器，负责完成光源亮度自适应调节的图像显示IEB算法，驱动数字微镜DMD，产生光源同步以及PWM亮度控制时序。FPGA采用Stratix II。

FPGA内部结构如图3所示。FPGA内部设有2条系统总线，控制总线与MCU相连，将PC机的配置信息传给每个IEB算法模块以及DMD驱动模块;内存地址总线由模块地址与偏移地址组成，与外存储单元DDR2以及FPGA内部RAM相连，分配内存给IEB算法模块以及驱动模块。

图3 FPGA内部结构

FPGA内部参数配置方法如图4所示。实时远程控制缩短了系统调试周期，同样给投影系统使用带来便捷。

图4 FPGA内部参数配置流程

3．2 视频图像直方图统计模块

视频信号按照RGB格式输入，在统计前根据亮度方程将格式转为RGBY。转换中涉及浮点数乘法运算，本文采用精度高、时序收敛性好的二进制缩放算法。首先将每个小数在综合前乘上216，之后将小数部分在十进制下四舍五入舍去。转换精度1/(0.072 2×216)＞0.02%，远超过人眼的分辨能力。电路采用流水线结构，增加了触发器的建立时间和保持时间余量［8］。

直方图统计具体流程:1)当数据使能信号有效时，判断颜色C高4位的值C［7:4］，将其对应的函数φ(C)的值加1;2)当数据使能信号无效并且帧结束信号有效，该帧16段直方图函数φ统计结束，以颜色C的高4位分量作为偏移地址，通过内存地址总线将16段直方图对应函数φ写入到内存中;3)在φ被写入到内存的同时，利用和加法器计算4段直方图对应函数φ，以颜色C的高2位分量作为偏移地址，通过内存地址总线将4段直方图对应函数φ写入到内存中。由于FPGA强大的并行处理能力，4个颜色数据同时进行上述流程。

3．3 光源控制模块

光源控制模块根据视频图像的亮度，动态产生PWM脉冲控制光源发射亮度。视频图像的亮度越暗，信号的灰阶值就越小，可增益的范围变大，光源发射亮度可以降低更多。所以亮度越高对光源发射亮度调整限制就越大，图像平均亮度不能简单求和，需要加一定的权重。如果对256个灰阶都加权重需要使用大量除法器，不仅极大增加程序执行时间，带来潜在的时序问题，更重要的是降低了运算精度。在光源控制模块中，利用视频图像直方图统计模块中计算的16段直方图函数φ，将256个灰阶压缩成16个灰阶，由于权重值为2的整数次幂，可以利用移位寄存器代替除法器，减少了组合逻辑带来的不稳定时延。

由于投影亮度受人眼的分辨能力以及环境光线影响，导致视频信号的低灰阶分辨不清，需要引进参数光源投影显示最低分辨亮度ξ(c)，将原有亮度灰度值映射到投影可分辨亮度。

图5为光源控制模块结构示意图。

图5 光源控制模块

3．4 视频亮度增益模块

在光源控制模块中根据加权重的视频图像平均亮度通过PWM脉冲控制光源发射亮度，为了还原图像的原始亮度，需要对输入的视频信号的亮度进行补偿。由于光源调节系数η(C)随着图像每帧刷新而刷新，通过非线性的计算图像增益系数ε(C)会由于计算误差、时序余量不足而带来投影亮度失真。在实际模块中，采用LUT(Look Up Table)算法代替非线性计算，利用寻址的方法确定当前帧图像增益系数ε(C)。

4 实验结果

整合IEB算法代码和DMD驱动代码，通过AS方式下载到FPGA中进行测试。将相机shutter调整到1/60 s，与高清1 080p视频帧频相同。图6a光源亮度为3 000 lm，光源功率大，温度高，一般的小型投影机达不到这么高的亮度。在图片上可以看到地球表面清晰，月亮明亮。图6b是在光源亮度降到1 500 lm，FPGA中未使用IEB算法拍摄。一般的便携LED光源投影设备亮度可以达到1 500 lm，图像亮度偏低，地球表面细节丢失。图6c是在光源亮度在1 500 lm，FPGA中使用IEB算法拍摄，图像亮度得到明显改观，地球表明细节清晰，图像接近3 000 lm下的显示效果。

图6 测试图像

为了验证使用FPGA来实现IEB算法的高效性，在PC上用MATLAB模拟IEB算法与FPGA上作对比，如表1所示。可见FPGA比PC(Intel Core i5-3210M 2.50 GHz)快10倍左右。这是由于在FPGA中对IEB算法的优化，利用pipeline以及ping-pang等算法加速运算，并行处理运算避免等待时间。

表1 IEB算法在FPGA与PC上运算时间 ms

5 结论

为了在恒定功率下增强投影亮度，设计了一套完整的软硬结合的解决方案。硬件上FPGA+MCU的联合处理单元配合高速的DDR2缓存器以及LVDS高速信号接口保证了高清视频信号流畅地显示。软件上利用FPGA使得IEB算法得到高效实现。最终测试在恒定功率下，投影亮度平均提升2倍，图像细节大部分真实还原。同时，在FPGA下加速运算IEB算法，相对PC速度提升10倍左右。

［1］李丹，薛芸芸，曹雯，等.基于微透镜阵列的DMD芯片投影系统照明优化［J］.光学学报，2013，33(1):1-4.

［2］ NORUM W E，MEMBER S.Advanced light source control system upgrade-intelligent local controller redesign［C］//Proc.2012 18th IEEENPSS.Berkeley，CA:IEEE Press，2012:1-3.

［3］ PENG C H，LIX N，ZHANG P，et al.RGB high brightness LED modules for projection display application［J］.Journal of Display Technology，2011，7(8):448-453.

［4］姜兆华，吴宾初，潘涌.DMD数字微镜驱动控制系统分析及其应用［J］.应用激光，2012，32(3):212-216.

［5］姜大力，赵波，王永，等.应用聚类和粗糙集的FPGA底层数据挖掘［J］.光学精密工程，2013，21(1):233-238.

［6］贾建禄，王建立，赵金宇，等.基于FPGA的自适应光学系统波前处理机［J］.光学精密工程，2011，10(8):1716-1722.

［7］张金宝，陈波，王彩霞，等.自适应光学系统SPGD控制算法的FPGA硬件实现［J］.光电工程，2009，36(9):46-51.

［8］沈淦松，叶玉堂，刘霖，等.FPGA软硬件协同处理实时图像处理系统［J］.光电工程，2012，39(10):143-150.