双像素压缩成像系统设计与实现

杨爱萍1，卜令勇1，郭岩松2，杨 扬3，侯正信1

(1. 天津大学电子信息工程学院，天津 300072；2. 清华大学微电子所，北京 100084；3. 展讯通信(天津)有限公司，天津 300457)

双像素压缩成像系统设计与实现

杨爱萍1，卜令勇1，郭岩松2，杨 扬3，侯正信1

(1. 天津大学电子信息工程学院，天津 300072；2. 清华大学微电子所，北京 100084；3. 展讯通信(天津)有限公司，天津 300457)

在深入研究单像素相机原理及结构的基础上，发现单像素相机存在固有的结构缺陷，需要预先测量和补偿操作，导致运算复杂、系统误差增大等问题．针对这些问题，对单像素相机结构进行改进，设计对称信号通路收集数字微镜器(DMD)阵列2个状态的反射光，然后将2路测量结果相减直接得到测量值．该方案简化了单像素相机的测量和计算过程，有效减少了系统误差；更为重要的是，双像素相机的测量矩阵相当于三值伪随机测量矩阵，相对于单像素相机的二值伪随机测量，可大大提高信号重建精度．基于双像素压缩成像系统方案，采用上海辛同公司开发的数字微镜阵列，搭建了成像系统硬件平台并进行测试，验证了系统的有效性．

压缩感知；单像素相机；双像素压缩成像

压缩感知(compressed sensing，CS)理论[1-2]是当前国际信息处理领域的研究热点，其理论研究在不断完善，应用研究也逐渐深入到信息处理的各个方面．其中，压缩成像是压缩感知应用中最重要的研究内容之一，但相对于压缩感知理论研究进展，其硬件实现还处于起步阶段，其中最成功的例子当属美国Rice大学研制的单像素数码相机[3-4]．围绕单像素相机，2008年，Chan等[5]提出单像素太赫兹相机，克服了传统太赫兹成像的不足；2009年，Ma[6-7]提出将单像素相机用于航天遥感，Fu等[8]对单像素相机应用于导弹制导进行了研究，刘红等[9]设计了一种基于数字微镜阵列的单检测器可压缩成像系统；2011年，Filipe等[10]对主动照明单像素相机进行了研究，吕沛等[11]基于 CS单像素相机，提出了一种水下成像方法；2012年，张琳昊等[12]利用单像素探测器和随机掩膜板，提出了基于压缩感知的单点太赫兹成像．

不难发现，以上研究及应用都是以单像素为基础，对单像素相机结构的改进研究却很少．笔者在深入研究单像素相机原理及结构的基础上，发现单像素相机存在固有的结构缺陷，从而导致运算复杂、系统误差增大等问题．针对这些问题，笔者提出了更适于CS工作机理、成像效果更好的双像素压缩成像系统，搭建了成像系统硬件平台并进行测试，验证了本文系统的有效性．

1 压缩感知理论

如果信号是 K-稀疏的，则可以选择一个与基ΨN×N不相干的测量矩阵对信号x进行压缩测量，即得到M个线性测量值yi( i=1,2,…,M)，其中M≪N．这些少量的线性投影值包含了重构信号x的重要信息．

对于给定的测量向量y，由 RIP理论[2]可知，只要Φ· Ψ满足 RIP特性，则由Klg(N/ K)个测量值可将N维信号的K个最大值稳定地重建出来，即通过求解l1范数约束最优化问题

得到x的稀疏表示ˆθ．则进一步由变换基Ψ通过

精确重构原始信号．

2 单像素相机

2.1 单像素相机原理和结构

单像素相机利用单个光电探测器对信号进行多次非自适应线性全局采样，最后通过求解如式(3)所示的最优化问题，从获得的少量采样值中精确恢复原信号．单像素相机结构如图1所示．系统包括数字微镜器(digital micromirror device，DMD)阵列、2个双凸透镜(lens)、1个单光子检测器(photon detector，PD)以及模数转换器(A/D)．DMD是一种反射性空间光调制器，包含一组静电驱动的1024 768×的微镜阵列，可以通过编程选择性地改变部分微镜阵列的偏转方向，使其定位到 2个稳定状态(与水平方向成±12°)，从而选择性地改变部分光束的方向．

图1 单像素相机结构Fig.1 Single-pixel camera structure

在单像素成像系统中，物体经过一个双凸透镜的折射，在 DMD平面上形成预期图像．将这幅图像作为物体，通过第 2个透镜聚焦在光电二极管上．落到DMD上的光沿着 2个方向(±12°)反射，12°状态反射的光被收集起来，在光电二极管处相加产生用于生成系数 ()y m的绝对电压，光电二极管的输出由运算放大器电路放大，并由模数转换器数字化．

光电二极管的输出电压可以理解为图像x与测量基向量Φm的内积．特别地，令ρm代表第m个测量模式下微镜的偏转状态，那么二极管电压v可以写成

式中η 为DC偏置．

每次测量实现微镜的伪随机 ±12°模式，相当于伪随机0/1伯努利测量向量．

2.2 单像素相机缺陷

在压缩感知中，观测矩阵是双极性的，因此正极性图像的观测值也是双极性的，而成像系统DMD的发射光和光电转换器的光输入必须是正极性的，这就形成一个矛盾．为解决这个矛盾，单像素相机采用了一种可称之为“偏置测量+计算矫正”的方案．

为了处理 DC偏置，首先将所有微镜设置为-12°，得到一个测量值，然后将该值减掉，即

另一方面，还需要将正极性的y(m)转变成双极性的观测值，即将所有微镜取+12° 作为第 1个观测矩阵，先测量得到y(1) ，然后执行以下运算：

因此，单像素相机需要进行 2个预先测量：DC偏置测量和微镜全反射测量．除了运算复杂之外，在测量和补偿中会引入新的系统误差，直接影响图像的重构质量．

3 双像素相机设计方案

针对单像素相机的缺点，提出新的双像素成像方案，系统结构如图 2所示．双像素相机微镜阵列取相对于水平面 12°、0°和-12° 3个位置，分别对应于观测矩阵的+1、0和-1这3种取值．12° 状态和-12°状态反射的光分别被2个光电二极管收集、光电转换并A/D后相减，这样可直接得到观测值y(m)．因此，只要设计的2个信号通路对称，通过相减可自然抵消DC偏置，而且得到的是双极性观测值，对噪声具有更好的鲁棒性．双像素相机结构简化了单像素相机的测量和计算，避免了测量和补偿误差，提高了测量信号精度．同时，其通过单次检测获得 2路测量值，仍具有单检测性．

图2 双像素相机结构Fig.2 Proposed dual-pixel camera structure

更为重要的是，单像素相机采用二值伪随机观测矩阵，重建图像质量较差，突出表现是噪声较大．提出的双像素相机结构相当于用三值伪随机观测矩阵代替二值伪随机观测矩阵．根据随机信号理论，三值伪随机序列在特性上比二值伪随机序列更接近“高斯”，可取得更好的成像效果．

图3为原始64 64ד津”字图像，分别以 15%、30%采样率进行压缩采样，利用最小变分法[13]实现重构．图 4(a)～(d)分别相当于收集微镜 12° 和-12°状态反射光作为测量值的重构图像，图 4(e)、(f)为将两方向采集到的数据相减作为观测值的重构图像.表 1给出了不同采样率下重构图像的峰值信噪比(peak signal to noise ratio，PSNR)值，由于采样的随机性，表1为5次独立实验的平均值．由表1及图4结果可见，双像素相机成像方案可显著提高目标的成像质量，且随着采样率升高，重构图像质量得到显著改善．

图3 原始“津”字Fig.3 Original“Jin”word image

图4 “津”字成像结果Fig.4 Reconstructed results of“Jin”word

表1 不同采样率下PSNR比较Tab.1 PSNR under different sampling rates

4 双像素压缩成像系统硬件平台搭建及测试

4.1 系统硬件组成

根据双像素压缩成像系统设计方案，搭建了硬件实验平台，如图 5所示．DMD选择了上海辛同公司开发的XD-D01系统，阵列大小为768×1,024(实际成像实验时，用了768×768的阵列，将12×12的阵列看作一小块，得到 64×64的图像)；微镜尺寸为13.68,µm×13.68,µm，适应的波段是 350～2,700,nm可见光，微镜二进制翻转频率为全屏 160,Hz实时USB下载；光电二极管为TI公司的OPT101；单片机为宏晶科技生产的 STC90C52AD单片机；实验光源为手电筒，成像物体为在硬纸板上挖出简单图案通过手电筒透光形成，如图6所示．

图5 本文硬件实验平台Fig.5 Experimental platform

图6 实际成像物体及光源Fig.6 Imaging object and light source

4.2 系统平台搭建

系统平台搭建包括光路配置、数据采集、模数转换器、减法器和图像重构．

4.2.1 光路配置

光路配置是搭建本系统的关键环节，需要先确定光源和 DMD的位置，然后调整入射透镜、2个反射透镜以及光电二极管的位置．本实验中，光源处于与水平状态微镜平面垂直的 0°方向，且每个微镜的偏转以各自的某个对角线为轴，所以需要将该对角线调整到竖直方向，即倾斜放置DMD，如图5所示．

首先，在 DMD不加电的情况下，用激光笔垂直照射DMD镜片的中心位置，由于形成光斑的面积远大于单个微镜的面积，将有很多的亮点反射回来，其中最亮的中间亮点为直射光的反射光；调整激光笔的位置，使最亮点能反射回激光笔，则入射光垂直于DMD．

然后，给DMD加电，分别给DMD下载全0信号和全1信号，检查DMD的偏转是否到位．偏转到位时，反射光将分别照射到 24°方向和-24°方向并在相应的方向上形成亮光斑，观察反射光的偏转方向和光斑的位置，即可确定 DMD是否偏转到位．同时需要观察 DMD镜面上亮光斑和两个方向反射回来的亮光斑是否在同一水平面上．

光源和DMD位置调整好后，使入射透镜的位置在入射光线的光路上并且使成像物体在 DMD上形成清晰的像，反射透镜分别在反射光线的光路上并且两个反射透镜距离DMD的距离相等，光电二极管处于反射透镜的焦点处．

4.2.2 数据采集

与单像素相机不同，这里需要两个光电二极管完成±12°两个方向的数据采集．首先在计算机上产生0/1伯努利随机数据，利用XD-01系统软件进行数据转换，新生成的数据可直接下载到 DMD上控制其偏转．

4.2.3 模数转换器和减法器

完成两方向数据采集后，光电二极管将接收到的光信号转换为电信号，由相连接的单片机进行模数转换并完成相应的减法操作，相减后的测量数据经串口传回计算机．

4.2.4 图像重构

将计算机得到的测量数据，利用压缩感知重构算法重构出目标图像．到目前为止，出现了大量压缩感知重构算法，主要包括基追踪算法[14]、贪婪算法[15]、迭代阈值算法[16]以及更适合二维图像重构的最小变分法[13]．本文采用最小变分法重构图像．

4.3 系统测试

系统成像测试在正常光照下进行．采用伯努利0/1随机测量矩阵驱动DMD以相应的模式对光信号调制，后继电路对调制后的光信号进行采集、转换和减法运算．

将挖有“十”字图案的纸板紧贴于手电筒出光处，透光图案即为成像物体，如图 6(a)所示．分别进行 614次、1,228次测量，即采样率分别为 15%和30%．单独接收微镜 12°方向和-12°方向测量值，并传回计算机进行重构，64×64的重建图像如图 7(a)和(b)所示，即相当于单像素相机成像结果．另一方面，接收±12°两方向测量相减后的结果，传回计算机进行重构，成像结果如图 7(e)和(f)所示．需要说明的是，由于光源本身存在圆形暗区(如图 6(b)所示)，成像物体在发光点周围形成圆形暗区(见图7)．

由实际系统的成像效果可以看出，双像素成像系统对目标物体的成像质量明显优于单像素相机，双像素成像系统的重建图像外围噪声明显减少，成像物体的轮廓、细节更加清晰．双像素压缩成像系统有效克服了单像素相机存在的缺陷，更适于 CS工作机理．另外，可看出本实验用的光源相对简单，聚光性不好，通过透镜在 DMD上聚集的光量较弱；同时光电二极管的灵敏度也有待提高，因此，系统的成像效果还有较大提升空间．

图7 双像素成像系统重建图像Fig.7 Reconstructed images of dual-pixel imaging system

5 结 语

自 Rice大学成功研制单像素相机以来，国内外学者基于“单像素”结构，相继提出了一系列压缩成像方案及应用，而对单像素相机结构改进的研究却很少．本文在深入分析单像素成像系统局限性的基础上，改进了单像素相机结构，提出了双像素成像系统设计方案，并基于XD-D01系统搭建了实际的双像素成像系统硬件平台．仿真实验和实际系统测试结果表明，双像素相机的成像质量明显优于单像素相机，克服了单像素相机存在的缺陷，且保持了单像素相机的单检测性、鲁棒性、渐进性和可扩展性等优点．

［1］ Donoho D L. Compressed sensing[J]. IEEE Transactions on Information Theory，2006，52(4)：1289-1306.

［2］ Candès E J，Romberg J，Tao T. Robust uncertainty principles：Exact signal reconstruction from highly incomplete frequency information[J]. IEEE Transactions on Information Theory，2006，52(2)：489-509.

［3］ Takhar D，Bansal V，Wakin M，et al. A compressed sensing camera：New theory and an implementation using digital micromirrors[C]//SPIE Electronic Imaging：Computational Imaging. San Jose，USA，2006.

［4］ Wakin M B，Laska J N，Duarte M F，et al. An architecture for compressive imaging[C]//Proceedings of IEEE International Conference on Image Processing. Atlanta，USA，2006：1273-1276.

［5］ Chan Wai Lam，Charan Kriti，Takhar Dharmpal，et al. A single-pixel terahertz imaging system based on compressed sensing[J]. Applied Physics Letters，2008，93(12)：121105.

［6］ Ma Jianwei. Single-pixel remote sensing[J]. IEEE Geoscience and Remote Sensing Letters，2009，6(2)：199-203.

［7］ Ma Jianwei. A single-pixel imaging system for remote sensing by two-step iterative curvelet thresholding[J]. IEEE Geoscience and Remote Sensing Letters，2009，6(4)：676-680.

［8］ Fu Wenxing，Zhu Supeng，Zhang Kai. Conceptual research on application of single pixel infrared imaging to missile guidance[C]// Asia-Pacific Conference on Information Processing. Xi’an，China，2009：185-188.

［9］ 刘 红，李鹏飞，方 红，等. 一种单检测器可压缩成像系统设计[J]. 计算机工程，2009，35(18)：278-279.

Liu Hong，Li Pengfei，Fang Hong，et al. Design of single detector compressed imaging system[J]. Computer Engineering，2009，35(18)：278-279(in Chinese).

［10］ Filipe M，Francisco M A，Miguel V C，et al. Active illumination single-pixel camera based on compressive sensing[J]. Applied Optics，2011，50(4)：405-414.

［11］ 吕 沛，周仁魁，何俊华，等. 水下单像素成像系统研究[J]. 光电子•激光，2011，22(9)：1425-1430.

Lü Pei，Zhou Renkui，He Junhua，et al. Research on underwater single-pixel imaging system[J]. Journal of Optoelectronics·Laser，2011，22(9)：1425-1430(in Chinese).

［12］ 张琳昊，张亮亮，张存林. 基于压缩传感的单点太赫兹成像[J]. 首都师范大学学报：自然科学版，2012，33(6)：14-18.

Zhang Linhao，Zhang Liangliang，Zhang Cunlin. Single-pixel terahertz imaging via compressed sensing [J]. Journal of Capital Normal University：Natural Science Edition，2012，33(6)：14-18(in Chinese).

［13］ Candès E J，Romberg J K，Tao T. Stable signal recovery from incomplete and inaccurate measurements[J]. Communications on Pure and Applied Mathematics，2006，59(8)：1207-1223.

［14］ Chen S S，Donoho D L，Saunders M A. Atomic decomposition by basis pursuit [J]. SIAM Journal on Scientific Computing，2001，43(1)：129-159.

［15］ Mallat S G，Zhang Zhifeng. Matching pursuits with time frequency dictionaries [J]. IEEE Transactions on Signal Processing，1993，41(12)：3397-3415.

［16］ Fornasier M，Rauhut H. Iterative thresholding algorithms [J]. Appl Comput Harmon Anal，2008，25(2)：187-208.

(责任编辑：金顺爱)

Design and Implementation of Dual-Pixel Compressed Imaging System

Yang Aiping1，Bu Lingyong1，Guo Yansong2，Yang Yang3，Hou Zhengxin1
(1. School of Electronic Information Engineering，Tianjin University，Tianjin 300072，China；2. Institute of Microelectronics，Tsinghua University，Beijing 100084，China；3. Spreadtrum(Tianjin)Communications Incorporated，Tianjin 300457，China)

In light of the thorough research on its principle and structure，it has been found that the single-pixel camera always needs beforehand measurements and compensated operations，leading to complex calculation and larger system error. To resolve the problems above and improve the performance of the single-pixel camera，the symmetrical signal pathway were designed to collect the reflecting light from the two states of digital micromirror device(DMD)array. Then one of the two measurement results subtracts the other to gain the final measurement value. The proposed design simplifies the measurement and calculation process of the single-pixel camera and reduces the system error effectively. More importantly，the measurement matrix of the proposed dual-pixel camera is equivalent to the ternary random matrix，which can considerably improve the reconstruction accuracy compared to the binary random matrix of the single-pixel compressed sensing. According to the scheme of the proposed dual-pixel compressed sensing，the hardware implementation platform was established using the DMD developed by the Xintong Company in Shanghai，and its effectiveness was verified by the imaging experiment.

compressed sensing；single pixel camera；dual-pixel compressed imaging

TP391；TN27

A

0493-2137(2014)12-1127-06

10.11784/tdxbz201305028

2013-05-13；

2013-08-18.

国家自然科学基金资助项目(61002027)．

杨爱萍（1976— ），女，博士，副教授.

杨爱萍，yangaiping@tju.edu.cn.

时间：2013-09-05. 网络出版地址：http：//www.cnki.net/kcms/detail/12.1127.N.20130905.1416.001.html.