近红外波段单像素相机测试与仿真研究

安华亮, 何远清, 刘院省, 陶东兴, 曹正彬,陈 琲, 郑 悦, 李明飞

（1. 北京航天控制仪器研究所, 北京 100039;2. 中国航天科技集团有限公司量子工程研究中心, 北京 100094;3. 北京卫星环境工程研究所, 北京 100029）

0 引言

单像素相机的概念最早由美国莱斯大学于2006 年提出［1］, DUARTE 等［2］于2008 年实验验证了压缩采样单像素成像的可行性, 相比传统多像素的阵列相机成像方式, 单像素相机具有的独特优势在于: 其可以实现散射光成像［3］, 例如在投影光照射到目标后, 从其它任何方向收集到的散射光均可重建目标图像; 可以在压缩采样条件下成像, 且具有灵敏度高和数据传输量低的特点, 因此在极弱光成像和遥感成像领域有巨大的应用潜力［4］, 单光子级的成像能力还可以应用于量子态感知等领域［5-6］; 其还具有多光谱成像, 即多个光谱通道同时成像的能力［7］, 例如在调制矩阵之后从物理上分开不同谱段的光分别进行重建, 或按需要分别重建不同谱段图像。

尽管单像素成像具有诸多独特的优势, 但目前单像素成像技术仍然处于实验室阶段, 技术成熟度有待进一步提升。 已报道的成果几乎均采用实验平台搭建的离散光路, 一方面需要屏蔽环境光线的影响, 另一方面无法在室外应用场景下实现抗环境扰动的成像和工程应用。 此外, 大多数单像素成像采用离线处理数据的方式呈现实验结果。 已报道的成果中, 有的为突出算法的效率而不考虑采集时间, 也有的为突出压缩效率或成像效果而不考虑从采集到处理到成像的全链路算法效率问题。 特别是在算法软件的实现方面, 未见有关于代码运算效率问题的研究报道。

针对上述工程应用中单像素成像技术面对的问题, 本文不仅考虑了在室内外不同环境条件下单像素成像的适应性、 成像效率和成像质量问题,还从研制成本出发, 考虑了单像素相机在实际应用中将面临的问题, 并开展了进一步的研究工作。本文需要解决的问题定位在800 nm ～1700 nm 近红外波段凝视成像应用场景, 或慢速运动具有近红外特征的物体进行成像探测。 相比于近红外相机,本文研制的样机具有硬件成本低的优势。

河北大学的张素恒团队［8］使用树莓派和商用投影仪等设备以非常低的成本搭建了单像素成像教学演示系统, 这表明单像素成像领域已经有学者开始考虑实际应用中的成本问题。

针对单像素成像的算法运行效率问题, 本文进行了算法效率的优化研究。 基于已有的Walsh-Hadamard 变换方法, 采用二值Hadamard 矩阵作为调制矩阵, 具有工程实现方面的优势［9］, 例如:Hadamard 矩阵易于在数字微镜器件（Digital Micromirror Device, DMD） 上实现; 调制矩阵生成速度快且无需存储; Hadamard 矩阵均值不变且具有正交特性, 故抗噪能力强［10］等。

Walsh-Hadamard 变换不足之处在于其要求测量次数与被测图像的像素数相等, 即要得到128 ×128 像素的图像, 需加载的测量基和测量次数为16384 次。 因此, 随着图像像素的增大, 测量次数也会成比例增加。 针对上述问题, 本文采用Hadamard 矩阵优化排序方案［11］, 结合C ++高效编程语言, 实现了在6.25%压缩采样条件下快速变换在线成像与实时图像显示。 对单像素成像光机的实现进行了工程化设计与仿真, 在近红外波段进行了实时成像和显示的验证。

1 实验装置原理及组成

单像素成像的工作原理是: 采用单像素探测器探测空间光强度涨落, 即利用一系列光场产生的正交基实现图像的编码, 利用光电探测器获得的一维信号对图像进行复原, 重建物体的空间信息［12］。

样机中的物体经过成像镜头, 所用成像镜头放大倍率为1 ～1.16, 工作距离为0.4 m ～10 m,将像面投射到DMD 上, DMD 采用ViALUX 公司的V-7001 VIS,阵列规模为1024 ×768 微镜单元, 控制电路板内存容量为8 GB, DMD 通过矩阵Hi调制, 光束按设定反射到光电探测器, 系统中的光电探测器采用THORLABS 铟镓砷探测器, 波长范围为800 nm ～1700 nm, 并由数据采集卡进行模数转换, 数据采集卡转换精度为24 bit, 采样率设置为128 kHz, 供电接口为USB 2.0。 计算机将得到一系列强度信号Ii, 其中i为探测次数,i=1, 2,3, …,M,M即为成一幅图像所需的测量次数。

光学部分的设计主要采用ViALUX 公司的货架产品STAR CORE Standard lens 光学引擎来实现,DMD 与光学引擎无缝衔接, 达到遮光作用。 将STAR CORE Standard lens 光学引擎原本用于光源照射的一端放置铟镓砷探测器, 并采用结构固定与遮光处理。

设计的模型和实物如图1 所示。 样机采用了模块化设计, 各模块均采用货架产品进行组装。 此种设计方式适用于小批量研制, 相比定制开发可节约电路设计、 开发、 测试等的研发费用。 样机整体大小为24 cm × 24 cm × 14 cm, 总重约3.42 kg。 图像重建算法采用快速Walsh 变换算法,软件由C++开发, 集成了算法和图像显示功能,软件包大小为2 MB, 在Windows 10 系统下运行。样机目前使用交流电220 V 变压为直流的方式供电,DMD 功耗（5 V, 6 A） ≤30 W, 探测器功耗（12 V,0.5 A）≤6 W, 采集卡功耗（5 V, 2 A）≤10 W, 由于工作状态是变化的, 总的功耗不超过46 W, 后续将改用直流电源供电, 并设计供电电路。 目前,测量基编码加载方式采用LabVIEW 软件以图片的方式进行上传, 4096 幅图片的加载时间为40 s 左右, 加载后需长期通电保证数据存于内存。

图1 单像素相机样机示意图Fig.1 Schematic diagram of single-pixel camera prototype

2 多尺度Hadamard 编码及重建算法

根据文献［11］采用的编码方式, 采用多尺度排序后的Hadamard 测量矩阵作为测量基进行单像素成像。 探测强度信号Ii由于是排序后的测量值,需转换到Walsh 排序后快速变换重建。

式（1） 中,I= ［I1I2I3…IM］,Walsh表示Walsh 序的快速Hadamard 变换, 变换后进行归一化并重新将T1×M排列成二维图像。

测试场景如图2（a）所示, 样机与成像目标相距1.1 m。 样机的控制软件界面如图2（b）所示, 借助C++语言较高的运行效率可实现实时的图像重建与图像显示。 交互界面可设置“加载张数” 即测量次数M, 实现任意压缩采样后的图像重建。 软件以可执行文件. exe 方式发布, 无需安装, 大小为2 MB, 在Windows 10 系统下运行。 对计算机硬件要求较低, 经测试CPU 1.1 GHz 主频、 内存2 GB 即可满足要求。

图2 单像素相机成像测试Fig.2 Imaging test of single-pixel camera

样机通电后点击“开始” 按钮, 即可得到实时成像结果和积分成像效果, 图2（b）为对应像素大小为256 ×256、 成像速率为2.5 帧/s 的实时成像结果（左图）和10 s 累加25 帧后积分成像的结果（右图）, 点击“保存” 按钮, 可选指定文件夹保存光电探测器原始数据, 用于后续分析处理, 数据保存过程不影响样机实时成像。

3 不同场景的样机测试

测试场景一是对样机白天和夜晚近红外波段成像能力的测试。 可见光相机拍摄的实验现场如图3（a）和图3（b） 所示, 图3（a） 为白天实验场景,图3（b）为夜晚实验场景。 采用850 nm 红外灯作为光源透射黑色打印字体“13” 进行成像测试。

图3 红外成像实验Fig.3 Diagram of infrared imaging experiments

由图3 可知: 白天实验场景和夜晚实验场景中的2.5 帧/s 的实时成像, 分别对应图3（a） 和图3（b）中计算机显示软件界面中的左侧图像, 结果对比无明显变化; 白天实验场景和夜晚实验场景中的积分成像结果, 分别对应图3（a）和图3（b）中计算机显示软件界面中的右侧图像, 结果对比也没有明显变化; 而记录实验场景的传统相机在参数不变的条件下夜晚无法看到物体。 处理得到的单像素成像结果如图4 所示, 同样证明了样机在白天和夜晚均具有成像能力。

为了能对单像素成像的结果进行量化分析,参考图像峰值信噪比评价方法峰值信噪比（Peak Signal-to-noise Ratio, PSNR） 公式［13］, 首先选取图像中一部分相对光滑区域的灰度平均值作为信号Sa, 前面选取的部分图像区域灰度的标准差σ作为噪声, 得到

使用PSNR 值对成像结果进行量化评价, 选取区域如图5 中红色框出部分所示, 得到的白天成像结果PSNR 值为18.72 dB, 晚上成像结果PSNR 值为19.20 dB, 两者非常接近, 说明样机在白天和夜晚成像能力相当。

图5 图像选择区域Fig.5 Diagram of image selection area

测试场景二是样机对太阳光照射下不同目标的成像测试, 主要表征样机成像的信噪比和分辨率。 目标采用打印的字母、 数字和符号, 实验环境为室内, 日光灯和太阳光同时存在, 样机与成像目标相距110 cm 左右。 设置测量次数M=4096,有效采样率为4096/65536 =6.25%, 调制方式为差分调制, DMD 调制速度为20 kHz, 成像速度为2.5 帧/s, 得到的结果如图6 所示。

图6 单像素成像结果对比Fig.6 Comparison of single-pixel imaging results

图6 中图像, 第1 行第1 列“中国航天” 字体笔画宽度约为12 mm, 第1 行第2 列为单帧成像结果, 经过深度学习神经网络降噪处理后得到第1 行第3 列图像结果, 经过25 次单帧图像累加后得到第1 行第4 列图像结果。

图6 中图像, 第2 行第1 列为待测目标, 三线宽度从大到小依次为10 mm、 8 mm、 6 mm、 5 mm,单帧图像能识别宽度8 mm 的横竖三线图案, 经过深度学习神经网络降噪处理后得到第2 行第3 列图像结果, 经过25 次单帧图像累加后得到第2 行第4 列图像结果, 分辨率优于8 mm, 接近6 mm。

图6 中图像, 第3 行第1 列为待测目标, 第3行第2 列为单帧成像结果, 经过深度学习神经网络降噪处理后得到第3 行第3 列图像结果, 经过25次单帧图像累加后得到第3 行第4 列图像结果。

使用PSNR 值对测试场景二的单像素成像结果进行量化评价, 选取的区域如图7 中红色框出部分所示, 每行图像的选择区域一致, 可计算得到各自图像的PSNR 值。 从各图PSNR 值结果基本可以看出: 25 次单帧图像累加后的PSNR 值明显优于单帧图像结果的PSNR 值, 说明图像累加后信噪比明显增强; 单帧图像经深度学习神经网络降噪后的PSNR 值明显优于单帧图像结果的PSNR 值, 甚至能略高于25 次单帧图像累加后的PSNR 值（PSNR评价与人眼视觉有区别, PSNR 指标仅涉及信噪比, 不涉及图像的其他信息, 因此可能会出现与主观感觉不一致的情况）。 深度学习神经网络降噪在信噪比方面可以利用较少的数据达到较好的效果, 成像速度会优于图像累加方法, 能够作为一种提高单像素成像速度的技术方案。

图7 单像素成像PSNR 值结果对比Fig.7 Comparison of single-pixel imaging PSNR results

上述测试表明, 单像素相机在110 cm 距离上,分辨率能够达到8 mm, 对应角分辨率为7.3 mrad。单帧图像噪声较大, 需多帧累积成像并结合一定的降噪算法, 采集端仍需进一步降噪以提升单帧图像的信噪比。 仍需开展的工作包括环境噪声的光学滤波, 例如系统中加入干涉滤波片或偏振片、仅针对特定波段和特定偏振进行成像以提升信噪比、 对采集卡和探测器进行线性标定、 优化采样带宽和探测器灵敏度、 增加照明亮度等。

4 结构仿真结果及分析

单像素成像样机现阶段不涉及复杂情况下的使用, 初步涉及的工况主要是在不同实验地点间的运输, 而运输中的振动和冲击会对样机的状态造成影响。

样机的共振频率是判断运输中共振和随机振动的首要切入点, 对样机结构进行模态和随机振动仿真分析。 样机的结构材料主要为铝合金6061-T6（AL6061-T6）, 其他还包括: 不锈钢, 线缆接头部分; 聚甲醛（POM）, 样机的四个脚垫; 硅, 电路板上的芯片; 玻璃, 镜头中的镜片; 钛合金, 集成光路结构; 环氧树脂（FR-4）, 设备中的电路板。网格划分完成后节点数为183331, 单元数为85428, 模型内部网格划分如图8 所示。

图8 仿真模型网格划分结果Fig.8 Results of simulation model mesh generation

四个脚垫的底面设为固定约束后进行模态分析, 得到的样机前六阶模态频率如表1 所示。

表1 单像素相机样机模型的模态分析结果Table 1 Modal analysis results of single-pixel camera prototype model

在公路运输中, 包装件共振频率一般不超过25 Hz; 在铁路运输中, 包装件共振频率为4 Hz ～8.5 Hz［14］。 由表1 可知, 单像素成像样机的前六阶共振频率为30 Hz ～94 Hz, 避开了公路运输和铁路运输的主要共振区间, 因此在运输过程中受共振影响较小。

在模态仿真分析结果基础上进行样机运输工况下的随机振动仿真分析。 根据GB/T 4857.23-2012 《包装运输包装件基本试验第23 部分: 随机振动试验方法》 附录A, “钢簧减振卡车中国部分公路运输随机振动功率谱密度曲线及试验时间计算”中提供的公路运输不同严酷水平随机振动PSD 曲线数据, 根据推荐采用严酷水平Ⅱ等级, 如表2 所示［15］, 方向为样机的垂直方向, 分析范围为3σ。

表2 严酷水平Ⅱ公路运输水平随机振动PSD 曲线数据Table 2 PSD curve data of random vibration in harsh level Ⅱhighway transportation level

随机振动中应力的历程是一个随机过程, 基于高斯分布和Miner 线性累计损伤定律的三区间法, 应力发生在- 1σ～ + 1σ区间为68.30%,-2σ～- 1σ和+ 1σ～ + 2σ区间为27.10%,-3σ～-2σ和+2σ～+3σ区间为4.33%, 总计99.73%［16］。 随机振动仿真分析结果如图9 和图10所示, 各结构件的受力均在许可范围内。 其中,受力最大的部分为集成光路支架, 受到的最大应力为108.46 MPa, 而支架材质为AL6061-T6, 屈服强度为240 MPa, 大于支架受到的应力。

图9 单像素相机随机振动仿真结果（外壳部分）Fig.9 Random vibration simulation results of single-pixel camera（shell part）

图10 单像素相机随机振动仿真结果（内部器件）Fig.10 Random vibration simulation results of single-pixel camera（internal devices）

综合来看, 模态仿真结果表明, 单像素成像样机在运输过程中受共振影响较小; 随机振动仿真结果表明, 样机在运输过程中最大应力小于屈服强度, 整体结构可靠。

5 结论

单像素成像技术具有灵活的样机设计形态,在从原理样机到工程样机的研制过程中, 仍有较大的未知空间有待探索。 本文针对单像素成像技术原理研制的样机, 在不同场景下开展了功能、性能和振动仿真等一系列测试, 主要目标是评估样机的工程适用性。

本文不同于大部分研究之处在于, 对近红外波段的单像素成像样机进行了一系列的工程应用场景探索研究, 脱离了理想的实验室环境, 从软件、 光机和样机集成等方面不同的维度阐述了样机的设计方案和测试思路, 包括软件的运行效率、可移植性、 交互界面等方面的考虑和测试; 光机体积、 质量的设计与考虑, 以及运输环境对样机光机的影响; 样机功能指标的测试, 包括白天、夜晚的环境测试和不同分辨率靶标的成像测试等。希望通过一系列的研究, 给该领域的研发人员带来设计思想和实际应用方面的启发, 达到研究的终极目的。

目前, 实现的样机硬件为: 体积24 cm×24 cm×14 cm, 总重约3.42 kg。 样机在10 s 左右（25 帧）积分条件下, 近红外成像效果稳定, 在110 cm 距离上分辨率为8 mm, 对应的角分辨率为7.3 mrad,6.25%采样下可达到2.5 帧/s@256 ×256 像素成像。 软件包大小为2 MB, 可在Windows 10 系统架构的多数计算机上运行。 样机的软件与算法技术有望用于鬼成像雷达等领域［17］。

样机模态仿真结果表明, 样机在运输过程中受共振影响较小; 随机振动仿真结果表明, 样机结构件在运输过程中受力在安全范围内。 综合来看, 样机结构满足现阶段要求。

在研制成本方面, 主要受限于DMD 芯片及高速电路的成本, 其价格略低于近红外相机的价格。由于单像素相机实现近红外成像仅需一个像素的探测器, 而红外阵列相机需要复杂的芯片工艺,一旦空间光调制器替代品研制成功: 例如旋转的毛玻璃、 编码板或光源阵列等, 其未来成本有较大的下降空间。 本研究对单像素相机技术成熟度的提升具有推动作用, 为低成本红外成像提供了一种解决方案。