软硬件协同实现DQN-Hadamard单像素成像的研究

王之润,何鹏,赵文静,翟爱平,王东,2∗

(1太原理工大学物理与光电工程学院,山西 太原 030024;2太原理工大学新型传感器与智能控制教育部重点实验室,山西 太原 030024)

0 引言

区别于传统阵列探测器成像方式,单像素成像使用单像素探测器作为主要探测设备采集不同基底图案对应的光强信号,最终从采集光强信号中反演计算获得目标物体图像。由于单像素探测器在特定波段的低成本优势,其已被应用于红外成像[1]、太赫兹成像[2]、光谱成像[3]等领域,并且单像素探测器只采集单点信息,因此只需要少量光子即可产生响应,拓宽了其在弱光成像[4]、显微成像[5,6]与散射成像[7]等领域的应用。然而受限于单像素成像机理,目标物体图像的重建需进行多次基底图案投射及单像素探测器采集,导致单像素成像体系成像速度较慢,限制了其进一步应用,因此提高单像素成像的速度对其实际运用和工业化具有重要意义。

现有研究表明,可从硬件和算法两方面提升单像素成像速度。算法提升单像素成像速度的研究主要集中于在保证图像质量的前提下减少成像所需掩膜图案的数量,因此研究人员提出各类单像素降采样算法。人为规划采样顺序[8−12]通过对基底图案进行排序,优先投射对重建作用更大的基底图案,舍弃对重建图像质量提升较小的基底图案。人为规划方案虽然是一种有效的单像素降采样方式,但是其采样顺序的规划受限于当前的正交变换,并且无法保证对不同目标物体规划采样顺序的最优。深度学习引入单像素成像,通过卷积神经网络获得最优化基底图案[13],或者获得部分重建目标到优质重建目标之间的对应关系[14],从而解决了如上问题。然而,深度学习需要大算力和优质数据集,并且其训练过程较为复杂,限制了其进一步应用。结合以上思路,深度Q网络(DQN)单像素成像[15,16]将强化学习中的DQN算法引入单像素成像,获得适用不同正交变换、对应不同目标物体的最优采样顺序,成为单像素降采样的另一种方案。但是目前DQN单像素成像仅在实验平台得到验证,没有集成的搭载DQN单像素成像算法的系统研究。

硬件提升单像素成像速度聚焦于使用高速空间光调制器提升掩膜图案投射速度[17]。早期的空间光调制器(如旋转的磨砂玻璃[18]和定制散射板[19])采用机械装置实现掩膜图案切换,速度较慢,并且无法实现任意掩膜图案投射。液晶空间光调制器(LC-SLM)虽然可以实现程控的掩膜图案投射,但是同样面临成像速度较慢的问题,无法实现实时成像[20]。数字微镜器件(DMD)凭借其结构可以实现最高22 kHz的基底图案切换速度[21],但是DMD成本较高,削弱了单像素成像低成本的优势。凭借LED低成本、高响应速度的优势,LED阵列可作为更高速、经济的空间光调制器方案[22]。LED阵列高效的调制效率依赖于FPGA的高速并行特性,可实现1000 frame/s的高速动态成像。目前LED阵列仅作为一种基底图案硬件加速方案,没有单像素加速算法的搭载研究。

本文结合DQN单像素成像的降采样算法和LED阵列的高速基底图案投射方案,实现了软硬件协同的单像素成像提速。基于LED阵列的二值调制特性,选择DQN-Hadamard单像素成像作为实现特例;为实现DQN-Hadamard单像素成像算法的移植,选择ARM和FPGA结合的ZYNQ 7020作为系统主控。ARM实现DQN-Hadamard单像素成像算法,FPGA实现单像素成像的主体功能,最终ARM与FPGA协同实现DQN-Hadamard单像素成像。

1 原理与系统搭建

1.1 Hadamard单像素成像的基本概念

单像素成像使用基底图案照明目标物体,通过单像素探测器采集对应光强,并从中重建目标物体图像,可表示为

式中:(x,y)为空间坐标对,O为成像目标物体,Pk为第k个基底照明图案,二者写为空间坐标形式,单像素探测器采集的光强Ik即为二者的空间内积。Hadamard单像素成像通过Hadamard变换形式生成基底照明图案,通过单像素成像形式获得目标物体图像的Hadamard谱。Hadamard变换的形式为

式中:(u,v)为变换域坐标对,bi(z)(z=x,y,u,v)是z的二进制第i位。对比单像素成像与Hadamard变换,发现二者均符合空间内积形式,因此以P(u,v,x,y)形式生成基底照明图案,单像素探测器即可测得目标物体的Hadamard谱。对其进行Hadamard反变换即可重建目标物体图像,这也提供了一种新的目标物体重建形式,Hadamard反变换的形式为

1.2 DQN单像素成像

根据(2)式,越多的基底图案数量可重建越精确的目标物体,然而所需投射基底图案越多,单像素成像的时间消耗越大。在保证重建图像质量的前提下提高成像速度,可以优先投射对重建图像质量提升更大的基底图案。由于Hadamard变换频谱的低频聚集特性,可按照规划顺序优先投射低频对应的基底图案,取得在相同采样率下最优的成像效果。然而不同的目标物体对应的最优采样顺序不同,此种人为规划的采样方式无法保证对特定目标物体规划的最优性。

本课题组提出的DQN单像素成像通过引入强化学习中的DQN算法,可以获得适用于不同目标物体的最优化采样顺序[15]。作为一种基于价值的强化学习算法,DQN通过Q值实现动作的选择,选择当前状态下Q值最大的动作执行,即

式中:s和a分别为当前的状态和动作,π为当前决策。DQN的Q值分配由神经网络给出,通过神经网络训练获得最优Q值分配,从而实现最优决策。神经网络的输入则为当前状态,这样就很好地建立了状态到Q值再到动作的对应关系。Q值的更新对应于网络更新,训练网络优化网络参数,最终按照网络输出Q值进行决策,即可实现最优决策。神经网络的损失函数可表示为

式中:L为损失函数;r为动作执行的奖励,评估动作的优劣;γ为折扣系数;M为历史经验内存,存储智能体走过的先前经验,每一次与环境的交互都将四元组(s,a,r,s+1)存入M中作为训练数据;θ−和θ为两个不同网络的参数,θ−用于保存先前的网络参数,θ用于保存当前的网络参数,因此DQN可以追逐滞后的参数,从而加速网络训练。DQN可根据损失函数优化网络参数。

DQN-Hadamard单像素成像即通过DQN方式进行Hadamard单像素成像采样顺序的优化。对于Hadamard单像素成像,其变换域呈现频谱分布,因此单像素采样过程可以视为Hadamard频谱的逐渐补足过程。设置一个与频谱相同大小的二值矩阵作为状态矩阵s,已采样区域为1,未采样区域为0;动作a即为采样过程,对应将s中的元素由0置1的过程。

获得最优采样的过程如下:对目标物体全采样,获得其Hadamard频谱。DQN的每一步执行即根据当前的状态矩阵s执行当前动作a,状态跳转至下一步状态s+1,状态矩阵s+1与Hadamard频谱做对应位置乘积,获得当前的部分频谱;根据部分频谱重建降采样目标图像,并计算本次重建图像的结构相似度(SSIM),根据SSIM值的提升计算奖励函数r并反馈给DQN,从而指导后续训练。经过训练,DQN最终可以预测一组状态矩阵序列,对应最优的掩膜图案投射顺序。

1.3 ARM与FPGA协同单像素成像系统

凭借LED的高速开关特性,LED阵列可以用作高速空间光调制器,并且其二值调制的特性更适用于Hadamard单像素成像的基底图案形式。LED阵列由阵列摆放的LED依照共阴或共阳的连接方式集成。对于分辨率为M×N的LED阵列,共有M个行选通端口、N个列选通端口。由于LED阵列的共阴共阳连接关系,LED阵列不同行之间的点亮逻辑存在制约关系,不能完成任意图案的显示。解决行间制约的常规控制方式为扫描方式,对于每一行进行分时选通,通过视觉暂留效果实现特定图案的投射。但是扫描方案点亮LED阵列共需M个点亮周期,投射效率较慢,不适用于高速的单像素体系。

对共M+N个端口进行并行控制可以实现高速的基底图案投射,但是此时需要将部分具有行间制约关系的基底图案进行分解。如图1(a)所示的基底图案可分解为图1(b)、(c)所示的两个不受行间制约关系的基底图案,将其分时投射,此时仅需两个点亮周期即可完成一幅基底图案的投射。

图1 LED阵列基底图案分解过程。(a)原始基底图案;(b),(c)分解后的图案Fig.1 Decomposition of basic patterns on LED array.(a)Original pattern;(b)and(c)Decomposed pattern

现有方案使用FPGA作为主控对LED阵列进行并行控制,可实现每秒5×105个基底图案的投射,对应32 pixel×32 pixel的分辨率,25%采样率下1000 frame/s的成像速度。然而此方案为实现DQN-Hadamard单像素成像的部署存在两个问题:1)此方案下基底图案在FPGA内部产生,在不涉及采样顺序的情况下,是一种行之有效的方案。但由于FPGA内部不具备指令系统,大规模算法的实现消耗资源较大。基底图案的生成算法本身实现较为复杂,而降采样算法的移植需要重新规划基底图案的生成顺序,这就增加了DQN-Hadamard单像素成像算法在FPGA部署的成本和复杂度。2)由于LED阵列的高速切换,对应单像素探测器的采集速度成为制约成像速度的主要因素,为突破采集速度的制约,需使用分立的超高速采集卡等高性能采集设备,增加了单像素成像的总体装置成本。

因此,本工作提出了基于ARM和FPGA协同实现DQN-Hadamard单像素成像的方案。在主控系统方面,选用Xilinx公司的ZYNQ 7020(XC7Z020-2CLGI)作为主控,其由ARM核心与FPGA外部逻辑资源构成,二者之间通过AXI总线连接,结合二者优点,更加适配单像素成像系统的需求。FPGA资源部分称为可编程逻辑(PL),基于其并行处理能力可实现LED阵列的高速控制;ARM核称为处理系统(PS),基于其处理系统可实现基底图案生成和排序功能。ZYNQ 7020的使用将复杂的基底图案生成和排序步骤独立出来,使用处理系统实现,节约了FPGA内部逻辑资源。在单像素采集方面,使用集成的AD采集模块(AN9238),牺牲了一定的成像速度,降低了装置成本。此时,AD采集、LED阵列控制、图像重建和显示均可通过ZYNQ 7020实现,从而实现了单像素成像系统的集成化。

根据上述方案,搭建如图2所示的单像素成像系统,用ZYNQ 7020作为主控实现LED阵列(1099BS,16 pixel×16 pixel)的高速控制和AN9238模块的高速采集,并通过采集数值实现实时图像重建。ZYNQ 7020内部功能分配如图3所示,基底图案预先由PS端生成,并按照特定顺序通过AXI总线写入PL端的BRAM资源中。实时单像素成像过程中,从BRAM中读出单个基底图案完成LED阵列驱动,进行基底图案投射,同时对单像素探测器(CH253)采集的光强信号进行实时采集,并进行图像重建,整个系统成本约3600元。

图2 ARM与FPGA协同单像素成像系统结构Fig.2 Architecture of ARM and FPGA cooperation single pixel imaging system

图3 ARM与FPGA单像素成像系统功能分配Fig.3 Function allocation of ARM and FPGA cooperation single-pixel imaging system

图像重建过程采用(2)式所示的累加重建方式,避免了Hadamard反变换过程。并且在累加过程中使用分步累加重建方式,即读取单个基底图案后进行投影与采集,并使用探测光强作为系数与其基底图案相乘,进行部分目标重建,待所有基底图案投射完成后进行整体目标重建,因此单像素成像过程满足如图4所示的执行顺序。上述方案中部分目标重建与基底图案读取占用资源不冲突,因此,相邻两个基底图案的读取与重建过程可以在同一时间内并行执行,进一步压缩了成像时间,提高了成像速度。

1.4 DQN-Hadamard单像素成像算法移植

基于搭建的单像素成像系统,采用离线训练方案实现DQN-Hadamard单像素成像算法的移植。算法移植包含以下过程:1)首先通过搭建系统获取目标物体全采样重建图像;2)基于ILA调试平台将全采样图像导入至PC,实现DQN网络的训练;3)将训练后获得的优化采样顺序通过PS端导入单像素成像系统,实现整体功能。

不同于ZYNQ中部署神经网络的在线训练方案,离线训练方案可以运用PC的优异性能进行训练,更加适用于成像分辨率较高的场合。DQN离线训练采用的参数为双层全连接神经网络,每层50个神经元,折扣系数为0.9,经验缓存大小为10000,每100步交换目标网络与当前网络参数。

2 成像结果分析

对于搭建的投射式单像素成像系统,使用如图5所示的镂空字模作为目标物体,全采样目标重建结果如图6所示,对应16 pixel×16 pixel的分辨率,已经可见目标物体的大体轮廓,但是由于LED阵列分辨率较低,目标物体的形貌并不能精确重建,尤其是细节较多的目标物体边缘,如字模“7”的右上角出现模糊现象。此外,LED的照明光束呈现离散点阵状态,由于字模放置位置不同,其笔画可能未被LED完整照明,或者笔画边缘切割部分LED点,使得最终重建笔画宽度呈现2个像素到3个像素的跳变。近年来,Micro-LED阵列技术发展迅速,未来可能能够解决目前LED阵列尺寸大且分辨率低的问题。

图5 用作目标物体的镂空字模Fig.5 Hollow fonts as target objects

图6 目标物体全采样重建图像Fig.6 Full sampling reconstruction results of target objects

在搭建的ARM与FPGA协同单像素成像系统中,10%、20%、30%、40%采样率下DQN-Hadamard单像素成像(DQN-HSPI)结果如图7所示,并在相同采样率下加入自适应斜Z字形采样的Hadamard单像素成像(AZ-HSPI)重建结果作为对比。以SSIM与峰值信噪比(PSNR)作为图像评估标准,图7对应重建图像定量结果如表1和表2所示。观察重建结果可以看到,得益于DQN的优化作用,DQN-HSPI方式均可以取得优于AZ-HSPI的成像效果,并且采样率越低优势越大。在30%采样率下,目标物体已经取得较好的重建效果,由于Hadamard单像素成像过程中使用差分单像素成像方式,并且探测光强需累加以消除噪声,根据图4,成像时间对应为

图4 ARM与FPGA单像素成像系统主体功能执行顺序Fig.4 Main function execution sequence of ARM and FPGA cooperation single-pixel imaging system

图7 不同采样率下AZ-HSPI与DQN-SPI成像结果Fig.7 Reconstructed images using AZ-HSPI and DQN-SPI at different sampling ratios

式中:n为总基底图案总数和成像分辨率,取256;r为采样率,取30%;m为探测平均次数,取2000;clk1与clk2分别为目标重建时钟与AD采集时钟,取250 M与60 M。此时成像时间理论上应为5.27 ms,实际测量为5.2 ms,对应190 frame/s的成像速度。

在10%的采样率下,用AZ-HSPI方式重建图像均由大像素块构成,不能够重建目标物体的基本形貌,而用DQN-HSPI方式重建图像虽然无法重建目标物体形貌,但已经显现目标物体雏形。这与表1和表2相符,在10%采样率下,四个目标物体DQN-HSPI方式的SSIM均高于AZ-HSPI方式20%∼40%,PSNR数值也高3 dB以上。与之相对,40%采样率下两种方式均已较好地重建了目标物体,对应重建图像的SSIM数值差距也均小于10%。两种方式相对优势的缩小是因为随着采样率提高,两种方式的采样点逐渐重合,相对削弱了DQN-HSPI的优化效果。

表1 不同采样率下AZ-HSPI与DQN-SPI重建图像的SSIMTable 1 SSIM of the reconstructed images using AZ-HSPI and DQN-SPI at different sampling ratios

表2 不同采样率下AZ-HSPI与DQN-SPI重建图像的PSNRTable 2 PSNR of the reconstructed images using AZ-HSPI and DQN-SPI at different sampling ratios

以上成像结果表明,DQN-Hadamard单像素成像方式在搭建的ARM与FPGA协同单像素成像系统中能够获得优于AZ-HSPI规划的采样顺序,从而在较低的采样率下即可重建出目标物体图像,且成像速度更快。

图7对应图像的频谱如图8所示。AZ-HSPI的频谱采样点均依照规划的斜Z字形路径,限制于频谱左上角的低频部分,而DQN-Hadamard的频谱采样点存在低频聚集趋势,但是其高频也存在零星采样点。频谱的低频包含目标物体的主体信息,高频部分包含目标物体细节,因此低采样率下AZ-HSPI方式的重建图像虽然重构了目标物体的主体形状,却忽略了目标物体的细节修饰,致使重建图像出现较多大像素块,成像效果不佳。而DQN-Hadamard在低采样率下尽可能重建具有较高SSIM值的目标图像,兼顾了高频的图像细节,因此取得了远好于AZ-HSPI方式的成像效果。这种优化效果在不同字模上可以更好地体现,字模“2”与“5”具有曲边,相较于字模“4”与“7”具有更多高频细节,而AZ-HSPI方式将采样点限制于低频区域,使得低采样率下字模“2”与“5”的重建效果较差,而DQN-Hadamard方式在低采样率下也会适当采样高频信息,重建效果相对较优。

图8 不同采样率下AZ-HSPI与DQN-SPI成像频谱Fig.8 Spectra of the reconstructed images using AZ-HSPI and DQN-SPI respectively at different sampling ratios

3 结论

本研究提出的软硬件结合提升单像素成像速度的方案使用低成本的LED阵列投射基底图案,搭建了ARM与FPGA协同的单像素成像系统,并结合DQN-Hadamard单像素成像算法,软硬件协同实现了低成本的单像素成像系统。成像结果表明,搭建的单像素成像系统可实现高速的差分Hadamard单像素成像,结合DQN-Hadamard单像素成像算法,在30%采样率下即可较好重建目标物体图像,在较低成本下实现了较快的成像速度,验证了低成本软硬件协同单像素成像提速的可行性,可为单像素成像算法的硬件搭载研究提供参考。