并行压缩成像系统的压缩域小目标检测

王敏敏，孙胜利

(1. 中国科学院 上海技术物理研究所 中国科学院红外探测与成像技术重点实验室，上海 200083；2.中国科学院大学，北京 100049)



并行压缩成像系统的压缩域小目标检测

王敏敏1,2，孙胜利1*

(1. 中国科学院 上海技术物理研究所 中国科学院红外探测与成像技术重点实验室，上海 200083；2.中国科学院大学，北京 100049)

提出一种适用于并行压缩成像系统的压缩域小目标检测算法，以便省去获得小目标位置信息时进行的图像重建环节，有效降低算法的复杂度。该方法通过并行压缩成像数学模型捕获背景以及待测图像压缩测量值，通过高斯混合模型进行压缩域背景建模，从而获得压缩域前景观测值。然后计算压缩域前景观测值与各压缩域目标位置模板的余弦相似度，根据局部阈值以及压缩域候选目标面积实现目标检测与定位。最后进行了仿真实验，分析了降采样率、测量次数、投影误差以及噪声等对目标检测效果的影响。结果表明：增大降采样率及噪声均会降低检测效果；测量次数对检测效果的贡献是有限的；测量次数为2次或3次时，可以在保证检测效果的同时有效控制运行时间。此外，噪声对检测效果影响较大，因而需要严格控制系统噪声。该方法可以在不进行任何图像重建的情况下实现目标的实时检测。

小目标检测；压缩感知；背景建模；模板匹配；并行压缩成像系统

1　引　言

单像素相机[1]是压缩感知(Compressive Sensing, CS)技术[2]在成像系统中的一个典型应用。单像素相机使用一个数字微镜器件(Digital Micromirror Device, DMD)进行像平面编码，再通过单像素探测器采集的观测值重建原始场景图像。单像素相机用于二维成像时需要以时间换空间，因而通常面临采样时间过长的问题。此外在采样过程中，还要保证相机始终对准感兴趣区域，并且感兴趣区域变化较小。而使用单像素成像系统进行大视场成像同样也很困难。因为掩模的尺寸必须与重建图像的像素数相匹配，而设计一个大型的掩模以及随之而来的庞大计算量都给工程应用带来巨大挑战。为了克服上述限制，一种有效的方法是使用焦平面探测器阵列代替单个探测器，实现多路并行压缩测量[3-7]。文献[3,4]通过测量模型与仿真数据说明了该方案的可行性。文献[5,6]显示了并行压缩感知在红外成像领域的潜在优势。文献[7]分析了在实际应用中并行压缩成像结构可能影响成像效果的因素。

近年来压缩感知小目标检测与跟踪逐渐引起学术界重视。由于只要选择合适的观测矩阵并保证足够的观测次数，就能从少量观测值中得到原始信号的几乎全部信息，因而可以根据压缩观测值判断是否有目标出现。压缩感知小目标检测可以通过压缩域背景差值法[8,9]、求观测值的稀疏阶[10]、对观测值进行低秩稀疏分解[11-14]、压缩域目标模板匹配[15]等方法实现。然而无论是压缩域背景差值法、求观测值的稀疏阶，还是对其进行低秩稀疏分解，要得到小目标的位置信息都需要进行不同程度的图像重建，计算量较大，影响目标检测的实时性。而从压缩观测值中直接提取目标信息并进行目标检测与跟踪则可以省去图像重建的中间环节。文献[15]中方法虽然不需要进行图像重建，但其需要在检测前对图像进行滤波，以提高图像信噪比，因而对于压缩成像系统并不适用。因为压缩成像系统直接获取的是图像的压缩观测值而不是图像，无法事先进行滤波操作。

针对上述问题，本文提出一种适用于并行压缩成像系统的压缩域目标检测算法。该方法通过模拟并行压缩成像过程获得观测值，并使用压缩域背景建模方法获得压缩域前景图像，其可在不进行任何图像重建的情况下进行小目标检测。

2　压缩域小目标检测

2.1并行压缩成像系统数学模型

图1　并行压缩成像系统Fig.1　Parallel compressive imaging system

(1)

(2)

本文将使用上述数学模型模拟像平面编码的压缩成像过程。由于观测值矩阵中任意一个像素点都对应于原始图像上的一个矩形区域，因而该结构为一个并行的压缩成像结构。

2.2压缩域高斯混合模型

本文采用压缩感知高斯混合模型(CS-MoG)[16]对背景压缩观测值进行更新。已知CS-MoG可以获得与传统高斯混合模型类似的准确度，而且更加高效。此外，由于像素独立性假设并不影响背景相减法的准确度[16]，为了进一步降低计算量，本文假设观测值矩阵中的每个像素值都是非相关的，因而需要对每个像素进行独立操作。压缩域背景建模算法的主要思想是使用K个高斯分布对观测值矩阵中的每个像素进行建模。若某个像素小于其任意一个背景高斯分布标准差的2.5倍，则认为该像素为背景。本文对CS-MoG进行部分修改,以适应后续目标检测算法。

本文通过2.1节介绍的仿真方法获得并行压缩成像系统的初始背景观测值B1以及 (t+1)时刻的观测值Xt+1。在时刻t,每个观测值像素的高斯混合模型都包含K个高斯分布，且第i(1≤i≤K)个高斯分布的权重为ωi,t.K个高斯分布根据等级ωi,t/σi,t由大到小进行排序。若Xt+1的某个像素xt+1与其在时刻t的K个高斯分布均不匹配，则生成一个新的高斯分布取代其中等级最小的分布。新高斯分布的均值为像素值xt+1,标准差为初始标准差。若xt+1与第i个高斯分布匹配，则第i个高斯分布的参数可更新为：

ωi,t+1=(1-α)ωi,t+α,

(3)

μi,t+1=(1-ρ)μi,t+ρxt+1,

(4)

(5)

其中α是一个学习率；μi,t+1和σi,t+1分别为第i个高斯分布在时刻t+1的均值及标准差；ρ是一个计算得到的学习率，但将其作为另一个学习率只会增加运行时间，并不会改善背景建模效果，因而将其设置成一个小于10-5的值[17]。其他未匹配的高斯分布均值及标准差均不改变，但相应的权重更新为：

ωi,t+1=(1-α)ωi,t,

(6)

将所有权重归一化，并按照等级对所有高斯分布重新排序，则前S个分布可认为是背景高斯分布。

(7)

其中T为设置的阈值，T过小会使得部分背景高斯分布没有被包含，T过大将使得前景分布与背景分布融合在一起。本文将T设置为0.78。(t+1)时刻的背景压缩观测值可更新为：

Bt+1=(αXt+1+(1-α)Bt)Mt+1,

(8)

其中Mt+1为一个位置掩模，只对背景像素点执行操作。因而此时的压缩域前景图像Ft+1为：

Ft+1=(Xt+1-Bt+1)⊙At+1,

(9)

其中At+1是一个二值掩模，在Mt+1的位置上均为0，其他位置均为1。

(a) 待测图像(a) Test image

(b) 压缩域背景建模(b) CS-MoG图2　压缩域背景建模(CS-MoG)结果Fig.2　Results of CS-MoG

图2(a)为某一帧待测图像，白框指示目标位置；图2(b)自左向右分别为该帧图像的压缩观测值、在该时刻进行压缩域背景建模得到的背景观测值以及前景观测值。由于本文方法的物理原型为并行压缩成像结构，因而对于背景变化较缓慢的红外小目标图像，若使用相同的掩模，则待测图像压缩观测值与背景压缩观测值只在局部区域差别较大。

2.3基于模板匹配的压缩域目标检测方法

受文献[15]启发，本文采用压缩域模板匹配方法进行红外小目标检测。由于质心在(x0,y0)的红外小目标可近似为单位脉冲信号δ(x-x0,y-y0)，因而简单构造红外小目标位置模板Q(x0,y0)(1≤x0≤r,1≤y0≤c)，使其在位置(x0,y0)的值为1，其他位置的值为0。 一共可以得到N(r×c)个模板。为了与待测图像压缩观测值相适应，需根据2.1节并行压缩成像系统数学模型计算N个模板的压缩观测值，即使用与待测图像相同的掩模对每个模板进行压缩观测。本文假设掩模为r×c的0/1随机矩阵。由于需要进行M次压缩观测，因而一共包含M个不同的掩模。为了节省运行时间，只要r与c确定下来，掩模与模板压缩观测值均可以提前生成并保存在内存中以供调用。将每个模板的M个观测值堆叠成一个列向量，一共可得到N个rs×1(rs=M×rd×cd)的列向量yi(1≤i≤N).

图3　基于模板匹配的压缩域目标检测方法的主要步骤Fig.3　Main steps of target detection algorithm based on template matching in compressed domain

在时刻t，M个压缩域前景观测值也表示为一个rs×1的列向量yt. 本文采用余弦相似度st,i表征压缩域前景观测值yt与各模板压缩观测值yi(1≤i≤N)之间的匹配度

(10)

将这N个余弦相似度按模板中目标位置排列成r×c的余弦相似度矩阵，并采用中值滤波器对余弦相似度矩阵进行预处理。本文通过Niblack算法计算局部阈值tl：

tl=μl+λσl,

(11)

其中μl,σl分别为以某像素点为中心的区域的像素均值及标准差，λ是一个取值为5.2的常数(经验值)。然后对余弦相似度矩阵中所有大于其局部阈值tl的点求连通域，排除面积过小的连通域(例如面积小于8)，剩下的连通域的质心位置即为候选目标位置。

3　仿真实验

3.1参数设置

本文根据文献[17]对CS-MoG其他参数进行设置。对于复杂室外场景，通常将高斯混合模型中的高斯分布数K设置为3,4或5,本文将K设置为4。由于将高斯分布初始均值设置的特别大或特别小均有助于获得较好的背景建模效果，本文将初始均值设置为700。而初始标准差过小将导致背景像素点被误当作前景，过大则将导致前景像素点被误当作背景，故本文设置初始标准差为20。又由于本文采用的实验图像序列背景变化较为缓慢，因而将学习率α设置为0.01。

3.2实验结果分析

本文采用检测率Pd和虚警率Fα评价检测效果[18]：

(12)

(13)

由于目标很小，因而引入了局部信杂比(Signal to Clutter Ratio,SCR)[19]的概念。

(14)

(15)

其中NT为目标个数，SCRi为第i个目标的信杂比。

实验样本为6组图像尺寸为120×160的小目标图像序列，共包含550帧，共有870个小目标。图4为从各序列中随机抽取的小目标图像。其中序列(f)为真实红外小目标序列，其他序列均是通过在真实红外序列中添加小目标合成的。序列(d)(e)(f)中目标活动区域背景较为复杂，而序列(a)(b)(c)中较为简单。小目标共分为10类，各类小目标的信杂比如表1所示。实验环境为Intel(R) Core(TM) i7-4770 3.40GHz CPU 4G RAM, 操作系统采用Windows 7旗舰版64位，且所有程序均在MATLAB中运行。

(a)　(b)(c)

(d)　(e)(f)图4　实验图像序列Fig.4　Experimental image sequences

目标tar1tar2tar3tar4tar5SCR0．4～2．51．4～3．20．1～7．50．4～1．01．8～3．5SCR1．52．23．30．72．5目标tar6tar7tar8tar9tar10SCR1．3～3．30．3～3．01．2～7．40．6～1．70．9～3．2SCR21．43．61．21．8

本文对所有图像序列进行相同的参数设置。由仿真实验可知，各序列下降采样因子d、测量次数M、投影误差以及噪声等对目标检测效果的影响类似，因而本文对所有图像序列综合后的检测结果进行分析说明。

首先对不同降采样因子d以及不同H分布下的目标检测效果进行对比。图5和图6分别展示了不同d、m下测量次数对检测率和虚警率的影响。其中“ideal”代表H中的权重为理想分布，即所有元素均为1/m;“hyp”代表本文作者假设的分布，例如

(16)

可以看到当H为理想分布时，增大d或m虽然会降低检测率，但同时也会使虚警率下降。然而若改变H分布使其更接近真实情况，则检测率和虚警率均有所提高。因而通过已知的C,x和y求得正确的H十分重要。由于本文只是通过仿真方法进行目标检测算法验证，因而只对H进行简单假设。

图5　在不同d、m下测量次数对检测率的影响Fig.5　Effect of number of measurements on detection rate with different d and m

图6　在不同d、m下测量次数对虚警率的影响Fig.6　Effect of number of measurements on false alarm rate with different d and m

表2为不同d、m和测量次数下目标检测单帧时间。可以看到降采样率d增大可以有效降低算法运行时间。而随着测量次数的增加，运行时间也逐渐增加。测量次数为3时的运行时间约为测量次数为1时的2.8倍。

此外，本文对实验图像序列添加不同大小的噪声，探索噪声对目标检测结果的影响。图7和图8分别显示了添加均值为0，方差分别为20, 50, 90和120的高斯噪声后，测量次数对检测率和虚警率的影响。此时d与m均为16。可以看到随着添加噪声增大，检测率逐渐降低。而测量次数的增加对检测效果的贡献是有限的，测量次数达到3次之后，检测率增加幅度缩小。且在有噪声的情况下，随着测量次数的增加，虚警率总体呈下降趋势，下降幅度同样受限。综合考虑运行时间，测量次数应取2或3次。

图7　不同噪声下测量次数对检测率的影响Fig.7　Effect of number of measurements on detection rate under different type of noise

图8　不同噪声下测量次数对虚警率的影响Fig.8　Effect of number of measurements on false alarm rate under different type of noise

本文还对比分析了压缩低秩稀疏分解方法(CLSDM)[11]、基于压缩量测的红外小目标检测方法[15](在下文中用“Xie’s”表示)以及本文方法在不同场景下的检测率及单帧检测时间。其中CLSDM的阈值系数β仍设置为0.6；由于文献[15]中的方法主要针对单目标图像序列，因而对Xie’s方法采用与本文相同的阈值分割法；此时本文方法的d与m设置为16，测量次数为2次。检测结果如表3所示。对于6组图像序列，本文方法的检测率均优于其他方法。虽然本文方法需进行压缩域背景建模，但由于本文方法是基于并行压缩成像结构的，因而可大幅度降低算法复杂度。

表3　不同算法检测率与单帧检测时间对比

可以看到本文方法的检测速度较快。此外需要说明的是，由于CLSDM以及Xie’s方法均为单帧检测方法，而本文方法应用了之前帧的压缩域背景信息，因而虚警率远低于其他方法。

4　结　论

本文提出了一种适用于并行压缩成像结构的压缩域小目标检测算法，由于本文方法省去了图像部分重建或完全重建的中间过程，因而可以有效降低算法复杂度。此外还通过仿真实验分析了降采样率、投影误差、测量次数以及噪声等对检测效果的影响，与其他压缩域目标检测方法进行了对比。实验结果表明，适当增加测量次数可以改善检测效果，但随着测量次数的增加，运行时间也会增加。虽然增大降采样率可以有效降低算法的运行时间，但同时也会降低检测率。因而在实际应用中需要合理选择降采样率以及测量次数。本文在仿真实验中确定测量次数为2或3次，可以满足准确度以及实时性要求。此外噪声对检测效果影响较大，因而还需要严格控制系统噪声。下一步将确定H的具体结构，并基于并行压缩成像系统实验平台进行算法验证。

[1]DUARTE M F, DAVENPORT M A, TAKHAR D,etal.. Single-pixel imaging via compressive sampling[J].IEEESignalProcessingMagazine, 2008, 25(2), 83-91.

[2]BARANIUK R G.Compressive sensing[J].IEEESignalProcessingMagazine, 2007, 24(4), 121-124.

[3]SHEPARD R H, FERNANDEZ-CULL C, RASKAR R,etal.. Optical design and characterization of an advanced computational imaging system[J].Proc.SPIE, 2014, 9216, 92160A.

[4]KERVICHE R, ZHU N, ASHOK A.Information-optimal scalable compressive imaging system[C].ComputationalImagingandSensingConference(OpticalSocietyofAmerica), 2014.

[5]MAHALANOBIS A, SHILLING R, MURPHY R,etal.. Recent results of medium wave infrared compressive sensing [J].AppliedOptics, 2014, 53(34), 8060-8070.

[6]WANG J, GUPTA M, SANKARANARAYANAN A C.LiSens - A scalable architecture for video compressive sensing [C].ProceedingsofIEEEInternationalConferenceonComputationalPhotography, 2015,1-9.

[7]DUMAS J P, LODHI M A, BAJWA W U,etal.. Computational imaging with a highly parallel image-plane-coded architecture: challenges and solutions[J].Opt.Express, 2016, 24, 6145- 6155.

[8]CHEN Q, WANG Y. A small target detection method in infrared image sequences based on compressive sensing and background subtraction[C].IEEEInt.Conf.SignalProcess,Communication,Compute, 2013.

[9]修晓玉,刘玉喜,周国辉. 基于压缩感知的遥感图像小运动目标检测技术研究[J]. 计算机应用与软件,2014,31(5):219-222.

XIU X Y, LIU Y X, ZHOU G H. On detection technique of small moving objects in remote sensing image based on compressive sensing[J].ComputerApplicationsandSoftware, 2014,31(5):219-222.(in Chinese)

[10]QIN SH H, CHEN D Y, HUANG X,etal.. A compressive signal detection Scheme based on sparsity [J].InternationalJournalofSignalProcessing,ImageProcessingandPatternRecognition, 2014,7(2):121-130.

[11]LI L, LI H, LI T,etal.. Infrared small target detection in compressive domain [J].ElectronLetters, 2014, 50(7): 510-512.

[12]李安冬,林再平,安玮,等.基于自适应改进的压缩域红外弱小目标检测[J].中国激光,2015,42(10):221-228.

LI A D, LIN Z P, AN W,etal.. Infrared small target detection in compressive domain based on self-adaptive parameter configuration[J].ChineseJournalofLasers,2015,42(10):221-228. (in Chinese)

[13]穆治亚,魏仲慧,何昕,等. 采用稀疏表示的红外图像自适应杂波抑制[J]. 光学 精密工程,2013,21(7):1850-1857.

MU ZH Y, WEI ZH H, HE X,etal.. Adaptive clutter suppression of infrared images by using sparse representation [J].Opt.PrecisionEng., 2013,21(7):1850-1857. (in Chinese)

[14]何玉杰,李敏,张金利,等. 基于低秩三分解的红外图像杂波抑制[J]. 光学 精密工程,2015,23(7):2069-2078.

HE Y J, LI M, ZHANG J L,etal.. Clutter suppression of infrared image based on three-component low-rank matrix decomposition [J].Opt.PrecisionEng., 2015,23(7):2069-2078.(in Chinese)

[15]谢丽娟,黄建军,黄敬雄,等. 基于压缩量测的红外小目标检测[C]. 中国体视学学会.第十四届中国体视学与图像分析学术会.中国体视学学会:2015,5.

XIE L J, HUANG J J, HUANG J X,etal.. Infrared small target detection with compressive measurements[C].Proceedingsofthe14thChinaConferenceofStereologyandImageAnalysis.ChineseSocietyforStereology,2015,5. (in Chinese)

[16]SHEN Y, HU W, YANG M R,etal..Real-time and robust compressive background subtraction for embedded camera networks [J].IEEETransactionsonMobileComputing, 2016,152,406-418.

[17]ZANG Q, KLETTE R. Parameter analysis for mixture of Gaussians[R].CITRTechnicalReport188,AucklandUniversity, 2006.

[18]RIVEST J F, FORTIN R.Detection of dim targets in digital infrared imagery by morphological image processing[J].OpticalEngineering, 1996,35:1886-1893.

[19]GAO C, MENG D, YANG Y,etal..Infrared patch-image model for small target detection in a single image[J].IEEETransactionsonImageProcessing, 2013,22(12):4996-5009.

王敏敏(1990-)，女，浙江嘉兴人，博士研究生，2013年于山东大学获得学士学位，主要从事压缩感知成像、目标检测与跟踪方面的研究。E-mail: wangminmindata@163.com

导师简介：

孙胜利(1970-)，男，内蒙古通辽人，博士，研究员，博士生导师，1996年于哈尔滨工业大学获得硕士学位，1999年于中国科学院上海技术物理研究所获得博士学位，主要从事光电仪器的现代设计方法、数字化制造和全过程定量化测试等研究。E-mail: palm_sun@163.com

(版权所有未经许可不得转载)

Small target detection in compressed domain for parallel compressive imaging system

WANG Min-min1,2, SUN Sheng-li1*

(1. Key Laboratory of Infrared System Detection and Imaging Technology,ShanghaiInstituteofTechnicalPhysics，ChineseAcademyofSciences,Shanghai200083,China;2.UniversityofChineseAcademyofSciences,Beijing100049,China)*Correspondingauthor,E-mail:palm_sun@163.com

A small target detection algorithm working at a compressed domain was proposed for parallel compressive imaging systems to reduce the computational complexity by eliminating the process of image reconstruction. A mathematical model of the parallel compressive imaging system was used to capture measuring values of background and current frames. Then, the background measurements were updated according to a compressive sensing-mixture of Gaussians model (CS-MoG) to obtain the measurement values of the foreground. The cosine similarities between the measurements of current frame and the compressed target-location templates were calculated. And the local threshold and target area in the compressed domain were adopted to screen candidate targets. Finally, the effects of down-sampling rate, number of measurements, projection error and noise on the detection results were studied by simulation experiments. Experimental results show that large down-sampling rate and noise would decrease the detection performance, but the number of measurements to detection results has limited contribution. When 2 or 3 measurements are set, the operation time could be controlled while ensuring the detection performance. It suggests that the noise in the system should be controlled strictly because the noise effects the detection ability greatly. Furthermore, the proposed algorithm can achieve real-time target detection without any image reconstruction.

small target detection; compressive sensing; background modeling; template matching；parallel compressive imaging system

2016-07-12；

2016-08-12.

国家863高技术研究发展计划资助项目(No.2015AA7015091); 中国科学院上海技术物理研究所2015年所创新专项资助项目(No.CX-63)

1004-924X(2016)10-2549-08

TP391.4

Adoi:10.3788/OPE.20162410.2549