周颖, 谢振平, 蒋晓军
(1.江南大学 人工智能与计算机学院, 江苏 无锡 214122; 2.江苏省媒体设计与软件技术重点实验室, 江苏 无锡 214122;3.近地面探测与感知技术国防科技重点实验室, 江苏 无锡 214035)
在紧张激烈的军事对抗过程中,发现并摧毁敌方的军事装备是取得战斗胜利的关键环节。因此,快速设计出武器装备、运输车辆、侦察车辆等军事目标的伪装隐蔽策略,对灵活作战、部署兵力、机动调配等方面具有十分重要的战略意义[1]。由于迷彩色及变形具有明显的环境适应性和隐蔽效果,学者们以军事目标的迷彩伪装为方向进行了大量研究,包括迷彩拼接[2]、迷彩目标识别[3-4]、伪装图案设计、伪装效果评估等,均具有各自的特点优势。
伪装图案设计[5-6]主要以数码迷彩、变形迷彩、仿造迷彩等图案类型为主,针对不同的自然环境,从军事目标伪装隐蔽的角度进行迷彩图案设计。初苗等[7]提出了基于空间混色系数的数码迷彩空间混色程度表征方法,应用于提高数码迷彩的设计质量。毕胜等[8]将分形几何理论与随机中点位移算法应用到迷彩图案设计中,实现了变形迷彩图案的自动生成。陈善静等[9]借鉴生物遗传进化思想,以斑马图案为基础进行伪装图案优选复制、交叉繁殖和变异繁殖等仿生进化处理,得到能适应成像模型的仿造迷彩图案。针对不同类型的伪装图案,崔宝生等[10]从图像统计、形状和纹理三方面提取出目标及其背景的特征值,采用反向传播(BP)神经网络建立了伪装效果量化评估模型;马世欣等[11]研究了联合探测与感知的高光谱伪装效果评估方法;杨鑫等[12]运用目标跟踪和特征统计技术,提出了动态伪装效果评估方法。
综上所述,目前的军事目标伪装隐蔽研究主要是基于传统的图像处理手段对军事目标进行伪装图案设计和伪装效果评估。随着人工智能与深度学习的不断发展,深度神经网络在计算机视觉领域显现出了巨大的优势,尤其是在目标识别[13]、图像分割[14]、图像特征提取[15]等问题上具备运算速度快、结果准确率高等优点。
本文在已有研究基础上提出一种迷彩目标在典型自然环境中高效隐蔽策略的仿真设计新方法,使己方军事装备在战场环境中更好地保护自己,以期为军事目标在自然场景中进行动态机动行为提供路线参考。
本文所提迷彩目标在典型自然环境中的隐蔽策略仿真设计方法主要框架如图1所示,仿真设计模型的输入参量为:迷彩目标图像、环境场景图像、视错觉条带图像等三方面数据,模型输出为一组给定当前环境场景中可有效实现迷彩目标隐蔽的策略参数(迷彩目标图像的平移参数、旋转参数,视觉错条带图像的旋转参数)及相应的隐蔽仿真图像。图1中,隐蔽策略参数为迷彩目标图像的平移参数(图像宽度和高度的像素值)、迷彩目标图像的旋转参数(旋转角度°),以及视觉错条带图像的旋转参数(旋转角度°)。
图1 本文方法的技术框架Fig.1 Technical framework of the proposed method
如图1所示,本文方法技术框架的主要过程为结合概率分布采样的粒子群优化算法。引入这一新算法思想的主要思路如下:传统单目标粒子群优化算法的输出是一个最优全局解,而本文模型的目标是尽可能多地找到一组位于不同位置但又都有较高隐蔽度的隐蔽策略。通过在传统粒子群优化算法计算过程中嵌入对位置参数的概率分布采样处理,可以有效地实现上述要求。
隐蔽仿真图像依据隐蔽策略参数动态计算生成。为了研究不同典型场景下的隐蔽仿真图像结果,本文选择林地和荒漠两种典型自然场景,并针对其中的大量可能情况作对比实验,发现迷彩目标在靠近树木和道路附近时隐蔽效果相对较好。相应地,表1给出了4种能够实现较好隐蔽效果的场景结果,分别是林地型林地场景1的数码迷彩目标隐蔽仿真结果、林地场景2的变形迷彩目标隐蔽仿真结果,荒漠型荒漠场景1的数码迷彩目标隐蔽仿真结果、荒漠场景2的变形迷彩目标隐蔽仿真结果。
表1 不同类别场景下迷彩目标隐蔽仿真结果示例
根据试验不同的图像距离度量方法后发现,余弦相似度得到的图像融合程度值与人眼判别结果最为接近。故迷彩目标的隐蔽程度根据隐蔽仿真图与相应纯背景图的深度神经网络特征相似度(余弦相似度)来度量,它也用作粒子群优化算法的适应度。仿真计算的终止条件为仿真计算(粒子群优化计算)结果不再有明显变化。
针对地理空间广阔和不同地形地貌的环境场景特点,为快速仿真计算出迷彩目标的理想隐蔽策略,考虑引入基于鸟群觅食行为的粒子群优化算法[16-18],该算法能够快速收敛得到最优解。根据此思想,引入粒子群优化算法对迷彩目标隐蔽策略进行搜索计算。算法的主要过程如下:
步骤1以场景图像大小为搜索空间的范围,将每个迷彩目标看作搜索空间中一个没有体积质量的目标粒子,在这个范围中随机初始化一群目标粒子,它们在搜索空间中以一定的速度跳跃,该速度决定目标粒子跳跃的方向和距离。
步骤2将平移参数和旋转参数作为目标粒子的位置参数,计算目标粒子与场景图像生成的隐蔽仿真图像融合度,并将融合度作为每个目标粒子迭代优化的适应度。在每一次迭代中,比较当前轮次中所有仿真图像的融合度大小,获取当前的全局最优隐蔽策略。
步骤3根据定义的速度计算公式(1)式、位置计算公式(2)式对仿真图像的隐蔽策略参数进行更新,设置迭代次数为终止条件,满足迭代次数时程序终止运行,输出相应的隐蔽仿真图像及隐蔽策略参数。
(1)
(2)
考虑到视错觉图像的条带样式对人眼具有较强的迷惑性,进一步引入具有视错觉特色的条带样式设计与覆盖策略。视错觉是由于人的视觉和知觉神经同时受被观察物体的影响,人受到生理、心理等因素综合刺激后形成的视觉感知偏差。图3(a)~图3(f)为条带样式设计与组合的过程示例。图3(c)展示的视错觉图像为曲线错觉类型,此类图像的纹理图案中线条看起来似乎是弯曲的,但其实是笔直而相互平行的。结合视错觉图像的特点,同时参考形成视错觉效果的纹理线条,运用图案纹理提取、迷彩主色提取、混合主色与纹理以及条带组合等技术,进行视错觉条带样式的设计与组合。
图3 条带样式设计与组合的过程示例Fig.3 Process of strip style and combination design
具体地,抽取视错觉图像的纹理线条,同时采用k-means主色聚类的计算公式(3)式,提取迷彩目标的主体颜色,并使用(4)式按照纹理线条的样式,将颜色和纹理进行亮度均衡混合设计,使得视错觉图像的纹理线条与迷彩目标在颜色空间上达到一致。然后将设计的条带样式运用(5)式,按照一定的数量和规律进行排列组合。
(3)
Io=(1-α)Ic+αIt,
(4)
Ns=「HIt/HIo⎤,
(5)
式中:Emin为最小化图像像素聚类平方和;c为聚类得到的颜色类别;d为图像像素;Xγ为第γ个图像像素;Mμ为第μ个图像的像素均值;Io为混合主色与纹理后的输出图像;α为混合系数,α∈(0,1);Ic为迷彩主色提取图像;It为纹理线条提取图像;Ns为组合的条带数;HIt为迷彩目标的高度像素值;HIo为混合主色与纹理后的输出图像高度像素值。
依据条带样式设计与组合的过程(见图3),将不同样式的条带按照错位、交叉、叠加等方式进行组合排列,形成视错觉条带图。然后将视错觉条带图作为输入参量,视错觉条带图的旋转参数作为隐蔽策略参数,并基于粒子群优化算法(见图2),以迷彩目标的隐蔽融合度作为寻优目标进行迭代更新,获得隐蔽融合度更高的隐蔽仿真图像。表2为引入条带覆盖策略后获得的隐蔽仿真结果,展示了数码迷彩目标在林地型场景和荒漠型场景下的各3种隐蔽效果。同时在表2中每张隐蔽仿真图像右面标注迷彩目标的隐蔽融合度值,数值越接近1,表示隐蔽效果越好。
根据粒子群优化算法的流程图(见图2)可知,计算迷彩目标粒子的适应度是其中的关键步骤。考虑将迷彩目标图像、环境场景图像和视错觉条带图像的融合度作为每个目标粒子的适应度,具体计算方式如下:根据(1)式和(2)式更新的位置参数获得迷彩目标图像的平移参数值、旋转参数值和视错觉条带图像的旋转参数值作为隐蔽策略参数值,生成隐蔽仿真图像;采用VGG-16深度神经网络模型,对获得的隐蔽仿真图像区域及相应纯背景图像区域进行特征提取,然后运用(6)式计算仿真图像区域及相应纯背景图像区域的深度神经网络特征相似度(余弦相似度),用上述余弦相似度作为迷彩目标的隐蔽融合度。
表2 条带覆盖策略的隐蔽仿真结果
(6)
式中:Ff为隐蔽图像区域及相应纯背景图像区域的融合度;Qp(imgc,imgs,mw,mh,rc,rs)为隐蔽仿真图像区域的特征向量,p(imgc,imgs,mw,mh,rc,rs)为隐蔽仿真图像的合成方法,imgc为迷彩目标图像,imgs为视错觉条带图像,mw、mh迷彩目标图像的平移参数,mw∈[0,w],mh∈[0,h],w、h分别为环境场景图像的宽和高,rc为迷彩目标图像的旋转参数,rc∈[0°,360°],rs为视错觉条带图像的旋转参数,rs∈[0°,360°];Qb为对应的纯背景图像区域的特征向量。
由于粒子群优化算法具有收敛性,经过多次演化计算后迷彩目标隐蔽策略参数将会趋向于单一值。为了获得同一目标在相同场景背景中更多样的有效隐蔽策略,引入基于概率分布的采样技术对迷彩目标的平移参数进行再采样,以获得更多不同区域中的迷彩目标隐蔽策略。具体地,采用Metropolis-hasting采样算法[19-22]对目标粒子位置参数中的平移参数进行采样,相应的算法过程如下:
输入:先验概率分布q(x(*)|x(t)),目标概率分布p(x(i)|Xi),其中Xi={x1,…,xN},N为目标粒子数量。
initx(0)←random.uniform(xmin,xmax)
fort←0 toZ-1 do
sampleu←random.uniform(0,1)
samplex(*)←q(x(*)|x(t))
calculationλ←
ifu≤λ
x(t+1)←x(*)
else
x(t+1)←x(t)
end if
end for.
输出:样本序列(x1,x2,…,xN).
其中:x(0)为在[xmin,xmax]区间的一个初始随机实数,xmin、xmax分别为场景背景的范围最小值和最大值;Z为迭代次数;q(x(*)|x(t))为已知的正态分布,从中生成平移参数的候选状态,x(*)为候选数值,x(t)为均值为0、方差为1的正态分布;λ为接受概率;u为在[0,1]区间内的一个随机实数。按照以上过程进行分布采样,在算法停止迭代后采样出一个样本序列(x1,x2,…,xN),可以近似地认为是从目标分布中采样得到的。因此,利用概率分布采样获得的样本可以满足迷彩目标隐蔽策略的分散性要求,得到同一目标在同一场景中不同区域的隐蔽策略参数。表3展示了同一林地型数码迷彩目标在同一林地场景中9处不同区域的隐蔽仿真图像。
3.1.1 迷彩目标分割模型训练
通过无人机采集和网络搜索到丛林、林地、草地、荒漠、沙漠等不同背景类型的航拍环境场景图像,从中选取10张作为环境场景图像,像素大小为2 000×1 500. 同时对迷彩玩具车模型进行俯视角度拍照,得到8个具有代表性的迷彩目标图像,包括林地型和荒漠型迷彩,像素大小为50×20. 对迷彩目标图像进行空间位置变换、姿态角度变换以及光照明暗度均衡,再与场景图像进行仿真融合,得到初始的仿真训练样本。同时为了提升训练模型性能,对初始的仿真训练样本采用基于图聚类的采样算法[4],选出具有代表性的样本图像,最终得到24 000张有效的仿真训练样本图像,并对其进行迷彩目标区域语义标注。然后运用深度神经网络DeepLab-Resnet网络作为训练模型[14],进行20 000次迭代训练,得到用于测试的迷彩目标分割模型。
3.1.2 测试数据集构建
实验中,选取4张不用于训练的林地型和荒漠型航拍场景图像作为测试环境场景图像。测试迷彩目标图像来源于3dmax建模得到的越野车模型,经过4种典型的迷彩图案贴图,得到与实际车辆尺寸相符的迷彩越野车俯视图。表4所示为测试环境场景图像。表5所示为测试迷彩目标图像。由于视觉错条带图像对人眼具有极大的迷惑性,也便于放置在车辆顶部,经过条带样式设计与组合(见图3),同时运用(5)式计算获得条带数量为5条,分别生成5种视错觉条带图像。表6所示为相应的视错觉条带图像。
表3 同一林地型数码迷彩目标在同一林地场景中的1组隐蔽仿真结果
表4 测试环境场景图像
表5 测试迷彩目标图像
3.1.3 评价指标
结合迷彩目标分割模型,考虑到迷彩目标的隐蔽融合度和分割识出结果本身是一组对抗关系[23],当融合度越高时分割识出结果就越差。为了定量评估迷彩目标隐蔽策略仿真设计方法的有效性,从融合度和分割识出结果两方面来判断隐蔽仿真图像样本集的隐蔽效果。一方面,依据融合度的计算公式(6)式,可以得到一组多区域隐蔽仿真图像的融合度值,然后取这组多区域仿真图的平均融合度MFf为评价标准,以评价算法的整体强壮性。另一方面,运用训练好的迷彩目标分割模型对这组仿真图进行测试,得到分割识出率和分割图像结果。就是把仿真图中的每个像素点作为计量单位,统计迷彩目标像素点的识别数量,运用(7)式计算目标像素点的分割识出率Pt,获得迷彩目标居中于隐蔽仿真图像的平均分割识出率MMPt和迷彩目标非居中于隐蔽仿真图像的平均分割识出率MPt. 分割识出率的计算公式为
表6 设计的视错觉条带图像
(7)
式中:T为迷彩目标中像素被正确识别的像素数;B为背景像素中被识别为目标的像素数。
考虑精细化评估本文所提迷彩目标与场景图像的融合仿真计算,以及视错觉条带覆盖的迷彩目标隐蔽计算对隐蔽效果的影响,使用名称为林地1和荒漠1的迷彩目标图像,对林地1和荒漠1分别进行3种情况的实验。第1种情况是仅对迷彩目标图像进行平移参数变换,第2种情况是对迷彩目标图像进行平移参数变换和旋转参数变换,第3种情况是基于第2种情况,同时输入对应的视错觉条带图像并对条带图像进行旋转参数变换。结合前期多次实验得到的数值结果相差在0.2以内,考虑设置在每种情况下均进行10次实验,并取10次实验得到的全局最优隐蔽仿真图像的融合度均值MFg和一组多区域隐蔽仿真图像的融合度均值MFp. 根据实验结果的收敛情况,设置每次实验的迷彩目标数量设为200个,训练轮次为100轮。实验中设置的具体参数如表7所示;根据隐蔽融合度的计算公式(6)式,得到实验结果如表8所示。
表7 粒子群优化算法参数设置
表8 不同策略下本文方法的性能结果
分析表8可以看出:在林地和荒漠两种典型的自然环境场景中,第1种情况下获得的全局最优隐蔽仿真图像的MFg可以达到0.98以上,并且一组多区域隐蔽仿真图像的MFp也可以达到约0.97;第2种情况下,加入迷彩目标图像的旋转参数变换后,相较前者MFg和MFp均提高约0.02,表明本文所提嵌入概率分布采样的粒子群优化算法具有显著的优势;第3种情况下,再加入不同样式条带的视错觉条带图像的旋转参数变换,根据实验结果可知融合度有了进一步提高,表明本文所提条带样式设计与覆盖策略具有合理性和实用价值。
为了进一步检验所提方法的有效性,使用4种典型的迷彩图案林地1、荒漠1、林地2、荒漠2,运用上述仿真设计框架(见图1)得到一组隐蔽仿真图像,再利用迷彩目标分割模型对隐蔽仿真图像进行检验,得出平均分割识出率。同时引入5种视错觉条带图像(林地1_条带1、林地1_条带2、荒漠1_条带3、林地2_条带4、荒漠2_条带5)与之进行对比分析。实验中,为了保证结果的可靠性,分别对每种情况进行10次实验,取MFf、MMPt、MPt作为数值性能指标。表9给出了相应的实验结果。
表9 迷彩目标隐蔽策略仿真设计性能结果
由表9可以清楚地看出:运用迷彩目标分割模型进行不同方案的多次实验后,迷彩目标图像和环境场景图像的融合仿真计算得到的隐蔽仿真图像的MMPt和MPt均低于0.9;引入不同样式视觉条带图像后得到的隐蔽仿真图像的MMPt和MPt又降低了约0.02,表明本文方法获得的隐蔽仿真图像具有较强的迷惑性和隐蔽性。
为了进一步直观地展示本文方法的性能,对隐蔽仿真图像的测试结果进行可视化呈现,给出表10和表11所示隐蔽仿真图像的DeepLab-Resnet网络分割实验结果。运用3.1.1节训练得到的迷彩目标分割模型进行测试,将增加了条带覆盖策略的隐蔽仿真图像输入模型中,获得相应的分割图像。其中,表10和表11的第1行均是迷彩目标位于图像中间位置,第2行均是迷彩目标不在图像中间位置。分割结果中纯黑部分为背景,有色部分为迷彩目标分割模型发现的迷彩目标区域。
表10和表11的测试结果表明,基于迷彩目标图像和环境场景图像的融合仿真计算,同时引入视错觉条带覆盖策略的方法框架,迷彩目标分割模型不能完整分割出迷彩目标区域,甚至无法发现迷彩目标区域。而且结合人眼判读,也可以发现获得的不同区域隐蔽仿真图像具有明显的隐蔽性。
表10 隐蔽仿真图像(荒漠型场景)的DeepLab-Resnet网络分割实验结果
表11 隐蔽仿真图像(林地型场景)的DeepLab-Resnet网络分割实验结果
本文提出一种基于优化计算的迷彩目标隐蔽策略仿真设计方法,该方法主要设计了迷彩目标图像、环境场景图像和视错觉条带图像的融合仿真计算策略、条带样式设计与覆盖策略,以及嵌入概率分布采样的粒子群优化算法的搜索计算过程。所得主要结论如下:
1)本文方法可以准确给出迷彩目标的隐蔽策略参数,为快速地隐蔽迷彩目标提供位置信息,并能依据隐蔽策略参数生成高质量的多样性隐蔽策略结果,表明了新方法思路的现实可行性,即在当前技术条件下迷彩目标隐蔽策略的自动化设计是完全可行的。
2)本文所提视错觉条带样式设计与覆盖策略可以得到隐蔽性和迷惑性更强的隐蔽策略结果,而且也通过了深度神经网络分割模型的验证,表明了新方法的有效性,也为典型自然环境下的迷彩图案设计提供了一种新的思路。
如何更真实地仿真设计军事目标在战场环境中的动态隐蔽策略,以达到军事目标在机动过程中最好的隐蔽能力,还需要更加深入的研究。