图像数据受限下的处理与分析

刘怡光

四川大学，成都 610065

1 受限图像数据及其难点与挑战

受限下的图像数据，是相对于不受限的图像大数据而言的，一般由两个方面的因素构成:1)目标因素;2)成像因素。目标因素构成的受限有多种情况，例如目标不常出现、目标高机动等，导致关于该目标的图像数据相对较少。成像因素导致的受限较多，一种是成像成本太高或成像环境恶劣，导致某类目标的图像数据受限;另一种情况是由于成像设备本身的不确定性导致的图像数据的不确定性。因此，受限下的图像数据大致可分为两个方面：一方面指图像数据较少，尤其是关于某一个目标或者某一类目标的图像数据较少(He等，2021；Mukherjee和Awadallah，2020)；另一方面指关于某类目标的图像数据中有很多的不确定性，如图像数据的噪音严重、图像数据的不完整性等(Gull和Daniell，1978)。不完整性通常指图像目标的信息不完整，也常指图像中目标的轮廓信息没有得到完全呈现，具体表现为：由于遮挡、雨、雪、雾和霾等因素导致图像中某些目标的图像信息不完整。所以受限下的图像数据，通常具有不确定性、不完整性以及小样本特性。受限下的图像数据也包含小目标特性，小目标特性不同于小样本特性：小目标特性是指目标在图像当中的像素占比过低，达不到平常认知至少需要的像素数量，也就是说，像素数量达不到区分目标形态的程度，无法对目标进行比较准确的分类。总体而言，图像数据如果本身不完整、不确定、小样本、小目标，具有这样特性的数据，就认为是受限下的图像数据。

受限情况下的图像数据分析，相对于不受限的图像数据而言，具有比较突出的难点与挑战。首先，挑战来自于图像数据本身的不确定性和不完整性。不确定性是由复杂的光环境或者电磁环境所导致的。如在复杂光环境下，图像目标纹理信息往往非常复杂，这种纹理既受到目标本身表面纹理的影响，同时又受到复杂的光或者电磁环境的影响，例如合成孔径雷达(synthetic aperture radar，SAR)成像时电磁环境的影响。这样的不确定性对于图像数据的分析处理带来了很大的挑战。另外，显而易见的挑战来自于各种遮挡。尤其是在雨、雪、雾、霾和尘等环境下对密集目标跟踪与分析时，目标遮挡常常比较严重(Lan等，2022)。以上挑战基本来自常规目标，或者来自环境因素的影响。实际上，需要探测成像及智能感知的目标，往往是非合作的，甚至是主动对抗的，目标会想方设法抵抗成像、抵抗感知和抵抗识别。例如，通过烟雾弥漫、拟态伪装等，掩盖目标本身真实表面纹理信息。这种情况带来的不确定性和不完整性会进一步加剧目标识别分析的难度。此外，还有一方面的挑战来自探测机理局限和探测感知设备本身，导致图像数据的不完整性和不确定性。探测成像与智能感知需要一定光照或一定电磁强度，远距离及弱光暗光环境下的探测成像常常具有比较突出的小目标和噪音特点，从而导致图像(或信号)处理与分析时比较突出的不确定性和不完整性(Dempster等，1977)。

2 方法梳理及其问题和缺点

目前，受限情况下图像数据处理的方法手段远远少于不受限的图像数据。如图1所示，归纳起来，受限图像数据的处理方法中，对不完整数据的处理，从数学上讲一般有两种：一种是补全法(Yang等，2022；Yoo等，2019)，即在补全不完整数据的基础上进行处理和分析；另一种是对不完整图像数据直接进行分析(Gu等，2020)。这两种方法也可归结为一种，就是基于先验知识生成经验知识，再对不完整数据进行处理。只是处理的两种手段中，一种方法中间有白盒过程，另一种方法是端到端。对于补全的方法，在补全过程中可添加人为的合理性判定(Liu等，2021)，其可信性一般而言较高；对于端到端的方法，由于没有中间过程，它的可靠性要低于补全法，但是端到端方法的优势在于方便、简单易行，尤其是采用目前的深度方法之后，这种方法更为流行。对于不确定性的处理，实际上目前尚无性能、精度及可靠性都很好的方法，都是在可能的概率空间当中进行广泛的搜索。目前的一系列方法仅仅是聚焦于如何加速搜索，如何缩减搜索空间，如何组织数据等(Hwang等，2019)，这样的方法都不能掩盖一个本质——为了减少不确定性的影响，在不确定性所导致的可能性空间中进行广泛的搜索，从而导致计算复杂度剧烈提高。

图1 受限图像数据的处理方法

至于小样本数据的处理方法，大致可分为两类：一类是在人为先验知识基础上，丰富小样本张成空间中的数据点，实际上，样本过少时，其张成的空间本身就具有严重缺陷，在张成的子空间中丰富样本并不能带来处理与分析的另外信息维度，此时，如何依据先验知识提高小样本张成空间的维度比丰富训练样本本身更为重要；另一类是直接在小样本的基础上进行识别(Davari等，2019；Li等，2021)，如生成式对抗网络(generative adversarial network，GAN)等，但该模型也需要大量训练数据，如果训练数据少，尤其是小样本特性过于突出的时候，导致样本空间中的已知训练样本锚点过于少，则无论采用什么样的模型，小样本训练出来的可信性都会大打折扣。至于小目标导致目标分析的不确定性，目前没有较好的办法，都是在提高硬件性能、成像分辨率以及成像质量的基础上，增加识别可信度和处理分析的可信度。总体而言，受限图像数据的分析和处理可参见表1，基本上都是软硬协同的启发式、广搜索等(Robbeloth和Bourbakis，2016)，尚未形成很好的方法和技术。

表1 受限图像数据分析与处理方法总结

对于受限情况下的图像数据处理与分析，目前尚未形成一套行之有效的理论和方法，现有的一些方法和技术都受限并聚焦于一个本质的核心问题，在数学上等效为如何在欠秩情况下判定一个解的合理性。在图像数据受限情况下，其处理与分析的结果通常为一个解空间。解空间的连续性、紧致性等都不一定满足，要在这样一个复杂、不连续、非紧致的空间中，在事先都不知道合理性如何判断的情况下，找出一组接近合理甚至真实的解，实际上是一个伪命题。受限图像数据处理中碰到的大量问题都是不可逆的逆问题(Hansen，1998)，不可逆的逆问题求解，必须添加另外的约束条件才能实现可逆过程。如对于小目标的识别，当像素的数量不足以体现目标的独特性质，而又需对小目标进行精确细分和识别的时候，通常条件下是不可能实现的，但在特殊领域内也是可能的。所以在现实生活当中，对于一些受限情况，尤其是对于高空、高速目标等一些特殊目标的识别，必须具有确定的先验领域知识(Zhou等，2012)，才可能达到一定的识别率和可信度，所以对不可逆的逆问题添加另外的约束维度，对于求解受限情况下的图像数据分析问题至关重要。因此首先需要解决的问题，就是判定添加另外的维度时，该维度的合理性，这实际上也是受限图像数据分析领域中没有解决的问题。当然通常情况下，这个领域知识是合理的，但在对抗情况下，所监视探测的目标往往具有主动对抗的能力，如何添加另外的约束维度，实现不可逆的逆问题求解具有更高的难度和复杂性，其牵涉对抗双方先验知识、当下策略和短长期决策等多方面的博弈。有时，由于添加的约束不够合理，或者犯了经验主义错误，导致获得的不可逆逆问题的解与合理值/最优值/真实值差距甚远，甚至南辕北撤。

3 反思人工智能在数据受限下的挑战

受限图像数据的分析与目前大数据驱动下的智能分析，形成了较鲜明的对比。后者已有的手段和方法，对于前者很难得到鲁棒性和可信性都较高的结果。而对于后者的研究，由于有大量的数据，涉及的问题在数学上不但可逆，且经常超定。对于超定问题，通过增加节点数以及增加开口参数的数目，是可以得到通用性与经验风险两者折中最优的模型和方法。这一点，在Vapnik(2013)的《统计学习本质》一书中有详细且深入的论述，并建立了结构风险最小(structural risk minimization, SRM)和经验风险最小(empirical risk minimization, ERM)的优化范式。所以在大数据驱动下的人工智能研究甚众，成果丰硕，在实际应用当中也取得了比较突出的效果。这一点在生物特征识别当中得到比较突出的体现，如说人脸识别、掌纹识别和虹膜识别等(Jingade和Kunte，2022；Trabelsi等，2022；Jayavadivel和Prabaharan，2021)。

大数据驱动下的人工智能，其可靠性和鲁棒性是有一定保障，这个保障的基础数学原理来自于统计学习中的中心极限定理。数据达到一定规模时，其分布都符合正态分布，根据正态分布的理论，3σ范围之内就可以达到99.7%的正确率和可靠性。这也正是大数据分析能够取得成功的重要原因之一。实际上，只要数据达到一定规模，一个模型有跟数据规模相适应的开口参数，且适应性训练能突出数据分布的3σ原则，就可以预想该模型和该数据的耦合能够达到较好的识别和分类效果，也就具有一定的智能分析能力。反观受限情况下的图像数据，不但数据量少，而且噪音严重，且有一定的缺失，所以其统计特性或统计分布的一致性，都远远达不到在大数据下才能体现的数据一致性要求。因此，用大数据下的统计方法来应对受限情况下的图像数据分析，本身就有机理上的缺陷。亟需理论上建立适于受限图像数据分析的理论和方法。

另外，大数据分析时，统计推断分析的域一般是封闭的，其原因是大数据能表现目标样本的各个方面，所碰到的新样本都位于监督样本张成的空间中(待分析样本并不一定在训练样本集中出现过，只要位于其空间，也就是待分析样本能用训练样本进行表达)，此时贝叶斯分析能得到从概率意义上最优的结果。但在受限图像数据分析时，由于先验数据少，待分析样本有可能不位于先验样本张成的空间，此时适合闭域统计推断的贝叶斯分析会出现有意思的结论。譬如，如果承认“人是由男性与女性构成”的论断，并认可从第1性征和第2性征能明确推断一个人是男性还是女性，并且属于两类人的概率和为1的前提条件，则碰到缺少第1性征的人时(如太监)，贝叶斯分析会出现属于男性和女性的概率和小于1的问题，而遇到同时具有男性与女性第2性征的人(如人妖)又会出现概率和大于1的问题，出现这些有意思结论的根源在于，论断本身的封闭性并不适合所示两类人的分析。因此受限图像数据分析的统计推断模型尚需突破，也许D-S(Dempster-Shafer)证据理论是可能的替代(Shafer，1976)，虽然最近有这方面的一些尝试，考虑了非确定性的影响(Zhang等，2021)，但非确定性度量一直是减小非确定性影响的关键环节。在计算机视觉、医学图像处理和生物信息等领域，建立了大量以贝叶斯逼近和集成学习为代表的用于度量非确定性的方法(Abdar等，2021)，但准确可靠的非确定性度量一直是挑战性的问题。况且，即使得到非确定性度量，目前的D-S证据理论本身是对贝叶斯分析进行的扩展，并不是针对受限图像数据分析提出的。

4 未来发展和应对措施思考

对受限情况下的图像数据进行分析，建立一个通用的分析框架和系统，目前而言，似乎还没有露出端倪。即使是当前的深度识别模型，对于受限情况下的图像数据分析，也非常容易过拟合，很容易陷于过分强调ERM的窘境。实际上，深度模型对受限图像数据，难以找到强调SRM的优化方向和途径。这就让我们不得不思考受限情况下的图像数据分析，其未来的发展和应对的措施到底在哪里。目前，在数据受限的情况下，大致有两类方法，一类是基于数据驱动的方法，其正确性和可靠性是不能保证的；另一类是基于机理的办法，但由于机理不清，在数据受限的情况下也很难反推其理，在机理不清的情况下，建立的模型方法也很难达到较高的可信度和鲁棒性。在第1类方法中，近年来值得关注的技术是GAN的左右互搏(Goodfellow等，2014)，用已有的样本产生更多的样本。实际上，最优传输理论以及几何深度学习理论都认为，GAN也并没有从信息熵的角度增加学习样本的维度和信息量，仅是根据先验知识，在先验知识的引导下丰富训练样本。GAN的唯一作用是突出了原来不甚突出的现象，原来不甚明显的一些优势，也就是说让突出更加突出。所以用GAN发现数据当中的小样本、小目标现象，或者是不完整、不确定现象也是不太现实的，或者说尚需进一步的发展。

对受限情况下图像数据的分析，未来发展和应对措施，可能在以下几个方面：

1)处理和分析前移。由于产生受限情况下的图像数据时，实际上经过采样和模数转换(analog to digital，AD)，导致信息丧失。根据奈奎斯特(Nyquist)采样定理，当采样频率较低时,存在混叠而难以解耦出完整确定的目标,从而导致不完整和小目标特性。当采样频率达到目标分析需求的上限时,小样本现象通常不显现,因此分析前移,突破采样影响及传输带宽限制,有可能对受限图像分析带来一些积极进步；另外，需要更加积极地借鉴生物群落体对不完整不确定信息处理的办法(Kephart，2011)。譬如苍蝇的复眼结构到底是如何处理不完整不确定信息的？苍蝇躲避天敌的能力远远大于蚊子，那么它真正的深层次的生物运行机能是如何实现的？到底能给人工智能领域的不完整、不确定、小样本、小目标的处理带来什么样的启示？这是非常值得探索的一个方向。总之，现有的系统框架或方法的不足，催生学者必须从其他角度考虑如何解决不完整、不确定、小样本、小目标带来的影响(Chadès和Nicol，2016)。

2)在建立受限图像数据分析的理论和方法之前，需要从数学上明确几个基本概念。图像数据的不确定性，不仅仅是噪声所致，且相对噪声来讲，有用信号是不是真实反映了目标的客观特性，也是待定的，有一定的概率属性。不完整性体现图像数据对目标表达的局部性，也就是说，只有目标的部分特征、部分属性得到了显现。小目标特性显示，只有目标的低频特征得到了体现，而更加细节的一些高频信息并没有显示。至于小样本特性，则是跟样本的特征空间维数有密切关系，当样本的维数远远大于样本的数量时，就是小样本特性。譬如，一个样本空间的维数为1 024，若样本数量小于1 024，对样本分类等就是欠秩的逆问题，也是不可逆的逆问题，便产生了小样本特性(Raudys和Jain，1991)。当不完整、不确定、小样本、小目标几个特性相互耦合的时候，常规的基于大数据的分析方法和理论已经不太适合。勉强得到的样本分布特性，也很难真正反映样本的真实分布，因为其噪声和不完整性的影响，样本分布呈现发散性，没有概率统计上的一致性。因此，受限情况下的图像数据分析亟需基础理论和方法的进一步突破，也会是下一个研究的热点与难点。受限情况下的图像数据分析将会与其他各个相关学科的发展紧密耦合，随着相关学科的发展而发展。譬如对高空高速非常见目标的探测和识别，其探测感知的精度和鲁棒性将会随着探测机理的突破得到本质的提升，而不会随着常规探测后，数据分析方法的改变而得到本质的提高。成像维度的提升和成像机理的改变，将会对后续数据图像的处理带来本质的跃迁。

5 催生研发范式改变

相对数据驱动的、以深度学习为代表的大数据智能分析的研究范式而言，受限图像数据的分析将会更加关注和聚焦于机理的突破和建立。这也是不得已而为之，当数据样本的维度和统计特征不足以对数据进行精确鲁棒及可信分析时，寻求智能分析的机理突破或者另外的探测识别维度，也许是艰难但有效的途径和方法。譬如，把量子的一些观念和方法引入到探测识别中，也许会产生一些意想不到的成果，量子探测等的初步研究似已显示一定效果(Altmann等，2018)。也许下一代人工智能的研究范式将会从数据驱动的研究范式转变为数据驱动与机理驱动相互耦合，并且在数据受限的情况下以机理驱动为主的研究范式。机理的突破需要相关基础理论的突破和关键技术的进步，未来的路还很漫长。

随着探测机理的多样化、探测时空需求的压缩、探测精细程度和探测实时性的提高，随机性干扰与探测信号的交叠将成为常态，大海捞针似地发现、检测和感知有用信号将可能是下一代受限图像数据分析乃至下一代人工智能需要突破的关键需求。

图像数据不受限时，尤其是采集的图像数据满足采样定理需求时，可直接从图像数据进行准确可靠(但不一定实时)地分析。图2的左边流程为目前的大数据智能基本遵循的研究范式，如果把图像数据表示为空间D，则其处理与分析过程是泛函空间F中寻找建立一个泛函f(·)，使其满足

图2 图像数据的研究范式

ti=f(di),f∈F,di∈D

(1)

学习的过程就是用已知的(ti,di)确定f(·)，ti为与di对应的标签。显然，通常只有足够的(ti,di)对才能唯一或者超定地确定f(·)，当图像数据不受限时，此条件满足。相反，当图像数据受限时，其处理与分析不仅需要图像数据本身，且需要与成像机理与成像干扰的耦合分析，如图2右边的流程所示，计算为

ti=g(di,Idi,hdi)

(2)

式中，Idi,hdi分别表示产生di图像的机理和相应的测量扰动。显然，g(·)所在的泛函空间G⊇F，即考虑成像机理和成像干扰的映射模型空间大于仅考虑图像的映射模型空间。比较式(2)和式(1)，可以发现，g(·)的输入需求多于f(·)的输入需求，且输出结果都是ti。因此，式(2)和式(1)中，在图像数据di的质量和数量一致情况下，通常式(2)推断鲁棒性和准确性高于式(1)。但是，正是由于式(2)中图像数据di的质量和数量低于式(1)中的图像数据di，需要用Idi,hdi进行补充，以提高推断ti的质量。很多情况下，视为干扰的因素hdi，有时结合机理的分析，反而可以促进ti的推断，如超声图像TRUS(transrectal ultrasound)数据的分析中，斑点噪声利用得当时，可以提高前列腺分隔的准确性(Wu等, 2015)。虽然式(2)中di的数量和质量低于式(1)中di，并不意味确定g(·)的效率会高于确定f(·)，这是因为G⊇F，确定g(·)需要在更大的空间考虑，且Idi,hdi的不确定性会进一步降低确定g(·)的效率。

总之，图像数据受限情况下的处理与分析，需要对时—空—探测器—数据等多维度的整体耦合分析，时—空维度主要用于建立多个维度的配准，探测器与时空的耦合空间是图像数据的产生空间，任何图像的分析与处理都是时—空—数据空间的联络分析。其与大数据分析仅关注的研究范式(如式(1)所示)有典型不同。在式(2)中，需要考虑的因素除di,Idi,hdi外，可能还有其他因素，更多的考虑因素以及相应的小现象推断，也许将会催生与大数据时代不同的研究范式。

6 结 语

相对以深度学习为代表的图像大数据研究，受限图像数据的研究在研究深度、实用性方面均有距离，即使GAN网络，也对训练数据具有较高需求。不完整、非确定、小样本、小目标特性是复杂恶劣对抗环境下图像数据的典型特点，其处理和分析通常牵涉不可逆的逆问题处理。欠秩的本质缺陷通常需要基于先验知识的启发式手段处理，环境的复杂时变性与先验知识的矛盾、欠秩导致海量可能解引起的模糊计算与实时性的矛盾、不完整非确定性等导致受限图像数据处理和分析的可信性和鲁棒性等都面临巨大难点和挑战。因此采用图像大数据的现有处理和分析方法，难以适应受限图像数据分析的需要，研究范式的改变和理论的突破，以及更进一步借鉴生物群落的感知，也许能催生受限图像数据分析的突破。在分析梳理现有方法对受限图像分析数据不足的基础上，以求抛砖引玉，希望可以吸引更多科研工作者重视并参与这方面的研究。