“可重构成像”系统技术分析

张珊珊 刘韬（天津航天机电设备研究所，北京空间科技信息研究所）

智能探测器是实现智能对地观测卫星的重要途径之一。美国国防高级研究计划局（DARPA）于2016年提出“可重构成像”（ReImagine）项目，并对外公布了项目征询书，该项目旨在研制一种单一且多元智能的摄像传感器，既可以像普通静态及动态成像仪一样探测视觉场景，又能调整及改变自身特性以提供关于一个特定情境的最有用信息。DARPA计划将该技术应用于天、临、空、地的成像系统。实际上，该项目的核心目标是研制智能化的成像探测器。

2017年，DARPA同时授予诊断检索系统（DRS）网络和成像系统公司、沃克特尔公司（Voxtel）、英国航空航天系统公司（BAE）电子系统部门和洛马公司（LM）导航和火控部门“软件可重构多功能成像传感器”合同。

ReImagine概念示意图

1 背景介绍

当前大多数相机设计的目标都是最大化空间分辨率和信噪比（SNR）。但是在这些限制条件下将丢失丰富的光学域信息。专用相机能够获取频谱域、光谱域或深度信息，但通常这些相机不能采用单个焦平面以同时实现高信噪比和高空间分辨率。目前由于与探测器协同工作的读出集成电路（ROIC）能力有限，相机的成像模式通常是单一或有限的。ROIC用于在探测器对信号采样后，将这些值从芯片传送出去。如果ROIC设计成用于特定的操作模式，实质上就是专用集成电路（ASIC）。

一种利用单一探测器且仅基于场景内容自动提取最相关信息的成像系统，将彻底改变军事和商业应用。该成像系统需要开发一种软件可配置的阵列，以便在不同的感兴趣区域（ROI）中实现同步和独特的成像模式。该新型成像系统可以提供传统需要多种类型的探测器才具备的能力。这种新型探测器还需要基于场景实时调整探测器配置的算法，并能够融合多种类型的信息，以使一次观测的价值最大化。

在过去的十年里，具有像素内模数转换（ADC）能力的成像阵列技术获得了突破，使得具有宽动态范围和像素内处理的焦平面阵列（FPA）的创新概念能够实用化。类似的像素体系结构已经用于高性能光检测和测距（LIDAR）测量，同时具有帧和异步操作。但是，用于像素数字化和像素信号累积的阵列的像元尺寸通常在20μm或更大，并且这些设计通常是固定逻辑的ASIC，这对进一步提升遥感器性能是不利的。使用先进的节点互补金属氧化物半导体（CMOS）工艺可减少像素间距并插入足够的可编程逻辑以启用软件可定义的平台。此外，将与探测器连接的模拟组件分离成单像素互连的独立层，可以为各种应用定制广泛兼容的全数字层。

2 项目目标

“可重构成像”项目的目标是证明软件可重新配置的成像系统可以实现革命性的功能，为应用开发提供新的方法，与ASIC的设计相比，可重构成像设计更加类似于现场可编程门阵列（FPGA）的设计。同时针对用于各种测量时的可配置探测器，开发学习收集最有价值信息的基础理论和算法。

“可重构成像”项目旨在演示验证单个ROIC体系结构能够适应多种成像操作模式，这些成像操作模式可以在芯片设计后定义。凭借3D集成技术的应用，可以定制传感器与任一类型的成像传感器（例如，光电二极管，光电导体，雪崩光电二极管或辐射热测量计）相连接，并对其进行优化以适用于任一谱段（例如，从紫外谱段到超长波红外谱段）。更重要的是，可以通过用户手动控制，以及通过每秒改变多次预设例行程序，或者响应观察到的场景信息来调整成像操作模式。例如，单个成像探测器可以对感兴趣区域进行高分辨率成像（即中央区域成像）或高帧速率成像。相比于传统成像系统，可重构成像读出集成电路也将证明感兴趣区域内的有效计算可以实现对更复杂场景的实时分析。该项目将基于此体系结构开发操作概念、应用程序需求、成像模式以及相关算法。相对于以往单一功能的成像探测器，新型探测器能够获得对作战人员（或作战人员的自动反应系统）而言更具有可操作性的信息。

除了多种无源成像功能之外，新系统还具有潜在的革命性功能，能够将距离检测功能集成到高分辨率、低噪声成像系统中。当今的LIDAR系统主要是扫描设备，其中包含大型移动部件，并且不提供高质量的辅助背景图像。二维成像LIDAR系统已被证明能够在成帧或异步模式下获取三维图像。直接检测和相干接收器阵列都已证明具有不同的应用优势。然而，在所有情况下，高数据速率限制了传感器的空间分辨率，并且在一个大的（大于1M像素）阵列中没有显示无源成像和有源激光雷达模式。可重构成像双模式探测器可以在可配置的感兴趣区域内收集高数据率激光雷达测量数据，同时继续测量无源背景图像。

3 项目技术介绍

技术概念

技术一：单色或多色无源相机架构和支持算法。其目标是设计和开发单色或多色无源相机架构和支持算法，可支持目前单一焦平面阵列无法实现的各种技术目标。感兴趣的光谱带为从紫外光谱带到长波红外光谱带，或波长约为0.25～14μm的谱带。多色成像探测器可以设计为能够同时或连续地整合来自不同光谱带的信号。

技术二：混合有源/无源成像探测器架构和算法。该技术旨在设计和开发混合型有源/无源成像探测器架构，其中无源模式操作基于图像阵列上的传统强度测量，有源模式基于三维距离信息（例如激光雷达模式）的飞行时间（TOF）测量。此外，阵列可以配置为在特定的ROI中执行有源模式测量，同时在阵列的其余部分以无源模式进行操作。虽然该技术应该展示集成激光子系统的3D模式操作，但该技术提案应该利用现有的激光源和指向系统。

技术三：具有内部反馈的成像系统的创新概念。该技术将探索“可重构成像”系统的自适应算法。当今成像系统中的信息流完全是从传感器到图像处理和/或用户，而对象、手势或活动识别算法使用的数据参数不随时间变化。可重构成像架构致力于提供一种成像系统，该系统可以改变被测量数据的性质，无论是空间、时间还是频谱;或者作为强度或时间;或者框架驱动，变更驱动，事件驱动。该技术应该探索主动学习中的新概念，这些概念可以确定应该收集的数据类型，并且可以作为位置和时间的函数。该算法应该根据场景的背景和各种数据的预测值将信息内容最大化并做出决策。

项目技术方案

（1）技术1和技术2方案

技术1和技术2的核心目标是使用政府提供的可重新配置的集成电路（IC）和开发平台来实验性地演示可重构性提供革命性性质的成像架构。

可重构成像的基础将是通用数字硬件层（第一层），以及用于配置芯片的相关软件。具有每像素模数转换器的通用数字ROIC可以被认为具有5个主要组件：①探测器：其中每个像素化探测器连接到它下面的电路；②混合信号前端电路：来自光电探测器的模拟信号被转换成数字脉冲；③数字寄存器：通常用来计数或测量代表光电流包的脉冲的时间；④像素级信号处理和路由：用于从阵列中进行基本计算和数据路由；⑤外围处理和多路复用：可以包括一般或特定的信号处理和逻辑，以及多路复用和输入/输出（I/O）资源。

在可重构成像的配置中，探测器位于第三层。混合信号层位于第二层。混合信号和数字元件分离成单独的层使得通用数字架构能够使用定制的层二设计以适用于各种各样的光电探测器技术。它还能够为模拟组件使用最佳的CMOS特征尺寸和电压。组件数字寄存器、像素级信号处理和路由、外围处理和多路复用将位于层一中。

技术1和2的实施者应该设计和制造第二层和第三层，将它们与第一层相结合，并开发任何必要的固件以操作最终的相机。与第一层相比，前端模拟层（第二层）和探测器层（第三层）预计将取决于应用。第二层和第三层应该分别包含一一对应的传感器阵列和前端电路。第二层将提供CMOS兼容的数字脉冲，该脉冲可能会响应光电流或其他信号触发。第三层由适合成像探测器操作目的的探测器层组成。

具有每像素模数转换器的数字ROIC中的资源在芯片设计时已被定义为包括用作检测器和数字电路之间接口的模拟前端以及固定数量的数字寄存器。计数器数量和每个像素的位深度受CMOS工艺的特征尺寸和检测器间距的限制。这些数字资源的控制信号通常是全局的，并由所有像素共享。该项目将开发的可重构集成电路试图打破这种每像素固定资源的模式，取而代之的是提供大量的数字逻辑资源和可重构路由通道，这些路由通道可以根据需要使用与FPGA相同的编程技术分配给像素。

从探测器阵列到第一代集成电路的信号输入将由4级可通过第二层寻址的数字I/O引脚阵列组成，并具有可重新配置的路由通道，以连接到由32个8位寄存器组成的阵列。寄存器可以独立配置，以执行包括向上/向下计数、时间戳、并行正交移位或左/右串行移位的操作。这种配置级别将允许连接不同间距的像素阵列，并且可以动态选择每个探测器像素的计数器数量。这种可重构性在聚合成更大的像素时也会提供更多的像素资源。应该注意的是，哪里将会演示一个大于10μm的像素间距，以及这是由于光学系统还是探测器的限制，还是要利用更多的像素资源。可重构的路由资源将会被提供以用于分发控制信号和在数组中移动数据。围绕像素电路阵列的是外围存储器、数字信号处理模块和支持输出格式化和片上处理的可重构逻辑。

下表包含了对第一代通用数字层硬件的说明，并指出实际的参数可能不同。应该假设数字层将使用商业的14nm CMOS工艺制造。应当明确说明在何处需要其他功能或资源来实现其建议的操作模式，以及这些资源是否会增加像素间距和/或功耗。

预计第二代集成电路将在第一代概念的基础上扩展到类似于分布式处理器阵列的架构，并可能包含更复杂的类似于第一代阵列周围的数字模块（例如存储器，加法器，乘法器等）。如下面所讨论的，第二代设计最终将通过合并来自技术1和2执行者的输入来定义。

第一代集成电路特征参数

这些可重新配置的集成电路将通过政府提供的和开源FPGA计算机辅助设计（CAD）工具的组合进行编程；用户将编写他们所需的ROIC配置的硬件描述语言（Verilog）；将此Verilog描述与提供的可重构成像数字资源的Verilog模型相结合，用户将模拟其设计以执行功能验证；用户将遍历综合，优化，以及布局布线的步骤。政府提供的软件将生成一个比特流，以通过标准的联合测试行动组（JTAG）接口对集成电路进行编程。

（2）技术3方案

技术1和2应该强调开发可以显著影响目标应用程序的新颖操作模式和算法。技术3将着重于基于主动学习和适应的技术的新控制理论，以及使技术1和技术2在应用程序范围内模式切换的控制算法。将模拟界面与数字层分离的能力为创新或多模式前端设计提供了机会。然而，接口层的目标应该由应用程序需求来驱动。

“可重构成像”体系结构可以通过用户控制或预置例程更改模式。然而，也有可能设想一个智能化系统，使传感器能够基于场景信息自动收集最相关的数据。

技术3的目标是开发自适应的学习算法，通过传感器控制参数的实时调整来引导传感器采集最有用的信息。技术1和2将仅提供可重新配置的图像传感器的少量实例，并且可以构思许多其他实例。而技术3有望开发出能够探索设计参数的软件模型，这些参数可以指导未来可重新配置传感器的开发。

技术3可以考虑对空间分辨率、时间分辨率、光谱响应和偏振响应的实时参数控制，以及使用距离测量。

“可重构成像”项目结构（技术1和2）

技术3“可重构成像”实现逻辑图

4 总结

“可重构成像”系统可以具备多种成像模式，而传统上，需要利用几种不同的传感器才能实现该功能。更为重要的是，该新型成像系统基于人工智能技术，可以根据场景的内容自动调整成像参数，以获取最有价值的信息。该技术对于未来智能化对地观测卫星具有重要的应用价值。