基于视觉处理器芯片的遥感图像智能处理系统设计与验证

于双铭 武文波 窦润江 刘力源 刘剑 吴南健

基于视觉处理器芯片的遥感图像智能处理系统设计与验证

于双铭1,2武文波3窦润江1,2刘力源1,4刘剑1,2吴南健1,2

（1 中国科学院半导体研究所半导体超晶格国家重点实验室，北京 100083）（2 中国科学院大学材料科学与光电技术学院，北京 100049）（3 北京空间机电研究所，北京 100094）（4 中国科学院大学电子电气与通信工程学院，北京 100049）

随着遥感卫星成像技术向高分辨率、高帧率的方向快速发展，星上遥感图像处理技术面临海量数据处理速度慢、有效信息提取能力不足、载荷功耗高等瓶颈问题。文章提出一种面向星上处理的遥感图像智能处理系统，系统架构设计基于一款边缘型视觉处理器芯片，该芯片为可重构并行处理器架构，可通过指令编程兼容支持图像预处理算法、计算机视觉算法和深度学习神经网络算法。基于算法-硬件协同设计思想，对图像处理算法进行了剪枝和量化等压缩优化，在芯片上实现算法的高效部署。搭建基于视觉处理器芯片的遥感图像智能处理系统，进行实验验证。结果表明，该系统能够完成对遥感图像的实时目标检测等智能化处理，系统处理能力达到200 M像素/s，芯片峰值计算能效达到2×1012次/W（300 MHz时）。

遥感图像 图像处理 视觉处理器 深度学习神经网络

0 引言

航天遥感卫星可实时获取地球表面的高分辨率遥感图像数据，已成为航天电子信息领域的关键技术之一[1-4]。遥感图像获取采集技术向高分辨率、高帧率的方向发展迅速，如美国DigitalGlobe公司具有QuickBird、WorldView和GeoEye等多个系列卫星群，其遥感图像的分辨率大多在0.3～0.5 m[5-6]。此外还有欧洲的SPOT、Pleiades系列卫星，以及印度的ResourceSat系列卫星等。2015年我国长光卫星技术有限公司研制发射了吉林一号商业遥感卫星，可以获取分辨率0.92 m的彩色视频[7]。2016年发射的高景一号卫星是中国首个商业化运营的高分辨率遥感卫星星座，可提供分辨率0.5 m拼接幅宽大于60 km的遥感图像[8]。随着遥感卫星数据总量的快速获取和累积，遥感图像数据的高性能处理技术成为航天领域未来的研究重点。

然而，图像处理技术正逐渐面临新的挑战。第一，实时采集的海量遥感图像数据难以在星上完成实时的处理任务。第二，应用领域从传统图像处理应用向智能化应用拓展，在星上对有效信息的智能化提取能力不足。第三，遥感卫星对图像处理载荷的功耗有严苛的限制。为了满足以上对星上图像处理系统的处理能力、智能化水平和功耗提出的更高要求，边缘计算技术成为了突破瓶颈的重要方法。视觉处理器芯片作为一种具备高速图像信息智能处理能力的专用芯片，具有处理速度快、可编程和功耗低的优点，特别适用于边缘型智能化应用场景。因此，开发基于视觉处理器芯片的遥感图像智能化处理系统，对满足星上遥感图像大数据在轨实时处理应用需求具有重要的意义。

本文提出一种面向星上处理的遥感图像智能处理系统，系统架构设计基于一款边缘型视觉处理器芯片，该芯片能够通过指令编程兼容支持图像预处理算法、计算机视觉算法和深度学习神经网络处理算法，可以对遥感图像进行低功耗的实时目标检测等智能化处理，通过实拍遥感图像验证了系统功能。此外，展望了未来遥感成像与处理技术的应用前景和发展方向。

1 遥感图像处理特征

高分辨率光学遥感图像具有以下显著特点：第一，为了更清晰地获得地面物体的结构、形状和纹理等细节信息，遥感图像通常具有更高分辨率。第二，为了动态监测各种目标运动变化情况，必须要对同一个区域进行连续拍摄，图像采集的帧速率显著增加。第三，遥感图像通常包含大量无目标的海洋背景或受云雾遮挡的无效图像，少数含有感兴趣目标的图像也是背景较为单一的稀疏图像，星载存储器的“图像有效信息密度”很低[9-12]。本文针对这种高分辨率海洋稀疏背景遥感图像提出智能化实时处理方案。

图1展示了遥感图像处理流程及特征，首先完成遥感图像采集，然后进行视觉图像信息处理，最后输出处理结果。图像处理算法按照并行度和计算复杂度可以划分为3个层次：像素级并行处理、区域级并行处理和全局级并行处理。像素级并行处理一般以像素为单位并行计算，包括彩色处理、图像增强、数据切割等图像预处理操作，对成像质量不足的图像进行预处理可以有效减少各类噪声、低对比度等成像因素对图像特征提取的影响，方便后续复杂的图像处理。区域级并行处理可以将图像分块处理得到特征向量，图像块之间相互独立并行处理，包括直方图统计、图像分割和特征提取等传统计算机视觉算法，所提取的特征可以是边缘、角点、纹理和特殊结构等，分割出图像中感兴趣目标图像与背景图像。全局级并行处理利用提取的图像特征对图像或目标进行整体的综合分析和处理，包括基于深度学习的卷积神经网络算法（Convolutional Neural Network，CNN）等，得到最终处理结果，实现图像分类、目标检测和追踪等功能。上述图像处理算法对于硬件计算资源的需求各不相同，不论是传统计算机视觉算法，还是深度学习神经网络算法，都需要相当的计算规模，深度学习算法更是以计算密集和访存密集为显著特点。因此，针对稀疏背景遥感图像的星上处理系统，需要具备兼容多种图像处理算法的大规模并行计算能力，以及从海量稀疏背景中快速提取目标的只能化水平，同时达到较低的系统功耗。

图1 遥感稀疏图像信息处理流程及特征

为了满足上述对遥感图像处理系统的要求，本文设计了基于智能视觉处理器芯片的目标检测智能处理系统，采用软硬件协同设计方法开发视觉处理器芯片，使其具备大规模并行计算能力以及可重构运算功能，既包含传统计算视觉算子，又包含大规模神经网络计算单元和存储器单元，可通过指令编程实现稀疏背景遥感图像目标检测功能。此外，系统采用周期性片上指令刷新技术使其具有一定容错能力。

2 智能视觉处理器芯片

2.1 芯片架构

智能视觉处理器芯片架构框图如图2所示，主要由视觉核心、微控制模块、存储器访问网络、数据传输通路、指令和数据存储器等部分构成。视觉核心为视觉处理器提供了主要的计算能力，具有可编程和可重构并行处理功能。微控制模块负责调度整个芯片的工作流程，向视觉核心发布数据处理任务，向数据传输通路发布数据传输任务。微控制模块和视觉核心都是可编程处理模块，编程指令存储在指令存储器中。数据存储器用来存储从外部输入待处理的图像数据、图像处理的中间结果、以及待输出的图像处理结果。每次图像处理任务中，微控制模块首先控制数据传输通路从外部输入待处理图像、算法指令和参数，然后启动视觉核心执行特定的图像处理算法，最后通过传输通路向片外输出图像处理结果。

图2 视觉处理器芯片架构

2.2 关键电路设计

（1）可重构并行视觉核心电路

视觉核心是视觉处理器的核心电路，它具有可重构并行处理能力。如图3所示，视觉核心采用兼容计算机视觉处理和深度学习处理的可重构视觉架构，它可以时分复用地重构为计算机视觉处理模式和深度学习处理模式。视觉核心的可重构特性具体体现在可以通过编程不同的指令编码，执行可变向量宽度的单指令多向量的并行运算工作机制，提供灵活高效的可重构并行处理能力。视觉核心主要包含256个处理单元（Processing Element，PE），每个PE均可独立完成计算操作，多个PE也可以根据向量运算操作数的宽度动态重构为多个PE Group（PEG），每个PEG包含与向量宽度一致的PE数量，执行对应向量宽度的向量运算。视觉核心根据不同的向量宽度对所有PE进行动态重构，支持配置的向量宽度为256、128、64、32、16、8，分别构成1、2、4、8、16、32个PEG。PEG中包含多组并行的算数单元，因此可以并行地执行向量运算。

图3 可重构并行视觉核心架构

灵活动态可重构的视觉核心架构为图像处理带来了以下优势：第一，在计算机视觉算法中，对于输入尺寸较大的图像，可以对图像进行切割，将小块图像送入视觉核心并行处理，对于尺寸较小的图像，可以将视觉核心重构成多个小处理单元块，并行处理不同区域的图像，提高了算法执行的并行度。第二，CNN算法中的卷积运算包含丰富的变化，包括特征图尺寸变化、卷积核尺寸变化和卷积滑动步长变化，可重构的视觉核心可以灵活地适配CNN算法中不同的卷积运算，提供高效的CNN并行计算能力。

（2）多粒度存储器访问网络

存储器访问网络负责为存储器和PEG的各级寄存器组之间进行灵活多粒度的数据加载和存储。它支持在多个PEG之间广播共享数据，例如用同一输入特征图与不同卷积模板进行卷积运算，或者用相同卷积模板对不同特征图进行卷积运算，提高了数据的共享重用率。访问网络还可以根据不同的数据向量宽度，自适应地将不同宽度的共享运算数据广播到PEG中，例如向量宽度为W，存储器访问网络从存储器中读取一个宽度为W的向量数据，将其广播到256/W个PEG中，操作过程如图4所示。这种访存方式相当于将宽度为W的向量数据复制了256/W次，恢复得到一个宽度为256的向量数据，写入到256个PE中。

图4 灵活多粒度的存储器访问网络电路

（3）视觉处理专用指令集

本文为视觉核心设计了自定义的视觉处理专用指令集。视觉处理专用指令集根据处理器支持的图像处理算法多级并行的特点而设计，主要包含三个大类：标量类型指令、向量类型指令以及控制类型指令。标量类型指令主要负责串行的标量数据处理，以及分支和跳转指令。向量类型指令主要负责大规模数据并行处理，可同时对多个向量数据并行地执行运算操作。控制类型指令主要负责配置视觉核心的工作状态。多样的指令集提高了处理器的可编程性，使得处理器兼容支持计算机视觉算法和深度学习神经网络算法。另外，视觉处理专用指令集根据神经网络算法进行了新的调整和扩展，在向量类型指令中加入了乘累加运算指令、神经网络数据移动指令和数据截断指令，在控制类型指令中加入了向量宽度配置指令和PEG边界填充配置指令，这些指令都有效提高了深度学习神经网络算法的运行效率。

2.3 算法-硬件协同设计

视觉处理器芯片硬件上的计算单元数量、存储容量、面积和功耗都有诸多限制，为了在芯片上实现深度学习算法这种复杂的图像处理操作，本文仔细分析目标检测算法的计算特点和硬件需求，从算法-硬件协同设计的视角出发，对算法进行剪枝和量化压缩，从而实现算法在硬件上的高效部署。

（1）算法设计

遥感图像下船只目标具有以下特征：1）船只目标较为稀疏，在遥感图像中分布较为分散；2）遥感图像中船只目标尺寸相对较小；3）不同船只目标尺寸变化范围较小。因此，针对海洋稀疏背景遥感图像目标检测的应用需求，本文使用一种“粗看-细看”融合的高效率视觉处理算法[13]，该算法通过低运算量的处理实现图像背景的快速排除，再对疑似船只目标区域进行精确的分类检测，从而提取船只目标的精确位置信息，算法流程如图5所示。首先对遥感图像进行预处理操作，提高原始图像的质量，然后采用计算机视觉算法分割出存在可疑目标的感兴趣图像区域，最后使用深度学习神经网络算法提取特征，分类检测出遥感目标。

图5 “粗看-细看”融合的类脑视觉处理算法流程

（2）算法压缩

为了便于图像处理算法部署在视觉处理器芯片硬件上，本文采用了算法剪枝和量化的压缩方法对卷积神经网络算法模型进行压缩。由于神经网络中包含了很多对模型的推理精度影响很小的权重参数，利用这一特性可以简化神经网络运算，把卷积核包含的非重要权重参数置0，消除不必要的计算量，这个过程称为算法剪枝。本文使用基于饱和惩罚项的剪枝方法对算法主干网络进行裁剪，保留重要的通道，裁剪掉非重要的通道，以达到算法剪枝降低计算量的目的[14]。算法量化是一种压缩网络参数量、减少运算复杂度的算法优化技术，通过对32bit浮点数进行量化操作转换为定点8bit数值格式，可以大幅降低硬件存储开销。本文采用基于离群值感知的Post-Training量化方法，通过均匀采样确定量化因子的手段，有效解决了因为量化离群值引起的量化误差过大的问题[15]，达到了在不明显损失精度的条件下压缩网络模型的目的。

本文设计的神经网络算法采用剪枝和量化技术进行模型压缩优化，模型参数量从4.1MB压缩至0.7 MB，极大地便于在视觉处理器芯片硬件上完成算法部署。

（3）抗辐照刷新技术

在遥感卫星应用场景下，辐照效应会严重影响芯片功能，尤其视觉处理器中大量指令流水线、多种功能存储器以及运算单元的使用，更造成视觉处理器对单粒子翻转辐照效应敏感性大大提高[16]。然而，视觉处理器的可编程特性决定了其内部只有指令存储器收到辐照影响才会导致功能错误。因此，为了以最小的功能、功耗和面积代价提升视觉处理器的抗辐照性能，我们应该主要提升指令存储器的容错性能。提出针对指令存储器的周期性刷新缓解技术，由微控制模块编程控制周期性地刷新指令存储器数据，刷新周期可根据辐照环境的具体情况编程配置。采用这种技术，在保证视觉处理器功能可用的前提下，可减少整个工作期间内修复过程所占的时间比例，从而提高处理器的工作效率和抗辐照性能。

3 目标检测应用与验证系统

3.1 验证系统设计

本文设计的遥感图像目标检测智能处理系统的系统架构基于智能视觉处理芯片和FPGA，具体如图6所示。系统中视觉处理器芯片主要负责对输入的遥感图像完成图像预处理、计算机视觉算法和深度学习神经网络算法等图像处理算法，可以实现实时的目标检测功能。数据转换板上集成的FPGA芯片负责完成系统各功能模块间的数据传输、数据转换和流程控制。DDR3存储颗粒用于缓存图像数据。板间高速数据传输采用标准高速接口，同时支持Aurora 64B/66B、Aurora 8B/10B、SRIO、10G Base-kr等多种通信协议，保障了应用灵活性。高分相机型号采用Cameralink接口与FPGA相连，通过上位机配置分辨率、帧率、输出增益等工作参数。

图6 遥感图像目标检测智能处理系统架构

系统的工作流程如图7所示。具体流程如下：

1）初始化视觉处理器芯片。视觉处理器芯片初始化过程是为芯片提供指令数据，FPGA先从板上Flash中读取指令数据，发送给视觉处理器芯片。指令数据包括微控制模块指令、视觉核心指令和图像处理算法参数。

2）启动相机拍摄并缓存图像。利用上位机启动相机拍摄图像并将图像数据发送至数据转接板，FPGA将宽幅高分辨率图像按照视觉处理器芯片输入要求进行裁切后，缓存至DDR3颗粒中，等待视觉处理器芯片的读取。

3）图像处理并返回结果。视觉处理器芯片监测到拍摄图像缓存完成后，通过FPGA启动板间接口和数据转换模块，依次将裁切好的图像块输入至处理器芯片，在片内完成多种图像处理算法，并输出处理结果缓存至DDR3中。

4）读回并显示处理结果。FPGA将缓存在DDR3中的原始图像和处理结果通过HDMI高清视频接口直接显示目标检测结果，完成完整的工作流程。

图7 验证系统工作流程

高速数据传输通路的畅通和稳定是整个系统实现实时图像拍摄和处理的关键。因此，有必要对系统数据传输链路进行数据带宽分析，以保证芯片和系统性能最大化。原始图像由高分相机拍摄产生，图像像素规模为4 k×3 k@8 bit，帧率18帧/s，图像数据带宽约1 700 Mbit/s。板间的高速接口峰值带宽最高可达10 Gbit/s，实际运行带宽2.5Gbit/s。板上DDR3颗粒频率运行在666.6 MHz，数据位宽64 bit，数据带宽约42 Gbit/s。视觉处理器芯片接口频率为50 MHz，数据位宽为64 bit，对应数据带宽约3 Gbit/s。由此可见，所有关键节点数据带宽均高于数据源带宽，相机拍摄的图像数据先缓存到DDR3缓存中，供视觉处理器芯片连续不间断地读取图像并执行目标检测处理算法。因此，系统设计可以满足图像数据实时处理的需求。

本文设计了面向硬件的卷积神经网络图像目标检测算法，并将算法部署在智能视觉处理器芯片上，可执行实时目标检测图像处理任务。图8给出了图像目标检测算法流程，采用面向硬件加速的轻量级卷积神经网络结构，整个算法包含“粗看”和“细看”两个阶段。“粗看”阶段网络模型包含4层卷积层，各卷积层分别包含2、4、8、16个卷积模板。“细看”阶段的网络模型主要由一个主干网络、一个类别生成分支、一个实例分割分支组成。主干网络主要包含4个卷积层；类别生成分支的输入为主干网络输出的特征图，经过卷积层和softmax等处理后输出该图像块所属类别为船只目标或背景（云、陆地、海洋）；实例分割分支输入也为主干网络输出的特征图，经过卷积转置和激活函数后输出船只目标实例分割Mask。本文在Airbus数据集和实际拍摄图像数据的基础上构建了适用于两阶段目标检测算法训练的数据集，并分别对“粗看”和“细看”两个阶段网络模型进行训练。

图8 船只目标检测算法流程

3.2 测试结果

本文搭建了遥感图像目标检测智能处理系统，该系统由高分相机、图像目标检测模块、上位机和模拟遥感沙盘组成，数据转换板和智能图像处理板通过高速接口接插件固定在图像目标检测模块中，图像目标检测模块主要完成了图像数据收集、智能图像处理和结果输出的功能，是系统的核心功能模块。为保障系统长时间的稳定工作，图像目标检测模块内部采用风冷散热，视觉处理器芯片和FPGA芯片加装散热铝片和风扇，并在模块外壳两侧制作开孔加强空气流通散热。图像目标检测模块加装外壳（不包含镜头）后的尺寸为250 mm×190 mm×80 mm（长×高×宽）。

本文采用两种方法对该系统进行测试。

方法1：我们制作了模拟遥感拍摄图像的沙盘实物，沙盘尺寸2.5 m×2.5 m，遥感目标船只尺寸约10～15 cm，成像距离2.5 m。使用高分相机对沙盘进行拍摄，将获取的彩色图像裁切成256×256像素分辨率大小的图像块，送入视觉处理器芯片实时地进行目标检测处理，检测出目标的位置坐标，处理结果通过显示器实时显示检测效果，测试结果如图9(a)所示，成像分辨率为4 k×3 k像素，成像帧率为18帧/s。

方法2：通过Google地图、Airbus等来源获取真实遥感图像和视频数据，将数据通过高速接口直接连续地输入到系统中，系统中的FPGA芯片将图像进行裁切及下采样等预处理后，以256×256像素分辨率大小的图像块送入视觉处理器芯片完成目标检测功能，并将处理得到的船只目标坐标信息实时传回至上位机显示检测结果，测试效果如图9(b)所示。

利用检测精度来评价算法的有效性，定义如下[17]

式中T指被正确地检测为目标的图像数量；F指被错误地检测为目标的图像数量。本文统计将1 500个图像块送入视觉处理系统，其中102个图像块含有目标，1 398个图像块为背景（不考虑图像块同时含目标和背景的情况）。

经测试，系统正确检测出目标图像块77个，误检为目标的图像块5个。因此根据公式（1）计算，本系统目标检测精度为93.9%。系统处理能力达到200 M像素/s，芯片峰值计算能效达到2×1012次/W（300 MHz时），系统性能参数如表1所示。

图9 遥感图像目标检测系统测试结果

表1 遥感图像智能处理系统性能参数

Tab.1 Performance of vision processor and verification system

4 结束语

针对遥感图像数据量激增、处理速度慢、有效信息提取能力不足以及载荷功耗高等限制与挑战，本文提出一种面向星上处理的遥感图像智能处理系统，系统搭载视觉处理器芯片和FPGA，可实现图像预处理算法、计算机视觉算法和深度学习神经网络算法等多种图像处理算法，采用实拍模拟遥感图像沙盘和直接输入真实遥感图像数据两种方式对芯片和系统进行了测试验证，芯片峰值计算能效达到2×1012次/W（300 MHz时），系统处理能力达到200 M像素/s。

基于本文的研究工作，面向更高集成度、更强处理能力和更低功耗的目标，未来我们将围绕以下内容开展下一阶段的研究：

1）为了进一步提升智能视觉系统的算力和集成度，采用三维集成工艺技术将不同工艺制作的高分辨率传感器芯片和智能视觉处理器芯片实现堆叠集成，构成完整视觉系统芯片，单芯片实现高性能、高能效、高带宽和小尺寸的传感、计算与存储功能[18]。

2）近年来，视觉处理器单芯片的算力已经达到很高的程度，基于芯粒（Chiplet）的集成封装技术将多个单功能分立式芯片集成封装在一块基板上[19]，互连成为一个完整复杂功能的系统级芯片。待解决高速数据接口、低功耗集成技术以及互连标准化等关键技术问题后，“芯粒”技术有望极大地提升芯片性能，增加芯片设计灵活性。

[1] 张财广, 熊博莅, 匡纲要. 光学卫星遥感图像舰船目标检测综述[J]. 电波科学学报, 2020, 35(5): 637-647. ZHANG Caiguang, XIONG Boli, KUANG Gangyao. A Survey of Ship Detection in Optical Satellite Remote Sensing Images[J]. Chinese Journal of Radio Science, 2020, 35(5): 637-647. (in Chinese)

[2] 肖化超, 王鹏, 张建华, 等. 遥感卫星在轨图像智能处理设计与验证[J]. 航天器工程, 2022, 37(2): 43-48. XIAO Huachao, WANG Peng, ZHANG Jianhua, et al. Design and Verification of On-board Intelligent Processing Technology for Remote Sensing Satellites[J]. Spacecraft Engineering, 2022, 37(2): 43-48. (in Chinese)

[3] 李想, 杨灿坤, 周春平, 等. 高分辨率光学卫星图像目标运动信息提取研究综述[J]. 国土资源遥感, 2019, 31(3): 1-9. LI Xiang, YANG Cankun, ZHOU Chunping, et al. A Review of Target Motion Information Extraction from High-resolution Optical Satellite Images[J]. Remote Sensing for Land and Resources, 2019, 31(3): 1-9. (in Chinese)

[4] 唐绍富, 段兰兰. 基于遥感图像的船舶目标识别技术[J]. 舰船科学技术, 2020, 42(14): 85-87. TANG Shaofu, DUAN Lanlan. Research on Ship Target Recognition Technology Based on Remote Sensing Image[J]. Ship Science and Technology, 2020, 42(14): 85-87. (in Chinese)

[5] 仇晓兰, 胡玉新, 上官松涛, 付琨. 遥感卫星大数据高精度一体化处理技术[J]. 大数据, 2022, 8(2): 15-27. QIU Xiaolan, HU Yuxin, SHANGGUAN Songtao, FU Kun. Remote Sensing Satellite Big Data High-recision Integration Processing Technology[J]. Big Data Research, 2022, 8(2): 15-27. (in Chinese)

[6] 刘韬. 国外视频卫星发展研究[J]. 国际太空, 2014(9): 50-56. LIU Tao. Research of National and International Video Satellites[J]. Space International, 2014(9): 50-56. (in Chinese)

[7] 李贝贝, 韩冰, 田甜, 等. 吉林一号视频卫星应用现状与未来发展[J]. 卫星应用, 2018(3): 23-27. LI Beibei, HAN Bing, TIAN Tian, et al. Application Status and Future Development of Jilin-1 Video Satellite[J]. Satellite Applications, 2018(3): 23-27. (in Chinese)

[8] 孙伟伟, 杨刚, 陈超, 等. 中国地球观测遥感卫星发展现状及文献分析[J]. 遥感学报, 2020, 24(5): 479-510. SUN Weiwei, YANG Gang, CHEN Chao, et al．Development Status and Literature Analysis of China's Earth Observation Remote Sensing Satellites[J]. Journal of Remote Sensing, 2020, 24(5): 479-510. (in Chinese)

[9] 李鸿龙, 杨杰, 张忠星, 等. 用于实时目标检测的高速可编程视觉芯片[J]. 红外与激光工程, 2020, 49(5): 193-202. LI Honglong, YANG Jie, ZHANG Zhongxing, et al. A High Speed Programmable Vision Chip for Real-time Object Detection[J]. Infrared and Laser Engineering, 2020, 49(5): 193-202. (in Chinese)

[10] 罗迁. 面向视觉芯片的深度学习视觉处理器关键技术研究[D]. 北京: 中国科学院半导体研究所, 2022. LUO Qian. Research on Key Technologies of Deep Learning Vision Processor for Vision Chip[D]. Beijing: Institute of Semiconcluctors, Chinese Academy of Sciences, 2022.

[11] ZHENG Xuemin, CHENG Li, ZHAO Mingxin, et al. ViP: A Hierarchical Parallel Vision Processor for Hybrid Vision Chip[J]. IEEE Transactions on Circuits and Systems II: Express Briefs, 2022, 69(6): 2957-2961.

[12] 王密, 杨芳. 智能遥感卫星与遥感影像实时服务[J]. 测绘学报, 2019, 48(12): 1586-1594. WANG Mi, YANG Fang. Intelligent Remote Sensing Satellite and Remote Sensing Image Real-time Service[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(12): 1586-1594. (in Chinese)

[13] ZHANG Zhongxing, LI Honglong, ZHANG Guangqian, et al. CCNet: A High-speed Cascaded Convolutional Neural Network for Ship Detection with Multispectral Images[J]. Journal of Infrared and Millimeter Waves, 2019, 38(3): 290-295.

[14] ZHAO Mingxin, PENG Junbo, YU Shuangming, et al. Exploring Structural Sparsity in CNN via Selective Penalty[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(3): 1658-1666.

[15] ZHAO Mingxin, NING Ke, YU Shuangming, et al. Quantizing Oriented Object Detection Network via Outlier-Aware Quantization and IoU Approximation[J]. IEEE Signal Processing Letters, 2020, 27: 1914-1918.

[16] DI Qian, ZHANG Zhongxing, LI Honglong, et al. Single Event Upset Failure Probability Evaluation and Periodic Scrubbing Techniques for Hierarchical Parallel Vision Processors[J]. IEICE Electronics Express, 2019, 16(21): 20190544.

[17] 李晓斌, 江碧涛, 杨渊博, 等. 光学遥感图像目标检测技术综述[J]. 航天返回与遥感, 2019, 40(4): 95-104. LI Xiaobin, JIANG Bitao, YANG Yuanbo, et al. A Survey on Object Detection Technology in Optical Remote Sensing Images[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(4): 95-104. (in Chinese)

[18] CHAN Chihang, CHENG Lin, DENG Wei, et al. Trending IC Design Directions in 2022[J]. Journal of Semiconductors, 2022, 43(7): 071401.

[19] 蒋剑飞, 王琴, 贺光辉, 等. Chiplet技术研究与展望[J]. 微电子学与计算机, 2022, 39(1): 1-6． JIANG Jianfei, WANG Qin, HE Guanghui, et al. Research and Prospect on Chiplet Technology[J]. Microelectromcs & Computer, 2022, 39(1): 1-6. (in Chinese)

Design and Implementation of Remote Sensing Image Processing System with Intelligent Vision Processor

YU Shuangming1,2WU Wenbo3DOU Runjiang1LIU Liyuan1,4LIU Jian1,2WU Nanjian1,2

（1 State Key Laboratory of Superlattices and Microstructures, Institute of Semiconductors, Chinese Academy of Sciences, Beijing 100083, China）（2 University of Chinese Academy of Sciences, College of Materials Science and Opto-Electronic Technology, Beijing 100049, China）（3 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（4 University of Chinese Academy of Sciences, School of Electronic Electrical and Communication Engineering, Beijing 100049, China）

With the rapid development of remote sensing satellite imaging technology, image processing technology is faced with challenges, such as slow data processing, detection and high power consumption. This paper presents a remote sensing image processing system with a vision processor chip for intelligently processing remote sensing images. The chip has a dynamically reconfigurable parallel architecture is proposed to flexibly and efficiently implement image preprocessing, computer vision algorithms and deep learning neural network algorithms. The algorithm/hardware co-design method is used to compact algorithm models by pruning and quantization techniques. The processing system for remote sensing image processing is built and tested with real remote images. The test results show that the vision processor designed and implemented in the paper achieves an energy efficiency of 2TOPS/W @300 MHz clock frequency. The system can realize remote sensing image target detection function with a performance of 200M pixel/second.

remote sensing image; image processing; vision processor; deep learning neural network

V445

A

1009-8518(2023)05-0054-11

10.3969/j.issn.1009-8518.2023.05.007

于双铭，男，1987年生，2015年获中国科学院半导体研究所微电子学与固体电子学博士学位，现为中国科学院半导体研究所副研究员。主要研究方向为人工智能视觉芯片、低功耗数模混合集成电路。E-mail：yushuangming@semi.ac.cn。

2022-06-11

国家自然科学基金（62274154，U20A20205，U21A20504）；国家重点研发计划（2019YFB2204300）；中国科学院青年创新促进会项目（2021109）

于双铭, 武文波, 窦润江, 等. 基于视觉处理器芯片的遥感图像智能处理系统设计与验证[J]. 航天返回与遥感, 2023, 44(5): 54-64.

YU Shuangming, WU Wenbo, DOU Runjiang, et al. Design and Implementation of Remote Sensing Image Processing System with Intelligent Vision Processor[J]. Spacecraft Recovery & Remote Sensing, 2023, 44(5): 54-64. (in Chinese)

（编辑：毛建杰）