仿生复眼型多源监测数据融合与专题信息提取

徐梦溪，施建强

（南京工程学院计算机工程学院，江苏 南京 211167）

0 引言

近年来，随着我国水利综合信息采集体系建设的不断完善和国家高分重大专项水利高分遥感业务应用示范系统的建设，水利信息基础设施体系建设正在向天地网一体的立体信息采集新阶段发展。水利信息立体化综合采集不仅包括水雨情、水质、取用水等信息的采集，也包括互联网涉水数据（如社会经济产业月报、城建供排水日报等所谓“软”传感器数据）的采集。智能感知的水利信息综合采集不仅依赖于建设高效的天地网一体化立体监测（以下简称立体监测）系统，还依赖于对来自地面站网、不同卫星遥感平台等众多传感器进行融合处理的效能。

各种传感器及多传感器系统平台网络是数据融合的基础，多源数据是融合加工的对象，协调优化和综合处理是数据融合的核心[1][2]1233[3]28–29。立体监测数据融合与专题信息提取的基本原理是：采用多层次、多尺度耦合关联的综合信息处理方式，充分利用传感器资源，利用这些海量的监测数据源在时空上的互补与冗余，依据一定的准则进行整合，重构生成能够准确表达和完整描述监测对象特征，及其发生发展过程的空间对应、时间连续的高质量信息。

立体监测的多传感器系统广泛应用于军事、海洋、气象、环境、资源、水利、农业、交通等领域，如：美国海军 CEC（协同作战能力）多平台多传感器信息融合系统，美国陆军一体化防空与反导作战指挥系统，美国综合海洋观测系统；我国在建的基于天基信息融合的海洋智能监测系统，规划建设的天地一体化生态环境监测预警体系等。从 2005 年起，Information Fusion杂志在信息融合体系结构、理论与方法及应用等方面出版了一系列专刊，反映了国际上信息融合研究的进展[2]1234[3]30。

面向防汛抗旱、水资源管理、水土保持监督管理、水生态环境保护的一类水利立体监测体系，其获取手段的多样化及监测要素的多元化，使得数据/信息的类型呈现出海量异构、多源多尺度、多周期多速率等多类型特征，在数据形式（属性/模态/维度/结构/量纲）、时间和空间尺度、分辨力、误差量级上均存在很大差异。对于水利立体监测数据融合，目前多聚焦于局部、单项性的或某一层级的数据融合方法的研究[4–5]，多见于单一（或少数）卫星遥感平台与地面单（或少数）要素传感器间、雷达/可见光/热红外遥感间的所谓“静态”及某一层级的融合，有关基于系统科学方法论对立体监测数据融合处理的研究还有待深入。针对不同遥感平台和地面站网的多源多尺度数据时空配准与汇聚，以及水利立体监测的全局性优化与信息整合存在的困难，本研究基于仿生复眼信息获取与处理的策略，设计和提出一种水利立体监测数据融合系统设计模式，即，仿生复眼型多源监测数据融合与专题信息提取系统（以下简称立体监测数据融合系统）的设计模式，为多卫星遥感平台与地面站网传感器数据汇聚与全局性信息整合提供新的解决方案。

1 蝇复眼及其工程化模拟与应用

1.1 蝇复眼结构与视觉信息加工处理的神经通路

蝇类昆虫果蝇属昆虫纲双翅目果蝇科。生物学家从始于对蝇类昆虫视觉系统的结构进行解剖学、形态学研究，发展到 20 世纪 70 年代，逐渐在细胞水平上对蝇视觉系统中单个神经细胞的特性、各神经节对朝向和运动刺激的简单及复杂感受野，以及视神经回路等有了较为全面的了解。近 30 a 来，对蝇视觉系统的研究已深入到分子水平[6]63[7]314–315[8–10]。

果蝇的头部有 1 对复眼，3 只小的单眼（用于导航）和 1 对触角。果蝇复眼的形状呈曲面型，由小眼成簇排列而成，属神经重叠性复眼。每只小眼都能单独摄像，小眼之间有不透光的色素细胞分隔，只能够检测来自 1 个极小空间区域内不同水平的光线，在小眼视网膜上形成 1 个像点，整个复眼成像是由众多小眼形成的像点拼合而成的一幅镶嵌图像。果蝇的复眼分布在头部的两侧，视角是 180°，单侧复眼大约有 750～800 个小眼，长柱状结构按六角形排列，相邻小眼之间的夹角大约是 5°[6]63。每只小眼都自成体系，由角膜、晶锥、感杆束、色素细胞和基膜等组成。小眼感光细胞（具有光转化能力的一类特殊神经细胞，也称视网膜细胞）接受场景光场的光子投射，形成视觉神经感知的传像信号。尽管蝇复眼分辨力受到像点的限制，分辨力低，但具有视野大、低畸变、超高时间分辨率和对光照要求低等特征。复眼不仅使蝇以点阵的方式看到静态物体，同时也能够感受到光线变化，即蝇相对于环境的运动，复眼可以看到四周的情况，一次看清近处几乎所有的物体。场景光场被不同小眼中的不同感光细胞所感受，并产生各像点物像的光电转换响应，来自不同小眼的各像点物像在复眼视网膜上镶嵌聚集，最终与后面通向蝇脑内两侧的薄板、视髓质、小叶及小叶板神经节层相连，接收由复眼发送的传像信号，经过多层神经节层加工处理，再汇聚到腹外侧原脑区，最后到达中央脑的各个脑结构，形成复眼视觉信息加工处理的神经通路[6]63–64[7]315–318。

每只小眼中包含 8 个感光细胞和其他一些色素细胞，感光细胞分别称为 R1～R8，其中 R1～R6 居于小眼的外围分布，围绕位居中间的 R7 和 R8 排列成圆环状。R1～R6 分别分布于视网膜的整个深度，从视网膜上部（远端）延伸到下部（近端），而 R7位于视网膜上半部，R8 位于视网膜下半部分。视紫红质作为视觉光色素（视色素）在被光刺激时会改变视蛋白分子结构，对光线感知和视像的形成产生作用。R1～R6 含视紫红质，负责大范围光谱的色觉（色感觉）；R7 对紫外光线敏感，R8 对蓝、绿光敏感，R7 和 R8 含有不同的视紫红质，负责感知偏振光和色觉[11]。

复眼视觉过程由光学、化学和神经处理等过程构成，包含视觉接收（感受）和认知两大部分。复眼能够感受到光强、光谱、颜色及偏振等光学信息，通过视网膜进入眼体，光感受和信号转导发生在感杆中，感杆束的轴突输入到薄板层，薄板连接视髓质，视髓质连接小叶及小叶板，最后接入中央脑。复眼视觉信息加工的神经通路[7]317如图 1 所示，图中显示了复眼视觉系统从眼睛、薄板、视髓质、小叶及小叶板，经腹外侧神经髓（VLNP，位于腹外侧原脑区）再到中央脑的连接。由薄板、视髓质、小叶及小叶板 4 个部分组成的多层神经纤维网结构，也称视叶结构，或称视叶神经节层，是把复眼的感光部和蝇脑联系起来的复杂神经网络。

图 1 复眼视觉信息加工的神经通路

1.2 复眼系统的工程化模拟与应用

类似于光学成像系统，蝇的小眼可分为集光器、感光器，集光器在外，感光器在内。小眼角膜（也称角膜晶体或透镜）是复眼的最外层结构，向外凸起。角膜和位于角膜之下的晶锥是复眼最外面的透明部分，类似光学凸透镜，角膜、晶锥组成成像系统，实现集光（屈光）和透光功能，把光线聚焦到感光细胞上。感光器由感光细胞（视网膜细胞）、色素细胞和感杆束组成。感杆是光感觉神经元在小眼内的杆状特化结构以完成特定的功能，感杆由细胞膜向中腔伸出大量微绒毛（约 30 000～50 000 个微绒毛）形成，多个感杆集合成感杆束，光线沿自己的小眼感杆束传播，并在这里进行光-生物化学反应，完成从光信号到电信号的转换，形成对像点的时空编码。感杆束轴突穿过复眼底部的视神经孔与视叶结构神经纤维网相连。

复眼是蝇飞行控制的关键，飞行控制由 2 个独立的并行通道完成，即大场景（LF）和小场景（SF）系统[12–13]。SF 系统在视网膜图像相对高的振动频率下对小的目标产生响应，从而实现对目标物体的分辨和凝视。LF 系统在视网膜图像的低频偏移情况下产生扭矩响应，所产生的扭矩用于消除在飞行过程中因空气扰动、自身飞行动力失衡等原因造成的意外偏差，稳定飞行路线，跟踪目标，使其位于视觉敏感区域的中心位置。在 LF 和 SF 系统中分别有池细胞（PC）用来控制和管理各自的输出，其中：LF 系统中， PC 具有选通增强与带阻抑制性质；SF 系统中，PC 对于顺时针与逆时针方向的运动具有 2 类不同的敏感性。

LF-SF 系统中 LPTC（Lobula Plate Tangential Cell），STMD（Small Target Motion Detectors），以及LGMD（Lobula Giant Movement Detector）一类细胞均为目标运动检测所涉及的高阶神经元，其中：LPTC 神经元对较大范围内的目标均较为敏感；LGMD 神经元则对于较小局部范围内特征变化敏感，同时通过快速极化和慢速去极化的自适应处理机制能有效抑制背景噪声；STMD 位于复眼后端视觉神经中枢的中央髓质神经元层，具有模式判别功能，从而实现对场景的感知。

复眼能够感知外界物体的形状、尺度、位置、颜色和偏振光信息，而且蝇视觉系统中的神经元会随着行走或飞行的结果而增加响应性，快速地感知相对于环境的运动，还能不断地校正与稳定飞行方向，以及对目标定位并追踪或规避目标。相比人类每秒最多能辨别出 25 幅离散的图像，蝇每秒能甄别出超过 100 幅的独立图像，而且能够根据目标接近的速度，决定逃逸响应方式，或以近乎闪电般的反应速度改变其飞行方向而无需事先进行姿态调整，或执行一系列定向调整后逃逸。

在神经生物学领域取得的系统化成果支持下，仿复眼信息处理的工程化模拟及应用研究也取得了一系列成绩[14–15]，如：Xu 等[16]提出模仿蝗虫和果蝇视觉系统的视觉注意力模型；Shabayek 等[17]指出嵌入式仿生视觉系统将是未来机器人导航及场景感知系统的重要构成；黄凤辰等[18]提出受果蝇视觉启发的多光谱遥感影像小目标检测方法。在结合仿生应用研究成果的仿复眼视觉装置研究方面，已有较广泛的应用[19]，包括：采用常规光学镜头紧密排列形成环形或球形架构的仿复眼 CCD 阵列相机；西澳大学研制的复眼视觉传感器；美国伯克利大学研制的基于微机电系统（MEMS）技术的仿复眼视觉传感器；伊利诺伊大学厄本那-香槟分校研制的人造同位复眼照相机[20]；美国空军采用仿复眼多孔径大视场技术的武器制导；近年来已经产品化的仿复眼微透镜阵列等。

复眼视觉系统通过对光信息的采集，光电信号的转换、融合及编码，视觉信息经过各个脑结构神经系统的学习与认知，最终果蝇能够看到视像并对视像做出反应，从而完成复眼视觉过程的获取—加工—认知流程。蝇凭借有限分辨率的复眼系统及其有限的计算资源，能实现高复杂自然场景下的目标检测、跟踪并快速做出反应，但这对于已经掌握高分辨率成像技术和具有高端数据处理技术的人类而言却仍是一大挑战。借鉴和模拟复眼视觉信息加工处理的神经通路机制及特有的简约计算范式，可为在天地网一体的水利立体监测体系中实现多源监测数据融合与专题信息提取的应用服务，提供新的研究视角。

2 立体监测数据融合系统设计模式

受蝇类复眼能够同时接收多通道信息的机理，以及对多通道信息汇聚、整合形成对整个观测场景和目标信息感知所具备的能力的启发，构建天-地多传感器系统与仿生复眼系统关联集成的平台，将传感器获取的不同模态信息（地面站网数据、遥感影像等）按照一定规则，映射为若干个虚拟的“小眼”群阵列扫描采样，并设计相应的仿蝇复眼感知计算算法，建立监测信息融合仿生复眼系统。多源监测数据融合与专题信息的提取，在水利立体监测体系中作为一种应用服务，图 2 示意了立体监测数据融合系统的设计模式，即一种仿复眼机制的数据融合系统总体设计方案。

图 2 立体监测数据融合系统的设计模式

水利立体监测平台是以广域通信公共网络、水利业务网、水利政务内网、卫星通信网、边缘网络等水利信息网络连接组成的信息传输平台，基础和应用数据库为基础的多源数据获取系统，通过对多星遥感、数以万计的地面测站传感器在不同的地理空间位置和时间尺度上的关联和融合，实现对整个监测区域的有效信息捕捉及专题信息提取。

虚拟的“小眼”阵列是连接水利立体监测平台与仿生复眼融合中心的桥梁。根据应用需求可设计K个“小眼”群，由K个“小眼”群组成小眼阵列，经全景扫描，汇聚拼合成对整个监测区域采样的数据集合序列。“小眼”群的输入可接收处理不同的模态信息，分别设计为遥感影像、地面站网数据、数据库记录、数值模拟等几类采样“小眼”群。以滑动扫描方式模拟复眼结构中若干只“小眼”对监测区域的数据集合进行可重叠采样。

融合中心为复眼视觉信息获取与处理机制的工程化模拟系统，即仿生复眼型立体监测数据融合处理的中心。融合处理中心的功能主要包括：

1）预处理。对遥感影像进行几何、大气校正；对地面站网和不同遥感平台获取的信息，模拟“小眼”采集信息的形式在薄板层进行汇聚、仿生压缩传感与表征。

2）基于仿高阶神经元（LPTC，LGMD 及STMD）进行多尺度-异步时空基准下的匹配复合，完成时空配准与数据汇聚涉及时空的匹配复合、时间同步和坐标系转换等功能。

3）基于仿 LF 和 SF 系统协同的专题信息反演与提取，利用不同空间和光谱分辨率遥感数据“小眼”群和地面站网数据“小眼”群采样的优势互补，实现局部观测区域的高精度专题信息反演与提取，如水生态环境监测的水体组分（叶绿素、悬浮物等）等专题信息提取。

4）仿池细胞系统管控仿复眼神经网络信息处理过程，协调 LF 和 SF 系统算法的分类应用，以及对整个监测区域有效信息的捕捉。

3 结语

在大规模建设水利立体监测系统及关注研究硬件/功能集成的同时，也需要开展基于信息融合手段支撑提升精细化观测能力的系统性解决方案的研究。本研究提出的仿复眼机制的立体监测系统设计模式，有别于目前的大多以模型结合数据驱动的方式，或以非生物机制的智能方式构建融合系统体系结构的研究思路。立体监测系统设计模式通过基于“小眼”群的全景扫描，将不同遥感平台及地面站网的多源数据/信息，经复眼视觉系统的薄板层汇聚与拼合，以及基于仿高阶神经元、LF 和 SF 及池细胞系统的多层级神经网络的信息处理，实现对整个监测区域的数据融合与专题信息提取，这为多遥感平台与地面站网传感器数据汇聚与全局性信息整合提供了系统级解决方案。

进一步的研究工作需要在对立体监测系统体系结构的设计基础上，开展仿 LF 和 SF 系统算法下不同层级融合模型的适应性协调研究，以及仿池细胞系统对整个监测区域有效信息捕捉的管控方法研究等。