基于光电一体化技术的智慧河道管控

卢秉彦 ，徐 刚 ，徐永乐 ，周曙屹 ，徐乙玮

（1. 深圳深水水务咨询有限公司，广东 深圳 518000；2. 三峡大学水利与环境学院，湖北 宜昌 443002）

0 引言

2018 年 11 月深圳市水务局发布《深圳市智慧水务一期工程项目建议书》，明确指出深圳市智慧水务一期市管水库、河道、泵站等相关水利设施智慧水务的建设要求。在深圳智慧城市的大建设背景，以及河长制、治水提质和海绵城市建设等治水策略的实施下，水务管理精细化、业务协同化不断提高，对水务智慧化提出了更高的要求，智慧水务建设已刻不容缓。为规范河道管理，需要从人员、设施、涉水工程项目、流域水情工情等方面对河道进行系统性管理，全方位监控河道，同时对侵入河道等异常行为进行捕捉并报警。

目前国内相关学者采用光电协同技术在工矿安全、智慧城市应用方面进行了大量研究。侯志强等[1]提出同平台上一种基于雷达与图像信息融合的目标跟踪系统结构和相应算法，利用距离信息引导图像传感器捕获目标，利用角度信息引导雷达跟踪目标。徐伟等[2]将基于视觉的行人特征信息与毫米波雷达检测的行人特征信息进行融合，得到行人目标的新特征信息，通过采集道路环境的视频和雷达数据对行人正确识别率进行验证。吴宪等[3]以单传感器目标跟踪算法为基础，利用毫米波雷达与单目摄像头构建集中式和分布式融合算法框架，融合后的结果更加接近激光雷达的检测数据。蔡林峰等[4]提出融合雷达与视频分析技术的智能桥梁防撞偏航预警系统的解决方案，对降低船舶偏航碰撞风险、保障桥梁安全提供了合理有效的解决途径。黄海[5]采用雷达、枪型摄像机、球机协同工作，实现从自身到较远距离的半圆形区域的全视角无盲区覆盖，雷达与光电协同在机场周界安防技术上的应用大大减轻了执勤人员的工作强度。金立生等[6]提出一种基于毫米波雷达和机器视觉的前方车辆检测方法，利用多传感器融合数据，可以有效识别夜间前方车辆。这些研究对推动雷达联合光电一体化技术的理论与工程实践的发展起到了积极作用，但是目前光电协同技术特别是实现光电多数据源融合的安全管控方法，用于河道安全管控的应用研究并不多见。

为此基于光电一体化技术，提出融合厘米波雷达和智能摄像头的智慧河道管控系统（以下简管控系统），采用行人轨迹跟踪和预警算法对河道管控区域行人轨迹进行实时跟踪和预判预警，达到智慧河道管控目的。

1 基于光电一体化的智慧河道管控

雷达联合视频光电一体化技术，主要是指在智能视频监控分析的技术上，加入雷达协同监控。采用视频监控设备可对图像进行信息采集，分析目标类别及行为等，但视频监控存在监控距离短，夜晚可视程度差，受天气影响较大，不能量化监控目标的距离、速度、方位信息等缺陷。在雷达引导的光电一体化监控系统中，雷达可同时检测跟踪到多个目标，提供实时监控目标的距离、速度、方位数据，根据后台控制算法发现和预判其中的合理监控目标并进行连续跟踪监控，并引导摄像头进行抓拍。雷达联合视频光电一体化技术监控，能充分发挥两者的优势，实时获取监控区域特定目标的图形和位置信息，并据此进行行为分析及监控。

采用雷达和高清摄像头配合构成智能跟踪系统，用于河道管理区周界监护，在禁止进入的河道或翻越的河堤等重点管控区域，当雷达传感器探测到移动物体接近或进入管控区域时，自动对物体进行跟踪，引导摄像头采集视频信息进行智能化分析判断。通过分类判断为车辆或人员，通过人脸识别判断为工作人员或非工作人员。若为非工作人员，赋予编号进行重点跟踪。雷达连续不断地测量、跟踪靠近警戒区域的目标数据，控制中心采用卡尔曼滤波算法进行轨迹跟踪预测，当控制中心判断为越界等异常行为时自动报警并进行视频抓取和取证。

管控系统监控流程图如图 1 所示。

图 1 光电一体化技术监控流程图

1.1 运动目标检测与融合

管控系统通过视频监控系统与雷达信息自动同步联动，融合 2 类设备的优势，实现雷达和光学探测数据的关联、整合：利用视频数据进行特征提取与模式识别处理，基于雷达数据进行目标定位和跟踪，并将目标按类别进行准确关联，基于时间和空间融合算法将同一目标的所有传感器数据进行整合。

管控系统建立雷达、三维世界、摄像机、图像和像素之间的坐标转换关系，进行多传感器数据的空间融合。雷达与视频信号坐标系均采用极坐标，坐标原点即传感器安装位置。三维世界坐标系采用 GPS 测定坐标，设雷达传感器坐标为（xr0，yr0，zr0），视频摄像头坐标为（xv0，yv0，zv0）。管控系统的平面布置图如图 2 所示。

图 2 光电一体化监控设施平面布设图

雷达对运动目标的测速采用多普勒原理，根据以下公式计算运动目标的多普勒频移fd和径向速度v的关系：

式中：c为电磁波传播速度；f0为发射信号频率；α为目标移动方向和反射方向的夹角。

雷达对运动目标测距采用线性的调制高频信号，包括采用三角形和锯齿波调制，基于数学公式的间接测量方法，频谱测量目标距离R为

式中：f0'为反射信号频率；T为调制信号周期；∆f为信号调制带宽。

雷达对运动目标测量角度采用多个天线接收回波信号间的相位差进行测角，公式如下：

式中：φ为相位差；λ为雷达波长；ΔD为波程差；d为天线基线长度；θ为测量目标方位角。

根据测量值θ，R，可以将雷达目标角度θ、距离R的极坐标换算为目标平面坐标（xr，yr）：

也可以将目标平面坐标反算为以视频传感器为原点的极坐标（Rv，θv）：

式中：∆d为视频传感器与雷达传感器的间距。

将雷达测量运动目标极坐标点通过坐标系转换到摄像机对应的极坐标系下，实现多传感器的空间同步。根据转换关系，得到雷达坐标系和摄像机坐标系之间的转换关系，将空间上雷达检测目标匹配至视觉图像。

雷达和视频传感器在时间上同步采集数据，实现时间的融合。为保证数据的可靠性，以雷达刷新时间为基准，雷达每刷新 1 次数据，选取视频采样下一帧的数据，即完成共同采样 1 帧雷达与视觉融合的数据，从而保证雷达数据和视频数据时间上的同步。

数据融合过程如下：

1）由雷达获得管控区域运动目标形心点的坐标（xr，yr，zr），同时获取物体的反射面积Ar，通过坐标转换算法换算为以视频传感器为原点的视频极坐标（Rv，θv），以物体反射面积乘以一定比例即可获得物体在像素平面的投影，从而建立视频画面的搜索区域。

2）将雷达获取的距离信息R发送给图像传感器的伺服系统作为引导信息，在视频画面的搜索区域识别捕捉到 1 帧符合标准（大小，姿势）的图像时，用基于静态图像的物体分类和人脸识别算法进行识别。识别结果按照车辆、行人进行分类，将行人进一步识别为工作和非工作人员，识别结果返回到管控系统控制器，并赋予非工作人员唯一编号UID（用户身份证明），雷达传感器开始实时跟踪和记录 UID 对应的行人轨迹。

由于天气、光线等原因，如果视频识别无法在搜索区域识别捕捉到合适的对象，则管控系统直接采用物体的反射面积Ar区分车辆或行人，Ar小于阈值则标定为行人，管控系统对行人赋予唯一编号 UID，并开始实时跟踪和记录 UID 对应的行人轨迹。

1.2 运动目标轨迹跟踪

管控系统利用雷达探测运动目标距离、速度、角度等信息，估计目标在下一时刻的位置和速度。注意到行人在短时间内的运动是接近线性的，因此考虑使用卡尔曼滤波算法估计目标的位置与速度。卡尔曼滤波算法仅利用当前时刻的状态观测值和前一时刻的状态估计值，就可得到当前时刻的状态估计值，并且能容纳一定的噪声，同时存储空间较小且计算速度快。

1.2.1 运动目标状态和观测方程

在跟踪过程中定义k时刻的实测状态变量为Xk= [xk，yk，x'k，y'k]，其中xk，yk和x'k，y'k分别是目标k时刻在x和y方向上的坐标和速度分量。管控系统需要利用目标的位置和速度信息计算当前时刻的状态估计值，因此定义目标的观测变量为Zk= [px k，py k，px' k，py' k]，其中px k，py k分别是k时刻目标在x和y方向上的坐标分量，px' k，py' k是相应的速度分量，直接由目标相邻时刻的测量值得到。

因为行人在管控区域内的移动基本是直线运动，故可以假设行人在做变加速运动。假设相邻时刻的时间间隔为t，建立状态方程描述相邻时刻状态变量之间的关系，公式如下：

式中：wk-1为加速度，符合噪声协方差矩阵为Q的正态分布，即wk-1～N(0，Q)。

观测方程较为简单，加入观测噪声，公式如下：

式中：vk-1为观测噪声误差，服从协方差矩阵为R的正态分布，即vk-1～N(0，R)。

由式 (8) 和 (9) 可以得到状态转移矩阵A和观测矩阵H，公式如下：

1.2.2 运动目标轨迹跟踪预测步骤

对目标的运动模型建模后可得到状态和观测方程，根据卡尔曼滤波算法进行递归计算，调整相关参数就能对状态变量做出较准确的估计。计算过程分为以下 2 个阶段：

1）预测阶段。预测的状态变量的先验估计公式为

预测的误差协方差的先验估计公式为

2）更新阶段。计算的最优卡尔曼增益为

更新出状态变量的后验估计为

更新出误差协方差的后验估计为

在跟踪过程中，当雷达探测出目标的位置后就得到观测值Zk，卡尔曼滤波器先根据式 (11) 和 (12)推算预测值，再结合观测值利用式 (13)～(15) 进行校正得到估计值。其中，控制变量B为空，Q和R是根据实际运动模型假定的常数矩阵，初始运动状态 [xk，yk，0，0] 和初始协方差矩阵P0也根据实际情况初始化。

建立卡尔曼滤波器后，具体跟踪预测更新步骤如下：

1.3 轨迹跟踪预警

将卡尔曼滤波结果反馈给中心控制程序作为下一时刻的初始状态连续进行跟踪，并将雷达跟踪目标运动轨迹转换为平面坐标在监控中心卫星地图上实时显示出来。

预先设置河道管控报警区域为多边形区域，若根据运动目标平面坐标预判行人侵入或已经侵入管控报警区域，管控系统自动弹出报警信息或以短信等形式发出报警，工作人员进一步处理报警消息。

可根据图 3 所示光电一体化监控警戒区域图，判断监控运动目标轨迹是否在河道管控警戒区域范围内，多边形ABCD代表河道警戒区域，虚曲线段P代表目标质心的运动轨迹，其中P={P1，P2，…，PN}，PN代表运动目标质心实际的位置。判断运动目标质心PN是否在管控报警区域的多边形内部采用PNPoly 算法[7]，判断 1 个点是否在多边形的内部，则从该点引 1 条射线：如果射线与多边形的边的交点是奇数，那么该点在多边形的内部；如果交点是偶数，那么该点在多边形的外面。

图 3 光电一体化监控警戒区域图

若管控系统判断有行人将进入或已进入管控区域，则管控系统将通过短信报警，并将行人轨迹标识在监控中心大屏。同时将滤波结果中的距离信息传送给图像传感器的伺服系统作为引导信息，协调中心驱使远距离光电转台进行连续跟踪拍摄，同时管控系统将调动摄像头进行抓拍取证。

2 基于光电一体化的管控系统应用

梧桐山河发源于深圳市罗湖区梧桐山北麓，流经横沥口、坑背等 7 个村落后注入深圳水库，沿线4 条支流汇入梧桐山河，全流域属东深供水水系，为饮用水源保护区。河道上游建有横沥口水库，属小 (2) 型水库。河道防洪标准为 50 年一遇，河道水质为 2 类，是一条融景观性、功能性、生态理念于一体的河域生态景观带。

为实现水务设施精细化管理目标，以梧桐山河为试点，采用雷达联合视频光电一体化技术的监控方式，建立管控系统，对河道及周边河道管控区域情况进行精细化管控。

2.1 管控系统构成

管控系统由雷达、智能摄像头设备和中心控制站构成，结构如图 4 所示。管控系统以雷达、智能摄像头等多元信息感知传感器为基础，利用网络通信、信息处理和数据融合等技术，对河道运动目标进行联合探测感知，实现对人员等目标的全天候实时跟踪监控。

图 4 光电一体化监控系统架构图

2.1.1 雷达

采用的雷达为 ISYS-3106 型厘米波雷达，采用24 GHz 运动探测器，作用距离为 300 m，雷达散射截面积（RCS）为 0.75 m2，辐射角量程为 72.5°，雷达探测距离可人工设置，探测径向速度为 0.25～140.00 km/h，防护等级为 IP67。雷达可以全天候24 h 工作，不受天气影响，可以大角度甚至 360° 方位监测，能同时识别和监测同一场景内多个目标的不同行为。

2.1.2 智能摄像头

智能摄像头水平旋转角量程为 360°，垂直旋转角量程为 90°。支持高清图像的前端采集、编码传输、录像储存、解码回放等操作，实现高清监控；能够保存一定时间内的录像，方便查询和取证；可为用户远程监控，发出指令，调整摄像头焦距等。智能摄像头提供 Web Service 及 http 接口，便于与监控系统集成。

2.1.3 中心控制站

中心控制站是集指挥中心、视频流媒体服务、大屏展示系统为一体的综合指挥中心，由以下 3 个部分组成：1）监控大屏。根据用户需要在监控大屏显示各种动态监控信息。2）雷达控制终端。对传输的雷达信息进行后台分析、信号输出等操作。3）视频云台。对于视频采集器采集的视频信息做进一步处理、输出。雷达与高清摄像头配合，在雷达发现运动目标时，管控系统通过调用前端摄像头采集的视频进行智能化分析，实现人脸识别和行为分析等功能，自动对异常行为和事件进行数据采集分类并联动报警，同时后台可以实时看到分析数据和视频录像，在事后可以通过事件检索进行提取和取证。

2.2 管控系统应用效果

控制中心预先设置河道警戒区，整体监控流程如图 5 所示，当有运动目标进入提前设置的雷达监测区域内时，雷达在监控范围内进行运动目标检测，图中带编号的圆点代表监控到的运动目标。当检测到有运动目标接近警戒区域时，雷达将其运动目标坐标通过控制中心程序发送到摄像机控制云台，引导摄像机锁定运动目标所在区域，再通过视频智能分析运动目标类型。视频分析结果为非工作人员，雷达根据分析结果予以编号并持续跟踪目标。管控系统利用雷达和图像融合后的滤波，通过当前时刻目标信息可以预测下一时刻目标的位置、方向速度等，由此判断目标运动趋势，发现目标进入警戒区域内，进行视频抓拍和联动报警，报警信息在大屏管控终端显示，工作人员可以根据报警情况采取应对措施。

图 5 雷达监控运动目标流程图

控制中心程序采用卡尔曼滤波算法进行连续更新和预测行人轨迹，以 2019 年 10 月 25 日监控的一段典型行人轨迹数据为例，管控系统每秒更新连续轨迹跟踪数据，根据雷达实时监测数据绘制的观测轨迹线和经卡尔曼滤波计算后数据绘制的滤波轨迹线如图 6 所示，经比较可知滤波后行人轨迹更加平滑平稳，符合行人运动规律。卡尔曼滤波计算前后轨迹误差对比如图 7 所示，有效降低了行人位置数据的不确定性，可以预测下一时刻行人位置，为预警提供更加准确的依据。

目前基于光电一体化的管控系统已经在深圳梧桐山河流域管控中投入实际应用，可 7×24 h 实时监控设定管控区域人员异动并进行联动报警。在实际运行中，管控系统可有效实现全天候、全气象条件下的河道管控，结合实时报警和河道管控人员的劝阻，可避免行人在河道管控区域违规行为的发生。

图 6 光电一体化监控运动目标轨迹图

图 7 卡尔曼滤波计算前后轨迹误差对比图

3 结语

将雷达联合视频光电一体化技术应用在河道管控中，提高了河道管控信息化水平，实现了全方位实时在线监控、预警等任务，可为流域河道管理人员提供有力的监控手段，减少监控工作强度，对做好水源保护和安全防护等工作均有着十分重要的意义。

在实际应用中发现，目前基于雷达联合视频的光电一体化技术还存在角分辨力不高，人群密集情况下个体目标分辨效果不佳的问题，后期将对这一问题尝试采用激光雷达等其他技术手段解决。

展望未来，雷达联合视频光电一体化技术在智慧水利领域还具有更多的应用，如水利设备监控、堤防或岸坡稳定监控预警、水环境污染监控等。