面向冰凌密度监测的图像校正算法优化及系统设计

邓 霄，王玎睿，冯 健，张 琳，秦建敏

(1.太原理工大学 a.物理与光电工程学院，b.新型传感器与智能控制教育部与山西省重点实验室，太原 030024； 2.中国电子科技集团公司 第二十二研究所，山东 青岛 266107)

凌汛是冰凌对水流的阻力作用而引起的一种涨水现象[1]。黑龙江为中国第三大河流，穿越了中国、蒙古、俄罗斯三个国家，地处高寒高纬度地区。黑龙江上游的漠河县江段狭窄、岛屿众多，加之地理位置和气候条件综合作用，常引起“倒开江”现象，造成洪水泛滥，威胁到沿江流域两岸居民生命财产及水电工程设施的安全运行，所以凌汛的预报与预防是当地政府的一项重要任务[2-4]。人工检测流凌是目前水文部门主要使用的手段，但是其劳动强度大，信息很难做到连续，无法实现定时定点观测。随着信息技术的发展，地电冰凌技术与卫星遥感技术等也被小规模采用[5]。但是地电冰凌技术无法获取直观、清晰的小范围冰凌图像；而卫星遥感技术也存在对河道的局部弯曲细节反映不准确等问题[6]。戎军飞等[7]在内蒙黄河蒲滩拐河道搭建了一套冰凌图像数据监测系统，通过对采集图像进行自适应阈值分割算法处理，得到了被观测区域的冰凌密度的分布情况。但是该方法并没有考虑所采集图像的透视关系，故如果应用于黑龙江漠河江段(最小跨幅约500 m)，将对其测量结果产生较大的误差。同时考虑到实验地点极端寒冷的天气，常规的视频监测系统很难满足长时间连续工作的要求。

针对现有监测方法的不足，本文设计了一种适用于野外极端低温环境的河道定点冰凌图像监测系统，针对传回图像存在“近大远小”的问题，采用基于透视变换的图像校正算法进行了优化，进而获得了相对准确的被观测区域河道水面冰凌密度数值和流速值。该系统于2015/2016年冬季部署在黑龙江漠河江段(53°28′43″N,122°21′38″E)，为提高该河段凌汛测报准确度提供了一种有效的技术方案。

1 系统现场部署概述

现场实验地点位于中国最北(中俄交界)的黑龙江上游漠河县北极村境内，如图1(a)和(b)所示。该地区的冰期通常从十月下旬开始，一直持续至第二年的四月下旬，冰层的最大厚度约110 cm[8-9]。在融冰期，受温度影响，低纬度地区(上游)的冰盖会首先破裂，大块碎冰顺流而下，在河道拐弯处常常发生堆积，堵塞河道，造成壅水漫滩[10]。针对这一情况，项目组与当地水文部门人员经过实地考察，最终确定将河道定点冰凌图像监测系统安装于北极村北极广场东南侧岸边(图1(b)和(c))，距离地面的高度为8 m.该系统的前端摄像头选用海康威视的萤石3G网络摄像头，分辨率为300万像素，内部存放有3G网络连接端口协议，采用H.264视频压缩算法，可以自动获取被测河道冰面的静态图像和动态视频。

图1 系统现场部署情况Fig.1 Deployment introduction of monitoring system

2 监测系统总体结构

整个监测系统由基于MSP430F1611单片机的系统控制模块、视频采集模块、无线视频服务器模块、电源控制模块和监控中心组成。系统外围的供电采用45 W的太阳能板及控制器实现，网络通信基于GPRS以及Internet网络实现。为了保证采集数据的可靠性，设计了实时传输和SD卡存储两种模式。同时，由于要运行在极端低温环境(最低温度-45 ℃)，所以整个系统采用了一套具有温度反馈功能的自加热控制系统，其总体结构如图2所示。在系统运行时，还设计了定时和手动两种工作模式，既可以选择通过预设的时间启动设备，也可以选择通过监控中心手动发送控制命令，以实现冰凌图像信息的采集。

图2 系统总体结构示意图Fig.2 Schematic diagram of the monitoring system

如图3所示为系统的主程序流程图。系统上电后，开始初始化工作，配置相关寄存器、初始化时钟、I/O口、看门狗、中断控制器及其他相关外设；初始化完成后，系统进入低功耗休眠状态，等待中断事件的唤醒；当有中断事件产生时，处理器首先判断中断源，然后进入中断处理程序处理相应的事件，事件处理完成后，再次进入休眠状态，等待下一次事件的唤醒。

图3 系统主程序流程图Fig.3 Flowchart of system main program

3 冰凌图像数据的处理算法

利用冰凌图像数据可以判断掌握被监测河道的实时冰凌密度与流速情况。在此基础上利用Matlab对已有冰凌分布图像数据进行量化分析，可以为相关部门的防凌决策提供基本的技术支持。

3.1 基于透视变换的图像校正算法

由于现场条件的限制，监测系统只能部署于中国一侧的岸边，所以为了解决所采集图像“近大远小”的问题，提高对于流凌密度计算的精度，本文采用了基于透视变换的图像校正处理算法。共分为两步：1) 将河道冰凌图像从背景中分割，并得到冰凌图像的边界；2) 基于标定数据建立透视变换矩阵，达到图像校正的目的。

如图4所示，典型的透射投影模型包括观察点、透视平面和对象的目标表面[11]。摄像机的位置是观察点，该点还确定了透射平面与目标表面四对角点之间的角度[12-13]。其中，透射平面代表将3D对象转换为2D图像的表面(摄像机拍摄到的冰凌图像)；目标表面代表理想的捕获图像(校正的冰凌图像)[14]。由于透射平面与目标表面四对角点之间存在一定的角度，所以会丢失目标表面中线条的平行关系，导致在透视平面上形成不规则的四边形。

图4 透射投影模型Fig.4 Transmission projection model

根据透射投影模型，文中校正矩阵的建立过程如图5所示。北极广场气象站为摄像机的安装地点，图中边界A、边界B是摄像机视野的下边界；边界C、边界D是摄像机视野的上边界。经测量，北极广场气象站与边界B，A，C和D的距离分别为70.21 m，62.00 m，193.47 m和167.00 m；边界A和边界B的距离为45.18 m.

根据漠河江段现场标定数据，可以获得透射平面(冰凌图像)和目标表面(校正图像)四对角点之间的对应关系，从而确定透视变换的矩阵，该矩阵可以实现对透视图像的校正变换，其后再进行差值处理，以保证校正变换后冰凌图像的清晰度。

图5 实验江段现场标定图Fig.5 Field calibration diagram of experimental section

原始冰凌图像与校正冰凌图像之间的点对关系可以用透视变换的矩阵来表示，它是一个从二维空间(x,y)到三维空间(x′,y′,a)并回到二维空间(x′,y′)的过程(见式1)：

(1)

其中，(x,y)为原始冰凌图像的二维坐标，(x′,y′)为校正冰凌图像的二维坐标，(x′,y′,a)为冰凌图像的三维坐标，a为任意非零常数。

将式(1)在直角坐标系中表示如下：

(2)

(3)

求解此线性方程组可以得到矩阵中每一个hi的值。

利用解得的变换矩阵就可以对透视冰凌图像中的每一个像素实现透视变换，从而将透视变形的冰凌图像校正为近似无变形的原冰凌图像的正视图，结果如图6和图7所示。

图6 原始图像Fig.6 Original image

图7 校正后的图像Fig.7 Corrected image

3.2 基于亮度均衡化的图像分割算法

基于亮度均衡化的图像阈值分割算法的基本思路为：对于采集到的冰凌原始图像，首先采用形态学的相关运算对图像进行预处理[15]。随后按照图像的灰度特性，将图像分成背景(河水)和目标(冰凌)两部分，若二者间的类间方差值越大，说明构成图像的两部分的差别越大，即背景(河水)和目标(冰凌)分割的越准确。以类间方差作为衡量冰凌、河水之间差异的判别准则，其极大化的过程就是根据冰凌图像自动确定阈值的过程，因此，类间方差的最大值就是区别背景河水和目标冰凌的最佳阈值[7]。为了便于后续分析，根据阈值分割原理，将校正后的冰凌图像转化为二值图像，如图8和图9所示。

图8 灰度图像Fig.8 Grayscale image

图9 二值图像Fig.9 Binary image

3.3 算法实现例程

冰凌密集度计算程序流程图如图10所示。程序首先读取河道冰凌监测系统传回的冰凌图像，之后利用确定透视变换的矩阵对透视图像进行校正变换，随后进行插值处理，以保证校正后图像的清晰度。最后对校正后的冰凌图像进行灰度化处理，并

图10 冰凌密集度计算程序流程图Fig.10 Flow chart of ice density program

利用形态学原理将冰凌原始图像的亮度均衡化。以类间方差的最大值为标准，求取最佳阈值，将冰凌图像转换为二值图像，则冰凌分布的密度Z可以定义为式(4)：

Z=X/Y.

(4)

式中：X为图像中冰凌部分的像素数，Y为图像中的总像素数。

此算法的优势在于能够实现阈值的动态获取，在使用上更具有通用性。由图11可知，该冰凌图像的最佳阈值为96.

图11 灰度-阈值曲线Fig.11 Gray-threshold curve

4 现场冰凌图像数据分析

4.1 冰凌密度计算

2015年12月至2016年5月期间，课题组在黑龙江漠河江段(53°28′43″N,122°21′38″E)进行了流凌监测现场实验，全面观测了漠河江段的封冻、开河过程，得到了大量的图像数据，为后续的数据处理提供了有利保障。需要说明的是，为了使系统能在野外环境中长时间可靠工作，对系统进行了低功耗处理。即以每天2次(上午10时和晚上20时)的频率将所采集的视频数据存储于现场的SD卡中，并通过GPRS网络将SD卡中的数据传回监控中心。

图12为2016年4月23日至5月3日的冰凌

图12 2016年4月23日至5月3日的冰凌密度变化曲线Fig.12 Change curve of ice density from April 23 to May 3, 2016

密度变化曲线，由图可知，监测点在4月23日之前仍处于封冻期(100%)，4月23日至4月29日河道的部分冰盖发生了融化(40%～60%)，但尚未形成流凌。4月30日以后开始有伴随江水顺流而下的浮冰出现，故选取5月2日的图像数据进行分析。

利用文中所提流凌密度图像处理程序，对2016年5月2日上午10:28:00至10:28:50接收到的部分数据进行分析，可得监测点处的流凌密度为8%左右。结果如表1所示。

表1 部分冰凌图像数据分析结果Table 1 Analysis of partial ice image

4.2 河道流速的计算

由于在透视投影中目标物体的水平移动不会影响其形状的变化，因此河道的平均流速可以定义如下(式5)：

(5)

式中：n为目标物体移动的像素数；nr为基于标定点的已知像素；Lr为标定点的实际距离；t为目标物体移动的时间。

假设某一时段内江水的水平流速不变(不考虑江边的情况)，选取2016年5月2日上午10:28:20至10:28:30接收到的部分数据进行分析。从图13可知，目标冰块从图13(a)处移动到图13(b)处所用的时间t为10 s，冰块在图片中移动的像素n为460，摄像机视角的边界A和边界B之间的距离Lr为45.18 m，其对应的图片像素nr为1 280.根据透视变换中透视平面和目标表面之间的对应关系，可得被测河道的平均流速为1.62 m/s.

图13 计算流速时目标物体的确定Fig.13 Determination of the target object in calculating the flow rate

5 结束语

针对黑龙江漠河江段春季开河时冰凌密度与流速的实时监测问题，本文设计了一种可用于野外极端低温环境的河道定点冰凌图像监测系统，考虑到利用原始图像数据对冰凌密度的计算结果存在误差，采用基于透视变换的图像校正算法和动态阈值分割算法对图像数据进行了优化。该系统于2015/2016年冬季对黑龙江漠河江段的封冻、开河过程进行了全面监测，获得了凌汛期间的流冰密度分布、流速等重要参数，为该江段凌汛测报工作的有效开展提供了一种新的方法和手段。