基于路面视亮度差平方最优化的视频能见度检测算法

吴 炜李 勃 杨 娴 端金鸣 陈启美

(南京大学电子科学与工程学院 南京 210046)

1 引言

雾、霾等恶劣天气是严重影响高速公路道路行车安全的因素，每年由低能见度原因造成的交通拥塞甚至恶性事故频频发生，据统计发生在特殊天气下的交通事故占总交通事故的24%左右，因此及时、准确、有效地对雾天道路能见度进行监测和预警意义重大。传统的能见度监测仪器价格昂贵，动辄几十万，且无法密集布设，难以准确反映整个路段的能见度情况。因此，急需在实时性、准确性、检测范围上寻求能够替代甚至超越能见度仪的方法。

近年来，基于视频处理的能见度检测方法因其速度快、成本低、自动化等优点广受国内外学者的青睐。美国明尼苏达州大学提出了基于固定距离目标物的视频能见度检测方法[1]，该算法需人工放置目标物，操作烦琐，且成本高，对检测路段的地形环境有较高要求；MIT提出基于标志图像计算相对能见度的方法[2]，通过与样本库中能见度已知的图像作对比，得出待检测场景图像的相对能见度，该方法无需人工干预较为方便，但难以用于高速公路上的PTZ摄像机；文献[3]提出了基于求取路面特征亮度曲线的二阶拐点来估算能见度值的算法，算法具有场景上的局限性，由于实际摄像机架的角度，当前道路画面不一定能计算出二阶拐点。文献[4]研究了场景的物理特性，用非线性数据回归的方式求解能见度，此方法需要对场景采集大量图像作为样本用于机器学习，工作量大。

国内方面，许多研究机构在基于视频的能见度检测方法上作出了探索，其中，文献[5]提出的算法通过分割出天空区域进行信息重建，引入暗原色的知识计算大气透射率进而求得能见度值，该方法需要进行长时间的时间积累获得太阳的角度等信息，并且只在1500～3000 m的范围内有较好的效果；文献[6]提出了基于 SAD 检测算法和景深自适应算法的视频雾区自动检测方法，需事先采集大量图像，分割出多组距离信息目标物，提取对比度信息得到能见度相对值，再根据基准标志物映射出绝对距离，此方法对摄像机安装的绝对位置有要求，稍有扰动会产生较大偏差。本实验室在能见度检测算法上也有多年研究，其中，文献[7]提出了基于小波变换的视频能见度检测算法，采用小波变换提取图像边缘特征点，使提取的能见度值符合人眼的特征；文献[8]提出了无需人工标记的基于视频图像对比度的检测方法。这两种方法计算量大且易受到噪声的干扰，影响检测的稳定性。

在上述研究的基础上，本文结合摄像机标定，提出了一种基于路面亮度特征的能见度检测算法，利用高度和亮度一致的路面区域，将其亮度特征曲线作为目标值，选定消光系数的初值，用根据理论计算得到的视亮度值与目标值作差平方，根据最小二乘法原理，求使差平方取得最小值时消光系数的最优解，进而得到实际能见度。经过实验论证，本文算法与现有算法相比，具有计算精度高、速度快且对噪声鲁棒性高等优点，并且能够很好地与高速公路路况监控系统兼容，具有普适性和实用性。

2 能见度检测算法的实现

2.1 PTZ摄像机标定

根据路况摄像机成像模型[9]，建立路面坐标系、摄像机坐标系间与成像平面间的变换关系，并推算出路面上一点到摄像机坐标系的垂直距离di与该点在像平面上对应像素点的坐标的对应关系：

其中，θ为摄像机光轴与路面夹角，H为摄像机光心距路面的垂直距离，f为镜头有效焦距，vi为路面上一点在像平面坐标系中的行坐标，vh为灭点在像平面坐标系中的行坐标。

2.2 雾天大气光学原理

光在介质中传播时[10]，在其传播路径上能量不断地损耗。根据Koschmieder理论[11]，令k表示大气消光系数，某一固定亮度的物体在距离人眼距离为处的视亮度与物体本身亮度及背景亮度Lf关系为

根据CIE的定义[12]，目标物相对于背景对比度大于0.05的像素点，人眼才能够区分出来，用Cd表示目标物亮度对比度，C0表示固有亮度对比度，当时，对于临界位置处的黑色目标物，可以计算出大气能见距离Vmet为

3 基于亮度特征差平方的能见度检测算法

3.1 路面高度、亮度一致性保证

在成像过程中，由于真实3维空间和图像2维空间转换的关系，容易丢失物体高度信息，使得部分物体成像在地平线之上，因此本文采用抛物线拟合车道线，再通过随机霍夫变换分割出完整的路面，如图1所示。

为了排除路侧树木、路基等干扰，使得提取出的路面亮度具有一致性，本文采用区域增长算法[13,14]。设置路面兴趣域最底端为种子区域，计算种子区域的灰度中值，记为。令种子区域的上一行像素点为目标区域，逐行向上处理，选择像素点与其3邻域内像素点的亮度值之差作为判别阈值，如图2所示，若目标像素点的亮度值与种子点的中值亮度之间满足式(4)所示约束关系，则认为此点是亮度一致的路面上的点。

图1 车道分割线重建

图2 种子点上3邻域示意图

其中，nr表示目标像素点与初始种子点ps相隔的行数。

对图像依照自下而上、从左至右原则逐行扫描，获得满足亮度一致性的像素点后，采用Nagao中值滤波[15]将满足高度、亮度一致性的像素点加入到路面区域中，得到精确增长出的路面区域。区域增长的效果可见图3(a), 3(b)。

图3 区域增长前后效果对比图

3.2 路面亮度-距离特征曲线

在分割出的路面区域中，去除了行驶车辆、中间绿化带、树木阴影、车道线等的影响后，对于路面区域的每一行，亮度值会出现不连续的情况，因此不能直接取每行路面中点的亮度值作为该行路面的特征视亮度。为此，本文先计算图像目标行第 v行中的连续像素点集，选取包含像素点数量最多的连续像素点集，其像素个数记为，如图4(a)所示。随后据式(5)计算该最长点集的亮度中值，将第vi行的路面视亮度特征记为。

图4是对图3(a)雾天交通视频图像经过分割去噪后提取出的路面区域，按照上述原则，对整幅图像以行为单位，据式(5)计算第 vi行对应的视亮度，并画出路面亮度-距离特征曲线，如图5所示。进而通过式(1)进行实际距离与图像坐标的转换，也即得出路面视亮度与实际距离的视亮度真值曲线。

图4 最长连续像素点集

图5 路面亮度-距离(v)特征曲线

3.3 目标函数最优化求解消光系数

3.3.1 最小二乘法原理

由极值的必要条件：

3.3.2目标函数建立及求解 结合上述Koschmieder理论和最小二乘法原理[16,17]，假设取不同的k和L0值代入式(2)计算视频图像每行对应的视亮度，便能得到许多条对应不同的曲线，若将此曲线与亮度真值曲线拟合，根据最小二乘法原理，当两条曲线无限接近时，则此时的即目标图像实际对应的消光系数和固有亮度。因此，本文以假设曲线与真实目标曲线的差平方建立目标函数，根据最小二乘法逼近原理，计算目标函数取得最小值时的最优解。

据式(2)建立目标函数：

根据极值条件，目标函数对L0求偏导，有

由最优解处条件，式(9)=0，化简得

由式(10)可以得出L0和k之间的关系，随后将目标函数对k求偏导：

将式(10)代入式(12)，经过整理得

式中，h是图像总行数，di是图像上第vi行对应实际路面上该行到摄像机坐标系的垂直距离，据式(1)计算得出；Lf是天空背景亮度即灭点处的视亮度值；为直接从图像中得到的路面视亮度，作为目标真值。因此，只有 k是未知数，解方程式(13)得到消光系数k，进而由式(3)求得能见度距离vis。

3.4 算法整体框架

根据路况摄像机的成像模型和大气光学基本原理，文中假定在有雾情况下，视频一旦开始拍摄则摄像机的位置固定，俯仰角、焦距等参数不再改变。首先确保路面区域高度的一致性，本文采用抛物线拟合车道线，通过随机霍夫变换(RHT)检测图像的ROI，再通过特定的区域增长准则保证图像具有亮度一致性，得到精确的区域来计算路面每一行的视亮度特征值，从而得出亮度-距离曲线。对于视频中的每一帧图像，大气消光系数和路面固有亮度均是一个定值，取不同的k和L0值代入式(2)得到L(di)与整幅图像的视亮度真值作差平方，建立目标函数，根据最小二乘原理，计算目标函数Q(k,L0)取得最小值时的消光系数 k，从而据式(3)算出对应的能见度值。

本文具体算法流程如图6所示。

4 测试结果及分析

本文将此能见度检测算法在自行研制的高速公路视频监控系统上进行了测试，测试硬件平台为Intel Core i5-2500 @ 3.3 GHz 4核 CPU, 4 GB内存，SUSE Linux操作系统，所采集的视频来自江苏省宁连高速公路视频监控图像，格式为MPEG-2，分辨率为704×576。

选择典型雾天天气情况，从 8:03～10:33每 10 min截取1帧图像，即图7(a)～7(p)所示的16帧图像，以此作为测试序列，分别将本文算法测试结果与能见度仪测值、文献[7]提出的基于小波变换的视频能见度检测算法、文献[8]提出的无需人工标记的基于视频图像对比度的检测方法结果进行对比，考察性能优劣。其中，用于测量真值的仪器是芬兰VAISALA公司生产的PWD22前向散射能见度计，精确度为±1.5%。

图6 具体算法流程图

对于式(1)中的λ，只需在视频图像中找到一条清晰的车道分割线，车道分割线头端到摄像机坐标系的距离为 d2，车道分割线尾端到摄像机坐标系的距离为 d1，由于实际高速公路的车道分割线有固定长度6 m，且车道线到摄像机距离较远，因此近似认为，并读出该车道分割线头尾的行坐标，代入式(1)可以计算得到：

对于不同时刻的测试图像，图7中给出了应用本文算法得出的相应能见度值。不难发现，该结果与人眼感知的能见度距离十分吻合。为了更加客观，图8同时给出了能见度仪测值、小波算法、对比度法和本文算法的计算结果。

从统计结果中可以看出，小波算法在雾浓度较低时检测结果偏大，且易受摄像机晃动等因素影响；对比度法是逐点计算，对图像中出现的镜头污渍、车辆等噪声较为敏感，容易发生跳变(如09:23时刻数据)；而本文算法先对整个图像预处理，以行为单位进行计算，受噪声影响小，有较好的鲁棒性。由图8可见，本文算法结果在大部分数值与真值近乎一致，只有少部分数值略有偏差，同时经观察，本文算法能极好地反映相邻能见度值的变化，与真值变化趋势完全一致，这一特点也为将来应用本文算法进行雾霾消散情况的预测提供了支持。

图7 雾天视频图像测试序列

图9为本文算法及其他算法相对于能见度仪测量值的误差，表1给出了3种算法的平均误差和准确率。由数据得出，本文算法误差均在10 m以内，平均误差只有约5 m，这样微小的误差在高速公路实际应用中是可以忽略的。通过准确率对比，显见本文算法精确度更高。

据本文理论，能见度检测问题归结为求目标函数极小值的问题。为此，以图 3(a)雾天交通图像为例，从0～0.2之间以0.001为间隔取不同的消光系数k值代入式(10)计算Q，得到如图10所示曲线，显见Q为凸函数，有且仅有一个极小值，符合本文理论。

表1 算法准确率对比

再者，由消光系数 k值可以据式(12)反推出路面固有亮度L0的值，图11列出了每幅测试图像对应的L0的值。路面固有亮度是根据CIE相应测试标准得出的一个路面固有特征，针对一个固定的场景，L0是一个定值。由图可见，同一段道路在不同时刻下计算得出的固有亮度值基本维持稳定，均值为85.5，符合该标准，说明本文算法具有较好的稳定性。

表2给出了本文算法和其他两种算法在测试环境下的计算速率及资源利用率。小波算法和对比度法是逐点进行处理，而本文算法则是以行为单位进行计算，并采用了最小二乘法逼近求解，减小了计算开销。

图8 本文算法与能见度仪值、其他算法结果对比

图9 误差对比分析

图10 图3(a)道路图像的Q-k曲线

图11 路面固有亮度L0计算值

表2 算法计算速率比较

5 结束语

本文能见度检测系统与现有高速公路路况监控系统兼容，可方便地接入，并已在沪宁、宁连、宁常等路段试用。与能见度仪和以往的软件检测形式对比，具有以下明显优势：(1)无需设置任何人工标志物，充分利用了路况摄像机的视频图像，无附加成本，监测直观，处理及时，具有重要的社会经济效益；(2)本文算法提取满足条件的路面区域进行逐行计算，排除了周围噪声干扰，计算速度快，准确率高，稳定性好，适用于实时监测；(3)对高速沿路分布的监控视频逐一进行能见度检测，进而开展全路段的能见度统计分析，反馈给运管部门，实时发布路况能见度信息，给出相应路段的车辆限速，以及路由迂回等信息，具有广阔的应用前景和推广价值。

当然，本文算法也存在一些不足，如在夜间，由于照明条件问题，不能准确地提取出路面视亮度，导致能见度检测该方法模型并不适用。此外，测试时已验证，本文算法能够完全准确地反映能见度值变化的趋势，这一特点为进行雾霾消长情况的预测提供了支持，也是本文算法进行下一步深化研究的目标。

[1] Kwon T M. Atmospheric visibility measurements using video

[10] Harrison R G. Aerosol-induced correlation between visibility and atmospheric electricity[J]. Journal of Aerosol Science,2012, 52(6): 121-126.

[11] Jaruwatanadilok S, Ishimaru A, and Kuga Y. Optical imaging through clouds and fog[J]. IEEE Transactions on Geoscience and Remote Sensing, 1993, 41(8): 1834-1843.

[12] CIE: International Lighting Vocabulary. CIE Publications 17.4[S]. Commission International de L’Eclairage, 1987.

[13] Shihf Y and Cheng S. Automatic seeded region growing for color image segmentation[J]. Image and Vision Computing,2005, 23(4): 771-792.

[14] 解立志, 周明全, 田沄, 等. 基于区域增长与局部自适应-C-V-模型的脑血管分割[J]. 软件学报, 2013, 24(8):1927-1936.Xie Li-zhi, Zhou Ming-quan, Tian Yun, et al..Cerebrovascular segmentation based on region growing and local adaptive C-V model[J]. Journal of Software, 2013, 24(8):1927-1936.

[15] 张煜东, 吴乐南. 基于SPCNN和Nagao滤波的图像去噪[J].中国科学F辑: 信息科学, 2009, 39(6): 598-607.Zhang Yu-dong and Wu Yue-nan. Image denoising based on SPC-NN and Nagao filter[J]. SCIENCE IN CHINA F:Information Science, 2009, 39(6): 598-607.

[16] Tobar F A, Kung Sun-yuan, and Mandic D P. Multikernel least mean square algorithm[J]. IEEE Transactions on Neural Networks and Learning Systems, 2013, 25(2): 265-277.

[17] Gui Guan, Peng Wei, and Fumiyuki A. Improved adaptive sparse channel estimation based on the least mean square algorithm[C]. IEEE Wireless Communications and Networking Conference, Shanghai, China, April 2013:3105-3109.