基于颜色信息的盲道区域检测与跟随算法

周毅，赵群飞

0 引言

根据2006年第二次全国残疾人抽样调查数据公报，我国现有盲人1233万，大约占残疾人总数的15%。盲人出行常用的探路方式有盲杖包括电子导盲杖、导盲犬等等。电子导盲杖的导航服务主要包括3个功能部分：感知周围环境，提供位置信息和行进方向信息和最优路径规划。现有的电子导盲杖系统综合了多种传感器信息，文献[1]中所提导盲系统融合了三维加速度、光和温度信息，文献[2]中的系统还包括了GPS和GIS等等。

作者所在实验室开发了一种基于网络视像头和 DSP图像处理的电子导盲杖系统[3]、[4]，从摄像头采集的视频信息中检测出盲道区域，估算出盲道边界位置，通过声音或者其它人机交互接口与携带该设备的盲人交互，可指引盲人沿着盲道行走。因此，盲道边界的识别和跟踪是实现这一技术的首要问题。本文在上述研究的基础上，重新设计了基于颜色信息的盲道区域识别与跟随算法，侧重于解决在光照改变与盲道路面有投射阴影的条件下盲道区域的检测，识别出盲道区域后，检测盲道边界信息，计算出位置偏差和方向偏差。算法框架如图：

图1 算法流程

1 盲道类型

《城市道路和建筑物无障碍设计规范》中对盲道设计做了比较详细的规定：城市中心区道路、广场、步行街、商业街、桥梁、隧道、立体交叉及主要建筑物地段的人行道应设盲道；人行天桥、人行地道、人行横道及主要公交车站应设提示盲道。指引残疾者向前行走的盲道应为条形的行进盲道；在行进盲道的起点、终点及拐弯处应设圆点形的提示盲道。

典型盲道如图二所示

图2 (a)中红线框出部分为行进盲道(b)中红线框出部分为提示盲道

2 混合高斯模型与长期﹑短期和阴影混合的高斯模型

盲道的颜色信息是一种有效的图像特征。物体颜色受光照条件，相机参数，视角等很多因素影响。单一的高斯模型无法很好的表示颜色分布信息。采用混合高斯模型，可以模拟盲道颜色分布信息，并且根据检测得到的盲道信息实时地更新模型参数。

盲道颜色用由K个高斯分布构成的混合高斯模型来建模，即：

式中，K是混合高斯模型中高斯分布的个数，一般取3–5；X是像素的值，由红，绿，蓝三色分量构成；Wi表示混合模型中第ith个高斯分布的权系数的估计值；iμ和iε分别表示混合高斯模型中第ith个高斯分布的均值向量和协方差矩阵（此处假设像素的红，绿，蓝分量互相独立）；η表示高斯分布概率密度函数。

2.1 混合高斯模型的参数更新

在视频流中，检测出盲道区域，同时以检测出的盲道区域信息，更新混合高斯模型。

如果检测出混合高斯模型中至少有一个高斯分布与更新用的像素值X匹配，那么混合高斯模型的参数更新规则为：

对于不匹配的高斯分布，它们的均值iμ和协方差矩阵iε保持不变；

对于匹配的高斯分布，它们的均值iμ和协方差矩阵iε按照下式更新：

式中ρ为学习速率。

如果混合高斯模型中没有高斯分布与用作更新的像素相匹配，那么将最不可能代表盲道的高斯分布重新赋值，即

式中，W0是一个预先给定的较小正值；I为一个3×3的单位矩阵。

然后按照下式更新所有K个高斯分布的权系数ωi：

式中，如果高斯分布与更新用的像素值X匹配，则Mi=1，否则Mi=0。

为了提高系统的处理速度，本文采用隔3取一法，每隔3行和3列取盲道区域像素，更新参数。

2.2 盲道路面检测

在采集的视频流中，需要检测盲道区域，盲道区域的检测按照如下步骤进行：

选择上述序列中的前B个高斯分布作为盲道模型。

式中T为预定的阈值T≤1。

1)视屏流中的每一个像素点的值，如果与该B个高斯分布的任何一个匹配，我们就认为该像素点是盲道区域像素点。

2.3 长期混合高斯模型和短期混合的高斯模型

在户外条件下，盲道颜色信息随着环境的改变而改变，这要求系统自动地更新盲道颜色模型。

根据混合高斯模型采用的训练样本的时间跨度不同，建立了两个盲道颜色分布的混合高斯模型，短期混合高斯模型和长期混合高斯模型，建立一个能有效及时地适应盲道路面状况改变的检测系统。

1) 短期模型：短期模型是以较近时间段内检测到的盲道信息所建立的模型。该模型更新及时，快速适应光照条件的变化，及时地描述最近时间段内盲道路面情况。在短期模型中，我们引入“学习窗口”的概念，即以最近时间段内的M帧盲道检测结果图片作为混合高斯模型的训练样本。该学习窗口中的图片，采用先进先出的方式，当新的N(0≤N≤M)帧盲道图片进入学习窗口时，淘汰最早进入N帧盲道图片。每隔一个固定的时间，以这些图片为学习样本重新建立与更新短期模型。短期模型的建立与参数更新如3.1节所述。

2) 长期模型：长期模型所采用的训练样本拥有更长的时间跨度，本文使用很长时间段内采集的盲道图片，采用EM（Expectation-maximization）算法估计模型参数。这个模型描述盲道颜色的一个比较稳定的分布。

部分检测结果如图三所示：

图3 (a)盲道原图 (b)长期模型检测结果 (c)短期模型检测结果。

图3是长期与短期模型的检测结果。上述检测结果显示，短期模型较快的适应了自然条件的变化。长期模型检测结果比较可靠。

2.4 检测结果的融合与后期处理

短期模型所采用的学习样本是系统的检测结果。在有误检的情况下，短期模型将记录非盲道表面颜色分布状况，以此短期模型检测的盲道，将产生误检。长期模型因其采用的学习样本比较可靠，其检测结果也更加可靠。长期模型检测结果与短期模型检测结果按照如下规则进行融合：

1)获取采集的视频流中的像素，标记该像素为X；

2)在长期模型中，X被检测为盲道路面，则在融合后的结果中，该像素所在位置，属于盲道区域；

3)在长期模型中，检测X为非盲道路面，短期模型中检测X为盲道路面，使用如图四所示3×3模板，统计长期模型检测结果中，该像素对应位置处其8邻域信息；

图4 3×3掩模

式中，vi∈ {0 ,1}；Xi是长期模型检测结果中的像素位置，如果Xi所在位置检测为盲道区域，则Xi=1，否则Xi=0；T是预定的阈值，在本文中T=2；如果S≥T成立，则在融合后的结果中，像素X所处位置属于盲道区域；

4)其他情况，在融合后的结果中，该像素位置处，不属于盲道区域；

融合结果后期处理流程如图5所示：

图5 融合结果后期处理算法流程

连通域分析，剔除掉融合结果中，面积较小的连同区域，达到过滤噪声和减少误检的效果。

部分处理结果如图6所示：

图6 (a)盲道原图；(b)融合结果；(c)后期处理结果。

2.5 阴影混合高斯模型

户外，盲道两旁栽种的树木，树立的标志牌，都在盲道上留下不规则的投射阴影。图7是没有投射阴影抑制时的盲道检测结果。

图7 (a)盲道原图；(b)检测结果

文献[6]提出，在复杂光照条件下，某一块固定区域处投射阴影表现出一定的规律性。这个规律性是由很多因素决定的，包括光照条件比较固定，或者，遮挡光线引起投射阴影的物体具有类似的尺度大小。[6]中提出，可以根据投射阴影重复出现的状况，使用高斯混合阴影模型学习并且记录阴影分布信息，以此来检测投射阴影。

本文为阴影信息单独建立了一个混合高斯模型，状态参数K=3，称之为阴影模型。阴影模型的初始化与参数更新规则如3.1中所述。该混合模型的学习样本，是检测结果中被检测为盲道路面投射阴影覆盖区域的像素点，并且为了保证检测的准确性，认为只有最大的高斯分量，能够表征阴影信息，用作投射阴影检测。

下面将给出投射阴影参数更新和检测的详细步骤：

选用[7]中提出的基于YUV信息的全局投射阴影检测模型，标记出被认为是投射阴影的区域。采集的视频流中的像素点，该像素点标记为X={XH,XS,XV}，如果同时满足如下条件就将该像素点所在位置标记为投射阴影区域；

其中 μi={μiH, μiS,μiV}是盲道混合高斯模型中，第ith个高斯分量的颜色均值μi在HSV颜色空间中的值；a，β，γ是阈值；

使用[7]中所述方法得到的阴影检测效果如图八所示：

图8 (a)盲道原图(b)HSV阴影模型检测结果(c)剔除盲道路面后的结果。

从结果图上可以看出，HSV阴影模型检测结果中，很多非投射阴影区域被认为是投射阴影区域，同时非盲道部分区域也被认为是投射阴影区域。

1)HSV阴影模型检测的结果基础上，剔除掉在盲道检测中被判断为盲道路面的区域。将剩下的标注为投射阴影的区域的信息作为学习样本，更新阴影模型。

使用阴影模型检测阴影区域的结果如图9所示。

图9 (a)盲道原图(b)阴影模型检测结果(c)阴影检测与盲道检测融合结果。

3 盲道跟随算法

盲道分为行进盲道和提示盲道，两种盲道的作用和出现的位置各不相同，因此对两种盲道要采取不同的处理策略。

行进盲道的跟随是按照第3部分描述的算法，分割出盲道区域后，使用霍夫（Hough）算法检测出盲道边界。如图十所示，实线为盲人的前进方向坐标，点划线为算法找到的行进盲道的盲道边界，虚线则是根据盲道边界所绘制的盲道方向坐标。顺利找到盲道边界，就可以断定盲人仍在盲道区域内，否则系统会给出警告提醒，如果盲人的前进方向与盲道方向偏离(图4的θ角)太大，则系统也可以给出相应信息让盲人做出修正。

图10 行进盲道边界模型

提示盲道一般设置在行进盲道的起点，终点和拐弯处，若干条盲道的T字型结合部处。提示盲道出现的情况比较复杂，特别是地铁站火车站里会有很多提示盲道出现，这为盲道区域检测系统带来了很大的挑战，这需要通过其它手段来判断该处提示盲道的具体作用。因此，本文对提示盲道没有做额外的处理，只是由系统通过声音与震动提示出现提示盲道。提示盲道的明显特征是有若干圆点，采用霍夫变换可检测圆点，当圆点数量超过某个阈值时系统判断有提示盲道存在。

4 结论

本文提出了基于颜色信息的盲道区域识别与跟随算法，侧重于解决在光照改变与盲道路面有投射阴影的条件下，盲道区域的检测，利用混合型高斯模型，消除了颜色变化和日照阴影变化的影响，提高了盲道检测的可靠性。但是在现实的户外条件下，城市道路的盲道区域设置情况很复杂，需要设计鲁棒性更高的盲道检测算法，包括加入盲道纹理信息。同时，盲道占用情况比较严重，电线杆，围墙，自行车等等都在挤压盲道的空间，这就需要在盲道区域检测系统中，加入障碍物检测功能，为盲人出行提供必要的安全保障。

[1]Golding A R and Lesh N.Indoor Navigation Using a Diverse Set of Cheap, Wearable Sensor. The Third International Symposium on Wearable Computer, Digest of Papers, 1999[C], Page(s): 29-36.

[2]Loomis J M,Golledge R G,Klatzky R L,Speigle J M.&Tietz J.Personal Guidance System for the Visually Impaired. Proceedings of the 1stAnnual ACM/SIGGAPH Conference On Assistive Technogy Page(s): 85-91,1994[C].

[3]杨超,赵群飞.基于uClinux的嵌入式导航系统[J].计算机工程34卷24期,2008.

[4]柯剑光,赵群飞.基于图像处理的盲道识别算法[J].计算机工程35卷1期,2009.

[5]KaewTrakulpPong P and Bowden R.An Improved Adaptive Background Mixture Model for Real time Tracking with Shadow Detection Proc. 2ndEuropean Workshop on Advanced Video Based Surveillance Systems, AVBS01. Sept, 2, 2003[C].

[6]Nicolas Martel-Brisson, Andre´ Zaccarin, Learning and Removing Cast Shadows through a Multidistribution Approach[J]IEEE Trans.Pattern Analysis and Machine Intelligence, vol. 29, no. 7, July 2007.

[7]Cucchiara R, Grana C, Piccardi M, Prati A, and Sirotti S,Improving Shadow Suppression in Moving Object Detection with HSV Color Information, Proc. Intelligent Transportation Systems Conf,pp.334-339,2001[C].