基于数据流和精确定位的多线程行人探测系统

朱　峰

(上海城市管理职业技术学院，上海 200433)



基于数据流和精确定位的多线程行人探测系统

朱峰

(上海城市管理职业技术学院，上海 200433)

摘要:行人防撞警告系统(Pedestrian Collision Warning System，PCWS)是车载主动安全系统的一项主要功能。目前通常的行人检测算法在商用化过程中的主要制约是庞大的计算量导致的低处理帧率。研究了PCWS中的关键技术，综合运用了基于VP评估的空间限制滑动窗口分布、基于数据流的多线程处理流程、基于CENTRIST特征的快速线性SVM分类器、基于直方图交叉核SVM(HIKSVM)的非线性分类器等多种加速技术，达到了实时处理的要求。对于CENTRIST特征不能精确描述对象轮廓所造成的定位不准问题，通过基于高斯权重分布的极大化抑制以及基于外轮廓边缘差异微调包围框尺寸来精确重定位探测框，以满足商用化对测距准确性的要求。

关键词:行人检测；多线程并行处理；消失点评估；直方图交叉核SVM；CENTRIST；重定位

汽车主动安全技术是指为预防汽车发生事故，避免人员受到伤害而采取的安全设计。典型的系统包括前车防撞系统(FCWS)、车道偏离警告系统(LDWS)、盲点探测系统(BLIS)、行人防撞系统(PCWS)等。在现有的商用系统中，PCWS是计算量最大且探测难度最大的系统。当前产品级PCWS主要还是依赖于激光雷达及毫米波雷达探测、视觉识别仅起到辅助判定的作用。

行人探测算法近十年来，主要集中于开发更鲁棒的行人特征描述子以及更高效的分类器。目前常用的特征描述子有haar特征[1]、边缘模板特征[2]、梯度直方图特征(HOG)[3]、边缘子特征(Edgelet)[4]、SIFT特征[5]等。主要的分类器有两类：一类是基于boosting的算法，包括adaboost[5]，real boost[5]，gentle boost[5]及其级联形式[6]；另一类是基于SVM的算法，包括线性及非线性的SVM。非线性的SVM通常采用径向基核(RBF kernel)来处理。对人体的建模方式主要分为基于人体部件(part based)建模、基于包围框建模以及以上两种模式的组合建模。

在实际应用中，为了获取更高的检测率，很多算法会采用多种特征描述子的组合应用或某种规则下的特征增强。如杨等人[7]基于SIFT特征的稀疏编码构建代码字典(CodeBook)，利用代码字典及最大池技术生成直方图特征。这种方式增强了SIFT特征的表达能力，即使利用简单的线性SVM进行训练也能达到基本的SIFT特征加非线性SVM的检出率。王等人[8]使用了HOG和LBP的联立特征，并且使用线性SVM同时训练了全局和局部2种探测器，以应对一般和遮挡的情况。Dollár等人[9]利用直方图技术，快速构建了基于haar小波滤波的6方向梯度直方图、灰度及LUV颜色通道的局部和这些简单特征组成的庞大的特征池，使用adaboost算法选择弱特征，组成强分类器。Nam等人[10]以HOG特征为基础，将HOG特征的三种组合(线性、三角、金字塔)作为特征描述子，称为Mid-Level特征，并使用boost算法从特征池中筛选Mid-Level特征。其中金字塔型HOG特征由于内含了尺度的意义，具备一定的尺度不变性，在所选取的特征中占主导地位。

为了获取更高的检测率，多种训练器以及多种建模方式的组合应用也是近年来研究的热点之一。Shashua等人[11]根据环境光照、人体姿态等因素将训练集分为9大类，每类分为13个部分，一共定义了117个涵盖人体不同部分的弱分类器。采用SIFT特征以及岭回归算法进行训练。最后使用Adaboost算法根据不同场景从这117个弱分类器中选择合适的分类器组成强分类器。吴等人[12]采用了典型的2阶段分类方案，首先使用基于积分图加速的线性SVM对滑动窗口进行初筛选，再使用非线性SVM对筛选后的对象进行验证。

行人识别算法商用化的瓶颈之一在于其庞大的计算量，这意味着需要大功耗的处理芯片。而大多数移动设备都有低功耗的要求，如手机平台、车载平台。在不增加功耗的前提下加快处理帧率主要有基于算法加速和基于硬件加速两类方法。基于算法的加速包括通过评估三维空间的约束减少滑动窗口的数量[13]；通过离散级联[6]或软级联[14]的方式加速adaboost的预测流程；通过基于直方图交叉核(histogram intersection kernel， HIK)构建高维投影函数，使用多项式分段拟合HIK分类结果加速非线性SVM的预测流程[15]。基于硬件的加速包括系统层级的探测、跟踪、综合分析多模块的多线程并行处理；基于GPU的对图像金字塔运算、积分图运算、滑动窗口特征提取、分类器代价函数运算等过程进行并行计算。

本文在系统架构上将每个探测对象作为一个基础数据单元，采用基于数据流的多线程处理方式。模式识别采用二级分类方案：第一级分类器使用基于CENTRIST特征的快速线性SVM分类器，第二级使用HIKSVM[15]快速非线性SVM分类器再验证。通过多帧探测路面直线段评估消失点，并基于消失点对图像金字塔的每一层滑动窗口分布做空间约束，使得滑动窗口数量相对于全区域分布减少60%。综合使用以上加速措施使系统在Intel i5处理器上的处理帧率达到20 f/s(帧/秒)，满足了商用化的实时性要求。由于CENTRIST特征不能精确描述对象轮廓，在提高分类器泛化能力的同时也造成了定位不准问题，本文通过基于高斯权重分布的极大化抑制以及基于外轮廓边缘差异微调包围框尺寸来精确重定位探测框，以满足商用化对测距准确性的要求。

1基于数据流动多线程并行处理

1.1多线程方案概述

本文采用多线程并行处理的方式满足实时性要求。以数据流为核心，驱动各模块线程并行工作。基本概念如图1所示。系统存在3个数据源：帧数据源、预处理数据源、及识别对象数据源。共分为6个核心线程：输入线程、预处理线程、模式分类线程、跟踪线程、综合分析线程及输出描画线程。这6个线程以数据源为驱动，并行执行，互不干扰。每个线程有3种操作：数据源查询、逻辑处理及数据源更新。图1中虚线表示各线程的数据源查询操作，实线为数据源更新操作。预处理线程按固定频率查询帧数据源，一旦发现帧数据更新，则进行预处理操作，结果写入预处理数据源。模式分类线程按固定频率查询预处理数据源，一旦发现预处理数据更新，则进行模式分类操作，将新探测的对象写入对象数据源。跟踪线程查询帧数据源，一旦发现帧数据更新，则从对象数据源中获取对象列表，进行批量跟踪操作，结果写入对象数据源。综合分析线程查询帧数据源，一旦发现帧数据更新，则从对象数据源中获取对象列表，综合分析每个对象多帧处理的模式分类数据及跟踪数据，判定对象的有效性并重新修正对象位置信息。输出线程查询帧数据源，一旦发现帧数据更新，则从对象数据源中获取对象列表，选择有效对象进行描画操作。

图1　基于数据流的多线程方案

1.2多线程时序分析及综合处理逻辑

各线程CPU占有率排列如下：预处理线程，包含9层金字塔水平滤波、垂直滤波、CT图像计算、积分图计算(≈50%)>识别线程，包含一级线性SVM分类器，二级非线性SVM分类器及候选对象特征提取(≈30%)>跟踪线程(≈10%)>综合线程(≈5%)>输入线程(≈3%)>输出线程(≈2%)。预处理线程和识别线程是正系统的瓶颈。图2说明了6个线程的时序关系。

图2　多线程运行时序

I1帧输入预处理线程，至I3帧结束。预处理结果传入识别线程，至I5帧结束。识别结果传入跟踪线程及综合线程，至此整个系统不断循环。综合线程在I6，I7帧仅综合了跟踪线程的结果(图2中用白箭头表示)，在I5，I8帧综合了跟踪线程及识别线程的结果(图2中用黑箭头表示)。由于跟踪线程和识别线程的异步性，I5，I8帧的识别线程分别综合了I1，I4帧的跟踪结果(图2中虚线箭头表示)。

(1)

系统维持2个对象列表：DetList和TrackList。前者由识别线程更新，后者由跟踪线程及综合线程更新。则综合分析决策树如图3所示。

图3　综合分析决策树

DetList中没有被TrackList匹配的对象作为新对象加入TrackList，对象状态设为S_V，并执行fRTP(Oi)初始化跟踪参数。

2基于3D空间约束的滑动窗口分布

2.1快速消失点评估

选定路面距离车前10～50 m之间的一段距离作为消失点评估的ROI区域。消失点的评估分为探测和跟踪两部分。

消失点探测算法流程。为了减轻路面反光/光照不足造成的影响，首先对ROI做预处理：直方图均衡化、高斯平滑、及使用双边滤波(bilateral filter)保留主要边缘。然后进行Canny滤波，对边缘点使用八邻域算法聚类。对于每个聚类x={(x1,y1),…,(xk,yk)}，计算协方差矩阵，然后求特征值及特征向量，选取最大的特征值所对应的特征向量em(em,1,em,2)。则该聚类所对应的直线段为Li(θi,ρi),其中

(2)

根据(θi,ρi)求Li的两个端点，最后根据RANSAC算法评估消失点。

(3)

其中：wk-1为过程噪声，是采用固定值的正太分布噪声。

(4)

(5)

(6)

(7)

(8)

Pi=(I2-KiHi)Pi

(9)

图4显示了实测环境下的消失点评估结果。细线段为Li，圆圈为评估的消失点。从评估结果可以看出，虽然每帧Li的准确性并不高，有很多是错误的方向，但通过多帧跟踪综合后的消失点准确性很高。

图4　消失点评估结果

2.2金字塔层滑动窗口分布

在世界坐标系中等分探测距离，然后将等分线投影至原始图像的像素坐标系。在原始图像中根据等分线划分不同层的探测ROI，并将该ROI投影至各个金字塔层图像。通过这种方式实现在不影响探测率的前提下大量减少滑动窗口数量。相对于各层全区域分配滑动窗口，该方法减少60%的滑动窗口。金字塔各层ROI投影算法如下：

1)首先在车辆前10m至50m距离内设置行人探测区域，根据金字塔层数设置等分线Rxy={y1,…,yk}，如图5a所示。

2)通过相机外参，即相机高度H、俯仰角θ从世界坐标系O(x,y,0)投影至图像平面坐标O(u,v)，Ruv={v1,…,vk}

(10)

俯仰角θ利用评估的消失点在像素坐标系的j轴坐标VPj获取

(11)

3)通过相机内参，即相机焦距fi、fj，光心坐标ci、cj从图像平面坐标O(u,v)投影至像素平面坐标O(i,j)，Rij={j1,…,jk}，如图5b所示

(12)

4)根据Rij求各金字塔层在原图上的投影区间Yl，如图5b中矩形阴影区间所示

Yl=[jl-d,jl+d],

(13)

图5　金字塔层ROI评估

3二阶段加速分类算法

3.1CENTRIST特征提取

吴等人[17]认为对象的边缘轮廓信息是准确编码的关键，其强化了该信息用于行人识别，即CENTRIST特征。CENTRIST特征是局部编码特征。首先使用soble滤波平滑图像，强化边缘信息，去除纹理中的噪声。然后在滤波图像上进行Census变换，获取CT图像，该编码过程类似于LBP8,1[18]。最后构建CENTRIST描述器，构建过程类似于HOG[3]。如对于108×36的训练图像，生成9×4个单元(cell)，以2×2邻接单元构成8×3个块(block)，由于每个块中的CT特征维数为256维，因此，总维数为24×256=6 144维。CENTRIST特征不需要规范化操作，这在很大程度上节约了计算时间。但是该特征也存在如下局限性：不具备旋转不变性及缩放不变性，不能精确表达形状。在实际使用中，不具备旋转不变性对于行人识别没有影响，不具备缩放不变行决定了识别架构只能基于图像金字塔模式，不能精确表达形状意味着分类后的最大化抑制及对象精确定位需要使用其他方法做进一步处理。

3.2与CENTRIST特征结合的快速线性SVM粗筛选

由于CENTRIST特征不需要规范化特征向量，因此可以将图像提取过程中各个图像分块特征与线性SVM完美地衔接在一起，计算的量阶可以简化为一个块的大小，极大地提高了计算的实时性[12]。其加速原理如下：设w∈R6 144为线性分类器训练模型、CT(i,j)为(i,j)位置的Census值、f为特征描述子，特征描述子中块(block)、单元(cell)的尺寸分别为Bu，Bv，Cu，Cv，(u0,v0)为滑动窗口左上角起始点，则线性SVM的代价函数为

(14)

调换累加项顺序转换为

(15)

设A(x,y)为与原图像大小相等的辅助图像，且

(16)

将式(16)带入式(15)，则

(17)

若辅助图像A(x,y)预先算出，则分类时式(17)已经将量阶可以简化为一个块的大小。而A(x,y)的计算可以通过积分图的方式加速进行。

3.3基于HIKSVM的验证

通常的基于RBF核的SVM由于计算量庞大，是系统商用化的瓶颈之一。Maji等人[15]基于直方图交叉核SVM进行加速。设非线性SVM训练完成后有m个支持矢量{xl},l∈[1,m]，每个支持矢量的权重和标号为{yl}、{al}。则代价函数为

(18)

(19)

交换累加和位置，则计算由支持向量长度为单位变为以特征维度长度为单位

(20)

(21)

算法的核心就是将hi(s)的计算复杂度降低。将第i维的m个支持矢量的所有数据{xl,i}从小至大排序，并将hi(s)函数分成b段，每段用k阶多项式拟合。这样整个算量由O(mn)降为O(2(k+1)m)。比基于RBF核的非线性SVM快了约6～7倍。另外，非线性SVM训练时，支持矢量的数量n通常会随着训练样本的增多而增多，也就是训练数据越庞大计算量就越大。而采用分段拟合后，计算量与支持矢量数量无关，不存在以上的问题。

4重定位识别对象位置

如3.1所述，CENTRIST特征不能精确度表达形状。优点是可以在一定程度上提高分类器的泛化能力，但是也带来了对识别对象定位位置不精确的局限性。定位不准会影响到测距精度。本文通过2种附加处理提高定位精度：基于高斯分布权重的极大化抑制、检查识别对象外轮廓附近的像素差异，对包围框尺寸进行微调。

4.1基于高斯权重分布的极大化抑制

设识别对象的表达方式为χ={xi},i∈[1,m]为本帧探测到的对象。每个对象xi由滑动窗口尺寸(sxi,syi,swi,shi)及代价函数计算值si表示。首先将所有的对象的滑动窗口从每金字塔层的ROI转换至原始图像窗口，然后以高斯函数为权重基础，构建权重图Gw

(22)

(23)

(24)

4.2基于外轮廓边缘差异微调包围框尺寸

重定位原理是以对象外轮廓为基础，利用轮廓内外的局部灰度差异进行轮廓边界的调整。由于行人轮廓较复杂且不规整，在着装与周围环境灰度差较大时能获取比较好的调整效果。当多人靠近时，由于着装的相似性，轮廓内外的局部灰度差在某些时候并不明显，经常会导致调整失败。目前还没有特别有效的算法能处理以上情况。本文的算法既能满足在行人着装与外部环境灰度差较大时的调整效果，且在灰度差不明显时，即使无法调整也能避免出现误调。设滑动窗口为(sx,sy,sw,sh)，调整是左边界、右边界及下边界采用相同的算法独立调整。以调整左边界为例阐述算法流程：

1)设置左边界的调整ROI

(25)

2)将ROI分成尺寸为dw×dh/6的6个块b(k)。每个块中包含dw/2×dh/12个2×2单元c(i,j,k)，即第k块i行j列的单元。

3)假设对于左边界，设定边界左侧为正侧，右侧为负侧，则对于每个单元c(i,j,k)，分别求正负侧对应值：Cpos(i,j,k)，Cneg(i,j,k)，其中bpos(k)为b(k)在正侧第一列的均值，bneg(k)为b(k)在负侧最后一列的均值

(26)

4)所有的b(k)具有相应的列数，设第l列为分类边界，则该边界的代价函数为

(27)

选择max{f(l)}所在的l为微调后的边界，转换至原始图像坐标为l′=dx+2l。

5实验结果与分析

系统实时性分析。系统在Intel(R) Core(TM) i5-2 410 M 2.3 GHz CPU上测试，平均处理速率15 f/s(帧/秒)，满足商用的实时性要求。系统与其他经典算法在同一平台下的运行速度对如表1所示。系统采用的核心分类算法与C4[12]算法接近，由于采用了基于数据流动多线程并行执行方式，总体的执行速度比C4快了约40%。图6分析了各主要线程的并行运行时间。系统执行时间由各线程的最大运行时间(预处理模块40 ms)和缓存交互延迟时间(10 ms)构成。由于采用基于数据流的并行处理方式，所有数据最少需要增加1倍缓存，因此缓存交互延迟时间较长。

表1算法运行速度份对比

算法执行速度/(f·s-1)LatSVM-V10.3HOG+SVM(RBF)0.8HIKSVM5C410OURS15

图6　并行处理时间分析

系统识别性能分析。 初始训练数据来自于INRIA数据库[3]，后继多轮验证样本以及多轮训练添加的假正样本、漏失别样本来自于ETH数据库[19]和自行路测数据。路测数据基于行车记录仪或手机搭载于车载支架上采集。系统的识别性能如图7所示，采用MR(missrate)/FPPI(falsepositiveperimage)表示。从图中可以看出，系统在INRIA，ETH这两个标准数据库中的识别性能良好，在INRIA数据库上(FPPI=10-1,MR=38%)，综合性能优于原始的HIKSVM分类器(FPPI=10-1,MR=43%) 及LatSVM-V1分类器(FPPI=10-1,MR=44%)[12]。实际路测识别性能要比标准数据库有较大差距 (FPPI=10-1,MR=54%)。主要因素有两个：首先在车载环境下，道路两旁路易存在一些类似于人体主要轮廓特征的对象，如树木、标识牌、路牌、垃圾桶、商店橱窗、路边车辆的一部分等。其次，车载环境下探测到的行人主要存在于市区枝干道路上以及主干道路的行人过马路场景。而对于过马路的行人，一般其离车辆很近，存在部分遮挡且大多处于快速运动状态，横向步幅跨度较大，这种案例的行人识别很困难，漏识别较多。

图7　行人探测在INRIA数据库、ETH数据库及自行拍摄路测数据的结果

图8列举了一些典型的识别结果。所有识别结果都根据3.2节的算法对外轮廓进行了重定位，所以包围框宽高比不一致，更加贴近人体轮廓。图8a、8b是典型的城市交通路况，对于行人推着车，或者同时背着包拎着包的情况未能识别。图8c中过近的行人无法识别。图8d和8e是ETH数据库中的场景，其中图8d中的广告牌被误识别。图8f是典型的将车辆的一部分误识别为行人的场景。这种误识别在路测中很常见，而且主要集中在反光面很强的黑色SUV轮胎附近，即使加入类似的负样本也无法消除该类型误识别。因为识别出的包围框中的图像隐约具备行人的主要特征，轮胎部分恰好模拟了两腿分开的情况，而垂直的车辆尾部侧轮廓模拟了行人的侧轮廓特征。在某种视角和光照条件下就形成误识别。类似的情形也发生在路面绿化带上。树木的造型类似于人体的腰部特征且造型多变。在某种视角和形状下容易造成误识别。这种类型的误识别无法加入负样本改良训练结果，加入只会导致训练器的泛化能力减弱。

图8　行人探测部分结果(图中所有结果都经过3.2节重定位算法的修正，所以包围框宽高比不一致)

系统鲁棒性分析。系统采用单帧分类识别+多帧综合分析的算法架构。单帧分类识别会产生较高的误检，而跟踪本身也会产生不可预知的偏离。因此在综合分析模块采取了如下的应对策略：

1)基于权重的多帧综合。每帧的探测会产生探测置信度，跟踪会产生跟踪置信度。从第一次探测到对象开始至对象确认完成，共设置了8帧的帧间隔。期间约有2～3次探测置信度，5～6次跟踪置信度，这些置信度配以权重线性合成最终置信度，并设定阈值进行最终判别。置信度合成公式如下

(28)

其中：wi=0.5+0.5i/(n-1)，离当前帧越近，则置信度越重要；Conftrack,i为第i次的跟踪置信度，Confdetect,i为第i次的探测置信度。

2)若对象已经经过多帧确认，则以跟踪为主，但是会在固定帧数(8帧)后再次进行探测，以便确认是否产生跟踪漂移。

通过以上两种综合分析策略，系统确保其在正常条件下能准确稳定地识别和跟踪行人，维持较高的鲁棒性。

6小结

本文主要运用了基于数据流的多线程并行处理方式加速算法，同时辅助于空间限制的滑动窗口分布、快速线性SVM分类器，HIKSVM分类器等多种加速技术，达到了实时处理的要求。并采用重定位技术解决了CENTRIST特征不能精确描述对象轮廓所造成的定位不准问题。综合实测结果，认为在车载条件下的行人识别难度比流行的数据库，如INRIA、ETH等更具有挑战性。要想进一步提高系统的识别精确性，可能需要综合运用其他多种措施：如基于光流的运动评估验证；基于步态周期性检查的验证等算法。考虑到光流计算需要消耗较大的计算量，基于步态周期性的验证技术是今后主要的研究方向。

参考文献：

[1]OREN M， PAPAGEORGIOU C， SINHA P， et al. Pedestrian detection using wavelet templates[C]//Proc. the 1997 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Puerto Rico：[s.n.]，1997：193-199.

[2]PHILOMIN V， GAVRILA D. Real-time object detection for “smart vehicles”[C]// IEEE International Conference on Computer Vision.[S.l.]：IEEE， 1999：87-93.

[3]DALAL N， TRIGGS B. Histograms of oriented gradients for human detection[C]//IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]：IEEE，2005：886-893.

[4]WU B， NEVATIA R. Detection of multiple， partially occluded humans in a single image by Bayesian combination of edgelet part detectors[C]// International Conference on Computer Vision. [S.l.]：IEEE，2005：90-97.

[5]LOWE D. Distinctive image features from scale-invariant keypoints [J]. International journal of computer vision (IJCV)，2004，60(2)：91-110.

[6]VIOLA P，JONES M. Robust real-time object detection[C]// IEEE ICCV Workshop on Statistical and Computational Theories of Vision. [S.l.]：IEEE，2001:1-25.

[7]YANG J， YU K， GONG Y， et al. Linear spatial pyramid matching using sparse coding for image classification[C]//IEEE Conference on Computer Vision and Pattern Recognition .[S.l.]：IEEE， 2009:1794-1801.

[8]WANG X Y，HAN T X，YAN S. An HOG-LBP Human Detector with Partial Occlusion Handling[C]//IEEE International Conference on Computer Vision (ICCV)， 2009:32-39.

[9]Dollár P， Tu Z， Perona P and Belongie S. Integral Channel Features[C]// British Machine Vision Conference (BMVC) .[S.l.]：IEEE， 2009:1-11.

[10]NAMW，HANB，HANJH.Improvingobjectlocalizationusingmacro-featurelayoutselection[C]∥Proc.IEEEInternationalConferenceonComputerVisionWorkshops.[S.l.]：IEEE，2011：1801-1808.

[11]SHASHUAA，GDALYAHUY，HAYONG.Pedestriandetectionfordrivingassistancesystems：single-frameclassificationandsystemlevelperformance[C]//IEEEIntelligentVehicleSymposium(IVS) .[S.l.]：IEEE，2004:1-6.

[12]WUJX，LIUN，GEYERC，etal.C4：Areal-timeobjectdetectionframework[J].IEEEtrans.imageprocessing，2013， 22(10)：4096-4107.

[13]BENENSONR，MATHIASM，TIMOFTER，etal.Gool；Faststixelsestimationforfastpedestriandetection[C]//EuropeanConferenceonComputerVision. [S.l.]：IEEE，2012:2-4.

[14]ZHANGC，VIOLAP.Multiple-instancepruningforlearningefficientcascadedetectors[C]//Proc.ConferenceonNeuralInformationProcessingSystems(NIPS) .[S.l.]：IEEE，2007:1681-1688.

[15]MAJIS，BERGA，MALIKJ.EfficientclassificationforadditivekernelSVMs，patternanalysisandmachineintelligence[J].IEEEtrans.patternanalysisandmachineintelligence(PAMI) ， 2012(1)：66-67.

[16]SEOYW，RAJKUMARR.Detectionandtrackingofthevanishingpointonahorizonforautomotiveapplications[C]//Proceedingsofthe6thIEEEIROSWorkshoponPlanning，PerceptionandNavigationforIntelligentVehicles(PPNIV) .[S.l.]：IEEE，2014:1-41.

[17]WUJX，REHGJM.CENTRIST：AvisualdescriptorforscenecategorizationCENTRIST[C]//IEEETrans.PatternAnalysisandMachineIntelligence，2011：1489-1501.

[19]ESS A， LEIBE B，GOOL L V. Depth and appearance for mobile scene analysis[C]//Proceedings of ICCV.[S.l.]：IEEE，2007：1-8.

责任编辑：闫雯雯

宏观政策

互联网电视接收设备技术规范制定工作启动

4月14日，强制性国家标准《互联网电视接收设备技术规范》制定工作启动会在北京召开。会上，工信部联合国家标准委、国家质检总局、国家新闻出版广电总局、国家工商总局等相关部门以及产业界各单位成立了互联网电视接收设备标准工作组，共同推进完成标准制定。

据了解，《互联网电视接收设备技术规范》将规定互联网电视接收设备的技术要求和测试方法，适用于能够通过互联网接收广播电视等视听节目的互联网电视接收设备的开发、测试和生产，也适用于其他具备互联网电视接收设备功能的音视频产品，包括但不限于机顶盒、电视机、投影机、显示器等产品形态。目前，该规范已经形成标准草案，争取在2016年年中完成标准审定。

国办：2020年基本实现数字广播

电视户户通

国务院办公厅日前印发《关于加快推进广播电视村村通向户户通升级工作的通知》(以下简称《通知》)，对在广播电视村村通基础上加快推进广播电视户户通作出全面部署，明确到2020年基本实现数字广播电视户户通，形成覆盖城乡、便捷高效、功能完备、服务到户的新型广播电视覆盖服务体系。

《通知》指出，广播电视村村通工程实施以来，有效扩大了农村广播电视覆盖面，解决了广大农村群众听广播难、看电视难的问题。随着经济社会发展和科学技术水平的提高，迫切需要在广播电视村村通基础上进一步提升水平、提质增效，实现由粗放式覆盖向精细化入户服务升级，由模拟信号覆盖向数字化清晰接收升级，由传统视听服务向多层次多方式多业态服务升级，为满足人民群众广播电视基本公共服务需求提供充分保障，为满足个性化多样性文化服务需求创造良好环境。

《专网及定向传播视听节目服务管理规定》发布

2016年5月4日，国家新闻出版广电总局日前发布了《专网及定向传播视听节目服务管理规定》(6号令)，将于2016年6月1日起施行。同时，2004年7月6日发布的《互联网等信息网络传播视听节目管理办法》(39号令)废止。

6号令主要是针对IPTV、专网手机电视以及互联网电视的监管，而通过PC、手机、Pad等终端接收视频网站通过互联网及移动互联网提供的流媒体视听服务仍然通过《互联网视听节目服务管理规定》(56号令)进行监管。6号令的出台，完善了“新媒体”的监管体系，将对我国视听媒体产业的发展走向产生重大而深远的影响。

广电总局再发文规范电视剧广告

国家新闻出版广电总局办公厅日前下发的《关于进一步规范电视剧相关广告播出管理的通知》(以下简称《通知》)，对电视剧及相关广告播出不规范的行为进行再次的管理和规范，尤其对剧中、片头尾不得插广告又有新规定。

《通知》指出，播前审查，重播重审；明确标明发证机关、发证许可号、电视剧制作许可证号展示不得少于3 s；不得以“完整版”、“非删减版”、“被删片段”等进行炒作；电视剧中间不得插入任何广告或者相关栏目，也不得出现任何节目、栏目的预告，不得擅自改变剧集长度，片头片尾不得以任何形式插入广告。

行业聚焦

广电宽带用户突破两千万

4月28日，中国广播电视网络有限公司(简称国网)公布了2016年第一季度中国有线电视行业发展公告。2016年第一季度，广电宽带用户规模达到2 011万户，占有线电视用户的比重进一步提升至8%。

据格兰研究调查显示，我国宽带市场上，有线宽带的用户占比从2014年的5.37%上升到2015年的7.95%；电信宽带的用户占比从2014年的94.63%下降到2015年的92.05%。 有线宽带用户数从2014年的1 138.8万上升到2015年的1 838.9万，用户增量达到700.1万；电信宽带用户数从2014年的20 048.3万上升到2015年的21 300万，用户增量为1 267.1万。

全球付费电视发展情况发布

据Digital TVResearch《数字电视收入预测报告》预计，2015—2021年全球主要市场的付费电视收入(包括订阅费和按此付费的影视剧)将增长9 900万美元。

除北美之外，2015—2021年全球付费电视收入将攀升136亿美元(14%)增至1 078.2亿美元，最高增长纪录是增长200亿美元(28%)。2015—2021年北美市场份额将从57.4%下降到54.2%，预计到2021年将继续下降到47.6%。同期，亚太收入将增长80亿美元，增幅25%。2014年亚太地区已经超过西欧，预计到2019年将超过整个欧洲。

爱奇艺启动VR生态激励计划

将与国网合作

5月5日，爱奇艺正式发布iVR+虚拟现实产品套件，启动VR生态激励计划，率先在10个高热IP上全面实现VR化，开放了100个顶级IP进行游戏合作开发，联合300家合作伙伴打造VR真生态。其中，iVR+虚拟现实产品套件提供专为VR一体机量身定制的全景影院APP、全景游戏中心APP、爱奇艺APP的VR双屏模式和全景专区，实现了对于国内VR手机架、一体机及PC头显等所有VR设备的全面支持。

同时，爱奇艺还宣布与《财经》杂志、《悦游》、大麦网、高尔夫赛事PGA TOUR美巡赛、全景图片平台720YUN等达成战略合作，并与中国广播电视网络有限公司联合打造全国有线网络VR平台和VR频道，建立VR内容传输网络。

天威视讯携手佳创视讯拟开通虚拟

现实频道

佳创视讯公告称，与天威视讯签署了“虚拟现实产业化运营合作协议”，将依托广播电视网络优势，率先培育、构建虚拟现实产业的大生态链。 公告称，公司与天威视讯将整合各自优势资源，利用已实现深圳地区基本全覆盖的数字电视网络，共同开展“虚拟现实+广播电视”产业化运营合作，在国家和地方政策允许的前提下积极推动开通虚拟现实频道，以实现高清VR视频、全景视频、裸眼3D等新媒体形式的虚拟现实内容播出，为广大数字电视用户提供全新的虚拟现实体验。

森海塞尔助力Gopro虚拟现实开发

森海塞尔宣布加入GoPro新的开发计划，将提供开发包帮助开发者将GoPro 与森海塞尔的设备配合使用，还提供一项综合解决方案。

全新的森海威尔VR传声器AMBEO，有一个特殊的挡风玻璃，可实现防水、防雪、防冰、防风。 用户传声器得到的是立体混响A格式，使用森海塞尔提供的软件，可以将A格式的文件转换为可以在任何播放器使用的B格式。虚拟现实的音频文本是以B格式编辑出来的。这些新的工作流允许使用点声源，也就是说使用森海塞尔无线视频传声器，可以混合各种声源，按照客户具体要求设计出任何空间声音效果。

厂商动态

新奥特携手三亚广播电视台打造

全媒体新闻演播室

近日，主打节目《今日三亚》、《第一民生》的样片在三亚电视台与新奥特联手共同打造的全新120 m2全媒体新闻演播室内完成录制，这是三亚台在节目录制上的一次创新与改革。

据悉，该全媒体新闻演播室集高清、大屏、连屏、点评、虚拟、全媒体互动形式，坐播、站播等多种播报形式于一身，能够实现点评操作、三连屏置景，并且能够将全媒体演播室与虚拟演播室相结合。这次全新的创新与尝试，不仅在内容上融入了鲜亮的设计理念，增加了节目的观赏性，而且在画面上通过虚拟立体化的表现形式，提高了观众节目内容上的理解力，使电视节目传播功能得到进一步升级和拓展。

2016中科大洋媒体融合技术研讨会

闪耀开启

中科大洋作为以技术变革和业务创新为企业灵魂的公司，在行业转折的关键时期，从2016年5月开始,在全国各地举办以“融合媒体 智慧运营”为主题的技术研讨会，将大洋在媒体融合方面的经验与技术成果进行分享。会议期间,各地方媒体将交流在融合新闻、智慧城市民生服务平台、生活资讯电视互动客户端等媒体融合方面的成功经验，也将从地方媒体在融合进程中遇到的问题出发，围绕如何在“两微一端”的基础上扩展新媒体运营模式、如何针对传统媒体重组建设中央厨房、如何提升电视媒体内容生产力、如何帮地方媒体解决目前面临的高清改造等问题展开深入探讨。

数码视讯：中标中移动互联网电视

机顶盒集中采购项目

近日，在2016年中国移动互联网电视机顶盒集中采购项目招标活动中，北京数码视讯科技股份有限公司凭借着雄厚的实力、优质的产品及专业的服务，最终成功从二十余家投标厂商中脱颖而出，成为中标厂商。

数码视讯本次中标的星空智能4K互联网电视机顶盒属于新一代智能终端产品，拥有更强大的硬件配置，搭配高端主流芯片方案，提供各类丰富视频接口，同时支持1 080p/2K/4K高清解码，支持杜比解码。精巧、圆润的外观设计更具时尚元素，其优异的性能指标、领先的技术以及丰富的产品功能为家庭用户带来了极具视听动感的完美操作体验，进而可以更好地促进中国移动发展互联网电视业务的发展。

东方盛行：2016年高清制作播出及

全媒体融合技术交流会隆重召开

4月26日，成都东方盛行电子有限责任公司2016年高清制作播出及全媒体融合技术交流会在昆明鼎易大酒店隆重召开。本次交流会重点介绍了极速融通全媒体协同工作平台、高清制作网建设方案以及高标清播出系统建设方案，并分享了对于全媒体实践、演播室舞美制景、申请制播能力建设基金等经验。会议云集了百余位电视台专业人士及业内同仁一道探讨全媒体背景下的电视台高清制作、播出等多方面热点话题。

会议由东方盛行云南市场区域情况介绍拉开帷幕，首先对区域情况进行分析，阐释了公司根据地区特点而进行的针对性部署，并对技术、市场和公司管理等方面做出详解。随后，公司重点推出极速融通全媒体协同工作平台，从系统特色、总体架构、业务系统、全媒体实践四大方面提出“以互联网思维为导向；保证安全的前提下，以‘链接’方式实现节目在电视台生产系统之间，及其与外网和互联网之间的互联互通；减少节目实体文件在不同系统的流转次数和时间”的整体设计思路。关于目前备受瞩目的全媒体应用，东方盛行在线索、选题、节目交换、个人网盘、现场新闻5方面做出重大突破，有助于电视台用户更便捷地开发全媒体业务。

R&S：精彩亮相 EDI CON 2016

4月19日，EDI CON 2016与中国电磁兼容大会/展览和中国雷达行业协会会议联合举行。罗德与施瓦茨(R&S)公司连续四年以钻石身份登场，展会第一天R&S推出两款最新的产品。一款新产品是为认证测试提供快速可靠测试方案的新款EMI测试接收机R&S ESW；另一款是在高达40 GHz频率范围内提供2 GHz内部调制带宽的矢量信号发生器R&S SMW200A。与会三十余家媒体共同见证了罗德与施瓦茨这一里程碑性质的历史时刻。 在EDI CON 2016连续3天的技术报告会上，罗德与施瓦茨公司来自德国本部和中国本土的共12名技术专家18场技术报告，涉及电磁兼容、5G、雷达、汽车、IOT等领域，得到了参会嘉宾和领导的积极响应与热烈讨论。

NAGRA：持续为广电安全保驾护航

数字电视业务和世界领先的内容保护系统及多屏电视解决方案提供商NAGRA在CCBN2016期间展出多个产品，包括OpenTV5中间件以及anCAST系列产品。在内容保护越来越受重视的大环境下，NAGRA也在不断改进其产品，升级其性能，除了致力于保护DVB系统之外，也提供了DVB+OTT系统和互联网视频提供商的解决方案。

随着国家对内容管控的加强和人们对版权意识的加深，内容安全已经延伸到电视屏以外的其他的小屏。NAGRA多年深耕于CA系统，是内容安全方面的专家，从有卡CA、无卡CA、DRM系统等具体产品，到现在的整体解决方案，一直在不断升级。据介绍，在OTT环境下，NAGRA更多地向互联网化发展，采用敏捷的开发方式，缩短了产品迭代的周期，不断满足客户需求，使产品更加适合市场新的变化。

在中国的广电市场中，NAGRA与歌华有线、广东有线、山东有线等均有深入的合作，伴随着国内广电机顶盒不断的升级，NAGRA的产品也落入千家万户。对于内容的安全保护，NAGRA不仅致力于提供硬件，而且提供售后服务以及发现新风险防护等，多方位满足客户需求，力求客户放心使用。

杜比宣布三星承诺推出支持杜比

AC-4的电视机

4月15日，AC-4标准的开发者杜比实验室宣布与三星电子有限公司合作，在精选电视机型中采用杜比®AC-4(Dolby®AC-4)，预计于2017年开始出货。

据了解，杜比AC-4是杜比音效(Dolby AudioTM)技术系列中功能强大的全新音频格式，基于数十年的广电音频技术经验，能够解决广播商当前所面临的挑战，例如更高效地提供高品质体验、不同语言版本之间的转换以及为有听觉障碍和视觉障碍受众提供服务，同时为广电和互联网OTT服务的全新体验提供平台。

会展时空

第二届平板显示技术发展趋势论坛

暨HDR技术峰会在京召开

4月21日，由北京泰瑞特检测技术服务有限责任公司主办，国家广播电视产品质量监督检验中心、北京泰瑞特认证中心、中国电子学会消费电子分会等承办的“第二届平板显示技术发展趋势论坛暨HDR技术峰会”在京召开。会议以“探寻清透视界，共鉴画质奇迹”为主题，汇聚了电视行业内行业协会、技术代表、整机厂商等多方代表，一同深入探讨了HDR技术的发展现状和趋势。

会议上，泰瑞特认证向性能卓越的产品颁发了HDR plus认证证书，这次HDR产品检测由国家广播电视产品质量监督检验中心完成，它也是国内唯一的国家数字电视产品用户端实验室。整体测试方法分为两类产品两个层级，其中针对高端产品的HDR plus的测试方法，参照了美国高清联盟HDR技术标准，这也是目前国际公认的顶级权威标准。同时，泰瑞特认证首推高端的HDR plus认证标识，并发布首批符合该标准的产品名单，三星、TCL、创维的HDR电视在列。此举目的在于引导行业发展焦点由“HDR好”到“好HDR”，即更加关注卓越的产品和消费体验升级。

“开放物联”技术与标准研讨会在京召开

4月26日，由物联网产业技术创新战略联盟牵头，会同W3C联盟中国区总部、国家物联网基础标准工作组共同在京组织召开了“开放物联”技术与标准研讨会，来自国家物联网基础标准工作组、中国电子科技集团公司信息科学研究院、中国移动、中国联通、中国电信、Intel、中关村产业联盟、中国电科三所、同济大学、闪联、新大陆、京东方、W3C、360、百度、阿里巴巴、华为等单位的代表参加了会议。同时，物联网产业技术创新战略联盟秘书长朱德成、副秘书长温娜、副秘书长马进、联盟城建专委会主任蔡鸿岩出席了会议。

会议紧密围绕“开放物联”主题，物联网产业技术创新战略联盟、W3C联盟、中国电科信息科学研究院、国家物联网基础标准工作组专家代表分别作了主题演讲，针对国家标准制定思路、标准体系框架、W3C相关情况及标准制定情况以及国标技术推广情况进行了研讨，同时联盟城建专委会做了工作进展报告。

三部门联合召开“信息技术和健康

养老融合发展论坛”

4月9日，工业和信息化部电子信息司联合国家卫生和计划生育委员会家庭发展司、民政部社会福利中心在深圳市会展中心组织召开“信息技术和健康养老融合发展论坛”。

出席本次论坛的有工业和信息化部电子信息司副司长乔跃山、民政部社会福利中心书记甄炳亮、卫生计生委家庭发展司家庭发展指导处处长蔡菲，以及来自中国电科三所、中兴、平安、优加利等数十家企事业单位近150位代表和专家学者。

论坛上，来自21家的企业代表及专家学者分别从智能穿戴发展趋势、传感器技术的创新、健康监护设备系统的发展、服务模式的探索、传统行业在健康养老领域的探索和转型升级、养老体系的搭建等方面进行了精彩的主题发言，并发布了《智慧健康养老产业发展白皮书》。论坛为行业专业人士搭建了一个良好的交流平台，对促进信息技术和健康养老融合发展起到了积极的作用。

Precise positioning multithreading predestrian detection system based on data stream

ZHU Feng

(ShangHaiTechnicalCollegeofUrbanManagement，Shanghai200433，China)

Abstract:Pedestrian collision warning system(PCWS)is one of important functions of on-board active safety system. The main restriction in the process of commercial applications is large amount of calculation. This reduces the processing frame rate.This paper research the key algorithms of the PCWS， such as space limit distribution of sliding windows based on estimation of vanish point， multithreaded processing based on data stream， rapid linear SVM classifier based on CENTRIST feature， histogram intersection kernel SVM(HIKSVM). Comprehensive the above techniques， has reached the requirement of real-time processing. CENTRIST feature cannot accurate descript the object contour， this lead to the detected positions are not accurate. This problem is solved by applying maximum suppression based on Gaussian weight distribution and fine-tuning bounding box based on differences between inside and outside of outer contour. Through the above methods， meet the requirements of lead to ranging accuracy.

Key words:pedestrian detection； multi-threshold process； vanish point estimation； HIK SVM； CENTRIST； relocation

中图分类号：TP391

文献标志码：A

DOI：10.16280/j.videoe.2016.05.026

作者简介：

朱峰(1979— )，女，硕士， 讲师，从事图像处理、模式识别、机器视觉、3D建模仿真方面的研究。

收稿日期：2015-06-15

文献引用格式：朱峰. 基于数据流和精确定位的多线程行人探测系统[J].电视技术，2016，40(5)：121-128.

ZHU F. Precise positioning multithreading predestrian detection system based on data stream[J].Video engineering，2016，40(5)：121-128.