驾驶辅助中的计算机视觉专利技术数据分析

牛耘佳　欧先锋　马鑫　赵琳臻　张银　张明

摘要：随着世界范围内机动车保有量的激增，驾驶辅助系统成为安全驾驶和智能驾驶中的重要辅助设备。同时，计算机视觉技术在近年有了较为快速的发展，各大汽车制造和电子设备企业越来越多地将其应用到驾驶辅助系统中。利用专利数据库对驾驶辅助中的计算机视觉技术进行了数据分析，了解相关领域的技术分支，从该领域专利的年度分布、地域分布、重要申请人等信息进行了分析，归纳出该领域的技术发展演进过程，并对相关核心专利进行了分析，为该领域发展提供参考。

关键词：驾驶辅助；计算机视觉；图像识别；专利；技术分支

中图分类号：TN94 文献标志码：A

文章编号：2095-5383（2018）02-0018-07

Data Analysis Computer Vision in Driving Assistant

NIU Yunjia1，OU Xianfeng2，MA Xin3，ZHAO Linzhen3，ZHANG Yin3，ZHANG Ming3

（1.Patent of Examination Cooperation Center of Patent Office， SIPO， Chengdu 61000， China； 2. School of Information Science and Engineering， Hunan Institute of Science and Technology， Yueyang 414006， China；3.GCI Science &Technology Co.Ltd， Guangzhou 510300， China）

Abstract：

With the rapid increase in the number of vehicles in the world，driving assistant system plays a significant role in safe driving and intelligent driving. Meanwhile， computer vision technology has developed rapidly in recent years， and it has been widely applied in driving assistant system by many vehicle and electronic device manufacturing companies. Based on the patent database， data analysis on computer vision technology in driving assistant was completed and the technology branches of computer vision technology were obtained. According to the annual distribution， geographical distribution， important applicants and other information， the evolution of technology in this field was summarize. Finally， the related core patents were analyzed to provide reference for the development of this field.

Keywords： driving assistant； computer vision； image recognition； patent； technology branch

智能車辆技术主要分为自主导航和安全保障两个方面。由于自主导航技术的应用依赖于智能交通系统的配套完善，短期内难以普及，其发展较为缓慢。而行车安全保障的相关技术却可以率先应用于驾驶员辅助驾驶系统，从而为解决常规车辆因驾驶员主观因素产生的事故提供有力的技术支持[1]。截至2017年底，我国的机动车保有量达3.10亿辆，机动车驾驶人数达3.85亿。机动车的普及为我们的生活带来便捷，也带来不容忽视的安全隐患，例如，司机视觉死角导致的车辆追尾、碰撞，停车空间受限导致的擦挂风险以及疲劳驾驶导致的驾驶危险等。因此，从泊车辅助、车道偏离提醒、车到保持、疲劳驾驶检测等多方面保障人车安全的驾驶辅助系统一直是世界范围内研究热点[2]。

驾驶员对实时交通状况的感知是保证安全驾驶的基础，如果没有感知到准确和即时的环境信息，极有可能导致错误的判断和操作。而在通过视觉、听觉、触觉等感官进行环境信息感知时，80%以上的信息是通过视觉获取的，因此，驾驶过程中的视觉特性与行车安全有着直接的联系[3]。随着计算机视觉技术在软件算法和硬件处理能力上的飞速进步，图像处理技术逐渐打破技术瓶颈，可以对光照不足、有雾等恶劣环境下采集的图像进行校正；通过多摄像头采集数据，以获取目标深度信息；通过硬件拓宽数据范围、提升图像处理速度，向驾驶员更直观地反映车辆内外的真实场景[4]。

1 驾驶辅助中的计算机视觉概况

1.1 技术分解

驾驶辅助中的计算机视觉技术旨在提高驾驶员的视觉效能，通过改善视觉和驾驶行为的关系来辅助驾驶员，以减少因视觉原因带来的不当操作，或进一步减轻驾驶操作为驾驶员带来的负担，从而提高驾驶的安全性[5]。本文选择CNABS中文检索数据库以及DWPI外文检索数据库，通过对检索获得的驾驶辅助中的计算机视觉领域的专利申请进行统计与分析，对该领域所涉及的技术进行技术分解，如表1所示。

基于车辆内部信息的图像识别采集并识别车辆内部的图像信息，例如驾驶员的面部信息、视线位置、手势等，用于判断驾驶员是否疲劳、调节座椅位置或其他简单的控制功能。

1.2 技术分支介绍

1.2.1 基于前向驾驶信息的图像识别

基于计算机视觉的车辆辅助驾驶系统采用图像处理和计算机视觉技术检测道路路面、交通标志、其他车辆、行人、交通事故等道路环境状况，以保证车辆以安全的距离和合适的车速行驶在正确的车道上，并帮助驾驶员对一些异常状况进行及时处理。实现这类系统需要解决两大方面的问题，即行车轨迹方面的引导和对碰撞危险的规避。

1）行车轨迹

在从行车轨迹方面对驾驶员进行辅助引导时，通常都需要对车道线和/或道路边界进行识别，识别方法基本可归结为基于特征的识别方法和基于模型的识别方法。基于特征的识别方法主要是结合车道线或道路边界图像的图像特征从所获取的图像中识别出车道线或道路的边界[6]，该方法主要分为基于灰度特征的识别和基于彩色特征的识别，其中前者在不利天气条件下也能有比较准确的识别结果，因此应用较为广泛。基于模型的识别方法主要是基于不同的道路图像的二维或三维模型采用不同的识别技术对车道线或道路边界进行识别，常用的识别技术包括神经网络算法、Hough变换等[7]。

道路交通标志是重要的道路交通安全附属设施，用于向驾驶员提供各种引导和约束信息。驾驶辅助系统通过图像识别探测交通标志，通常首先确定交通标志于画面中的所在位置，再根据交通标志图像的颜色、形状等信息进行分类识别[8]。

在完成车道线、道路边界的识别后，驾驶辅助系统可以结合当前驾驶员对方向、速度等的控制参数，判断车辆是否偏离了正确的驾驶轨迹；还可以结合当前路面的畅通情况或根据交通标志指示，向驾驶员提供路线规划建议[9]。

2）行车防撞

障碍物的检测与识别是基于计算机视觉的行车防撞驾驶辅助的一个重要方向，其主要类型有：基于颜色的机器视觉障碍物检测、基于立体视觉的障碍物检测和基于结构光的障碍物检测。其中，在基于立体视觉的障碍物检测中，有典型的双目立体视觉检测方法，它利用两台参数性能相同、位置固定的摄像机，从两个视点观察统一景物，获得在不同视角下的两幅图像，通过成像几何原理计算图像像素间的视差，从而确定三维空间点的深度信息。这一过程与人类视觉的立体感知过程类似，因此不少驾驶辅助系统都采用该方法作为障碍物的主要检测方法。此外，基于结构光的障碍物检测能够获取目标物体的三维信息[10]。

驾驶员视线增强能够提供在雨天、雾天、沙尘等不同气候或一天中不同时间中，通过图像处理算法提高能见度，或通过设置多个摄像机采集司机试点盲区的图像，扩展司机视野[11]。

1.2.2 基于后向驾驶信息的图像识别

1）倒车轨迹

倒车轨迹分支中的驾驶辅助技术主要用于降低驾驶员在停车过程中的不便，或结合驾驶员的驾驶操作参数，例如方向盘角度和行驶速度等，计算出车辆将要经过的轨迹，并将该轨迹叠加显示在摄像头采集的车辆后方影像上；还可通过图像识别算法主动识别停车区域，制定出操作路线，供驾驶员参考。

2）倒车防撞

倒车防撞分支中，有关障碍物检测的方式与行车防撞分支中类似。该分支的另一侧重点在于如何让司机更准确地感知车辆的空间位置以及与障碍物之间的位置关系。传统的方式是在采集的车辆后方影像上叠加显示图像标记以反映车辆边界与后视场景的位置关系，并结合障碍物或距离检测方法进行报警。另一方面，大量的停车辅助系统开始基于车辆四周的全景图像生成鸟瞰图，使司机能够更直观地获知车辆与四周环境的位置关系，从而避免发生擦挂、碰撞事故[12-13]。

1.2.3 基于车辆内部信息的图像识别

基于车辆内部信息的图像识别对象主要針对驾驶员，其中疲劳与分神检测是该分支中的重点研究对象。疲劳驾驶时的特点通常有：打哈欠、头部倾斜、眼睑的眨动或闭合等。通过获取驾驶员的脸部视频图像，确定人脸及五官位置，根据头部、眼镜以及嘴部的图像来判断驾驶员是否在进行疲劳驾驶，从而提高驾驶安全[14]。此外，还可进行根据驾驶员的视线调整车辆座椅位置等，一方面使驾驶员得到更好的驾驶视野，另一方面提高驾驶舒适度、减缓驾驶员的监视疲劳。

2 专利分析

2.1 专利分布及重要申请人分析

2.1.1 申请量的年度分布

全球专利申请总量与国内申请总量如图1所示。从图1可以看出，基于计算机视觉的驾驶辅助专利申请在2003年以前都处于缓慢增长时期，与2006年迎来了第一个申请量高峰；2007—2015年，全球申请总量总体呈增长趋势，并在2015年迎来顶峰。而国内申请量在2011年以前都没有较快增长，在2010年之后，虽然增长趋势并不稳定，但在总体数量上较之前有了显著增加。此外，全球申请总量与国内申请量在2016年虽然仍保持在较高的水平，但相较2015年均分别出现了滑落，原因之一在于部分申请还未公开，因此未计入总量统计。

总体来说，无论是在全球范围还是在国内范围内，近5年中汽车保有量的增长对驾驶辅助领域发展起到了不可忽视的推动作用。同时，随着近年计算机视觉相关技术的蓬勃发展，以及智能驾驶这一概念的普及，越来越多的国内外企业开始致力于该领域的研究和创新。然而，大量研究起步早、实力强、技术积淀深厚的申请人来自国外，国内申请数量和在该领域的技术研究与国外均还有一定的差距。

对驾驶辅助中的计算机视觉领域的一级分支和二级分支申请比例进行统计的结果如图2所示。正如前文中提到的，驾驶辅助技术现阶段最主要的目的在于提高驾驶过程中的人车安全，在此基础上，进一步提高驾驶操作的智能化辅助，达到减轻驾驶员驾驶负担的目的。一级分支中，基于前向驾驶信息的图像识别和基于后向驾驶信息的图像识别这两个分支占据总申请量的绝大部分，结合二级分支的申请量比例，则很好地印证了这一研究趋势。申请量占据前两位的分别是前向驾驶分支中的行车防撞和后向驾驶中的倒车防撞，这两个分支中的申请均致力于解决前向和后向驾驶过程中容易出现的安全问题，例如通过对视野的增强、盲区和障碍物的识别等帮助驾驶员更好地观察到单靠人眼难以发现的潜在危险。这两个分支的相关技术辅助效果最好，是驾驶辅助系统最常见的功能。相比之下，倒车轨迹、行车轨迹两个二级分支，多用于提高驾驶智能与便捷程度，其研发起点较高，因此排名第三、第四。而基于车辆内部信息的图像识别技术并非驾驶辅助中最重要的需求，因此所占比例最小。

2.1.2 申请的地域分布

技术原创国反映了一个国家或地区在该领域的技术储备和实力，而目标国则反映了该国家和地区在相关领域的市场地位和受重视程度。原创国分布情况如图3所示。从图3可以看出，日本在基于计算机视觉的驾驶辅助领域的申请量最高，这与日本国内大量拥有强大研发实力的汽车、图像技术的企业有着紧密联系；中国位居第二，这主要归功于近几年汽车保有量的增长与汽车行业的蓬勃发展；之后则是美国、韩国和德国。而作为专利布局的目标国，中国无疑成为了全球最受重视的市场国，位居第一；同时美国、日本与韩国也具有庞大的消费市场，排名第二和第三；欧洲的专利分布较少，排在最后一位。

2.1.3 重要申请人

图4为驾驶辅助中的计算机视觉领域申请总量排名前八的申请人及其申请量的年度分布。株式会社电装（DENSO）位居第一，其与在后第二至五位的丰田汽车公司（TOYOTA）、爱信AW株式会社（AISIN AW）、爱信精机株式会社（AISIN SEIKI）、日产（NISSAN）均为来自日本且在世界汽车行业中地位举足轻重的公司；可见，来自日本的汽车、电子企业在基于计算机视觉的驾驶辅助领域有着不可动摇的地位。排名第六、八位的LG电子（LG Electronics）和现代汽车集团旗下的现代MOBIS（HYUNDAI MOBIS）是来自韩国电子产品制造商和汽车企业，也均在该领域做出了巨大的技术贡献，拥有大量专利申请。此外，德国的罗伯特博世有限公司（Robert Bosch GMBH）在2011年成为世界最大的汽车零部件供应商，其在驾驶辅助中的计算机视觉领域专利申请量排名第七。虽然近年来中国的汽车产业较以前有了较大的进步，越来越多的国内汽车、电子产品制造企业以及科研单位开始投入驾驶辅助系统的专利技术研究，但由于起步较晚且技术积淀不足，暂时还没有国内公司入围该领域专利申请总量的前十位，这也说明国内企业在驾驶辅助中的计算机视觉领域还有很大的投入空间。

株式会社电装、丰田汽车、爱信精机、日产在过去20年中一直致力于驾驶辅助中的计算机视觉领域的开发研究，技术积淀深厚；爱信AW和博世公司自2005年起也投入了较高的研究热情；而LG电子和现代MOBIS的申请虽主要分布在近5年，但申请量较大。此外，参与到该领域专利技术研究的企业随时间推移越来越多，且后加入企业的专利申请量非常可观，也反映出市场对基于计算机视觉的驾驶辅助系统的迫切需求。

2.2 技术发展演进

早在20世纪80年代就已出现将照相机应用至驾驶辅助中的专利申请，但受限于图像采集设备和计算机视觉算法的发展，基于机器视觉的驾驶辅助系统在近20年才有了较为明显的发展。通过对世界范围内大量驾驶辅助中的计算机视觉专利申请进行梳理和分析，将各分支演进路线进行了归纳。

图5示出了驾驶辅助中的计算机视觉领域的专利技术发展主要经历的3个阶段以及各技术分支在各阶段中具有代表性的专利申请。

第一阶段中，各技术分支的发展均处于起步阶段，驾驶辅助系统更多地利用图像采集设备本身，或结合简单的图像处理方法实现驾驶辅助功能。行车轨迹分支中，主要通过摄像头对路况进行简单采集便于驾驶员更好地获取车道信息；通过对道路边界、车道线等进行图像检测判断是否出现车道偏移；以及通过对道路、标志物、目标驶入区域等进行识别，结合转向角等参数计算实现轨迹预测，为变道、窄路、弯道驾驶提供参考，便于车道保持。行车防撞分支中，主要通过摄像头进行简单的驾驶员视野扩宽、通过红外成像进行夜视辅助等；在障碍物的识别方面，仅能进行简单地图像识别，大部分情况还是基于非图像传感器实现的。倒车轨迹分支中，通过图像采集设备采集车辆后方的图像，并结合方向盘的角度等数据将前瞻性的行驶轨迹重叠显示在后视画面上。倒车防撞分支中，于行车防撞分支类似，主要通过图像采集设备获取包括障碍物在内的车辆周边图像，但在对障碍物的识别方面，计算机视觉技术的应用较少。而基于车辆内部信息的图像识别分支在第一阶段中的申请量非常少。可见，在第一阶段，受限于图像识别等计算机视觉技术本身的发展不足，其在驾驶辅助系统中的应用种类少且功能单一。

第二阶段中，随着图像识别技术的发展，能够基于计算机视觉对各类应用场景中更多类别的对象进行识别和分析，适用的场合更广泛。行车轨迹分支中，能够通过图像处理对交通灯、路标等进行具体的识别，给予驾驶员参考、提示，或进行智能制动等简单控制；能够基于图像数据对路况进行简单的分析并基于图像识别障碍物。行车防撞分支中，识别算法更加智能化，分析对象的种类增多，例如对行人、车辆或其他障碍物进行分类识别，通过去雾、亮度补偿、甚至针对色盲色弱人群采用多种图像处理算法实现视野增强。倒车轨迹分支中，基于计算机视觉主动识别车位、停车线等标记以判断目标停车区域，或根据标定的区域进行停车引导；主动识别并分析倒车画面中的障碍物，再相应地制定停车诱导轨迹。倒车防撞分支中，更多地开始对获取到的图像进行处理，致力于更好地进行倒车时的视野扩展，例如对图像进行校正、合成全景视图、通过投影变换等图像处理方法实现视点变换等，以便于驾驶员进行车辆与周围环境的相对位置检查，消除视觉盲区；同时，对障碍物的识别更加细化，并标记在显示设备上。基于车辆内部信息的图像识别分支中，出现了各类针对驾驶员面部的检测方法，例如检测驾驶员是否疲劳驾驶，根据驾驶员视线位置调节座椅高度，根据驾驶员视线分析其是否看到应注意到的障碍物等。可见，在第二阶段中，计算机视觉在驾驶辅助中的应用广度得到了显著的扩展。

第三阶段中，计算机视觉技术与驾驶辅助系统的结合进入深入研究的稳固发展期。行车轨迹分支中，对路况、交通标志、信号灯等图像信息的可识别类型进一步增多，驾驶辅助系统相应作出的控制能加复杂，例如控制车灯闪烁或进行简单的方向控制。行车防撞分支中，各种种类的视野增强和障碍物识别算法得到了深入研究和融合。倒车轨迹和倒车防撞分支中，驾驶辅助系统更加致力于向驾驶员展示在以最大程度还原的真实停车场景的基础上对停车轨迹进行更加智能的引导，或被结合到自动泊车中；针对各类倒车场景中的图像处理算法进行深入研究和优化的申请居多，例如投影变换、视点变换、目标物识别等，减小图像处理运算量、提高运算速度的同时，也提升了圖像精度，展示方式更加多样化。基于车辆内部信息的图像识别分支中，随着用户对驾驶安全与舒适度体验需求的增加，各类算法也更加精确和人性化，适用场景更加复杂。可见，在第三阶段中，计算机视觉在驾驶辅助中的应用更加深入，车道保持、路况分析、轨迹预测、障碍物识别等图像识别算法更加复杂，应用朝着更加成熟、智能的方向发展，且各分支之间的融合和功能交叉日益增多。

2.3 核心专利分析

通过对专利文献的引证次数进行统计，结合驾驶辅助中的计算机视觉技术演进路线和当下的技术热点，综合选取了引证次数高、方案具有代表性的核心专利。

2.3.1 行车轨迹

由株式会社电装于2005年申请的专利JP2007034693A涉及一种安全驾驶支援装置。该装置首先提取出采集到的行车方向前方的图像画面中发出红光的图像部分，再根据发出红光部分图像的倾斜度和面积大小，判断其是否为车辆当前行驶方向上的红灯信号，结合当前车辆的行驶状态，相应作出车辆制动的控制操作[15]。

2.3.2 行车防撞

沃尔沃汽车公司的发明申请EP2484566 A1，通过对障碍物图像的识别控制车辆进行主动避障。该申请涉及一种用于自动制动车辆的方法和用于车辆的制动辅助系统，其通过摄像头监视当前车辆所行驶道路的相邻车道，探测相邻车道中的其他车辆对当前车辆的相对靠近，结合对当前车辆的转弯意向，计算当前车辆是否即将与相邻车道中的其他车辆发生碰撞，并产生相应的控制信号以启动当前车辆的制动器，使当前车辆完全停止或在道路使用者的后方通过，从而避免或减轻碰撞[16]。

2.3.3 倒车轨迹

爱信精机株式会社于2007年提出的PCT国际申请WO2008081655A1涉及一种停车辅助装置，如图6所示，停车辅助装置对放置在停车区域S中特定位置的标记M进行图像采集，并从采集到的图像中抽出标记M的特征点，识别特征点的二维坐标，从而计算出以标记M为基准的摄影机的位置参数；根据该摄影机的位置参数和上述固定目标相对于上述目标停车位置的上述位置关系，确定车辆与目标停车位置的相对位置关系，从而得到停车轨迹L[17]。

2.3.4 倒车防撞

日产自动车株式会社于2005年提出的、公开号为JP2006341641A的专利申请，设计一种图像显示装置和方法，如图7所示。驾驶员可以在同一屏幕上看出当前鸟瞰图像中的障碍物与车辆实际位置之间的差异。从定向在不同方向上的、优选为摄像机的、多个拍摄装置所获得的多个直接图像被用于合成鸟瞰图像，监视员可以一目了然地观察到车辆周围的环境[18]。

2.3.5 基于车辆内部信息的图像识别

由Raymond Paul Smith等人于2002年提出的、公开号为US6927694B1的申请涉及一种通过监控驾驶员头、眼运动用于疲劳驾驶报警的算法。该算法通过一台车载摄像机自动跟踪驾驶员的头部和面部特征，对图像进行分类，检测眼部/嘴部的闭合以及眨眼、打哈欠等行为，对驾驶员是否疲劳进行判断，并相应地发出警报，或进行减速、停车等制动控制[19]。

3 结语

本文对驾驶辅助中的计算机视觉领域的技术分支、专利申请趋势、重要申请人、技术演进路线以及各分支中具有代表性的核心专利进行了数据统计和分析，总体上，该领域的基数发展受计算机视觉技术本身发展的影响较大。随着近年智能驾驶的概念兴起，图像的处理、识别技术的飞速进步，以及人们对驾驶安全和驾驶体验的重视程度日益加深，越来越多的汽车和电子设备公司开始投入到该领域的专利技术研发中。对驾驶过程中的视觉信息进行分析以及以视觉的方式向驾驶员提供驾驶辅助信息往往更加贴近真实驾驶过程中的信息获取过程，相信计算机视觉技术在驾驶辅助系统中还会等到更加长远的应用和发展。

参考文献：

[1]

王荣本， 李斌， 储江伟，等. 世界智能车辆行驶安全保障技术的研究进展[J]. 公路交通科技， 2002， 19（2）：117121.

[2] 王万荣， 雍建军， 毛承志，等. 从驾驶辅助到自动驾驶的综述及规划[C]// 2015中国汽车工程学会年会论文集（Volume2）， 2015.

[3] 初秀民， 万剑， 严新平，等. 基于车载机器视觉的汽车安全技术[J]. 中国安全科学学报， 2008， 18（5）：154161.

[4] 张文霞， 王鹤鹏. 图像识别技术在汽车安全辅助驾驶系统中的应用[J]. 汽车实用技术， 2015（12）：120122.

[5] 王荣本， 李兵， 施树明，等. 世界智能车辆研究概述[J]. 公路交通科技， 2001， 18（5）：9397.

[6]清华大学. 一种目标车换道工況下的快速识别方法：CN101089917A[P].20071219.

[7]株式会社电装.车辆周边显示装置和用于车辆周边图像的方法：CN101844545A[P].20100929.

[8]中南大学.一种面向无人驾驶车的道路交通标志识别方法：CN102542260A[P].20120704.

[9] 管欣， 王景武， 高振海. 基于最优预瞄加速度决策的汽车自适应巡航控制系统[J]. 吉林大学学报（工学版）， 2004， 34（2）：189193.

[10]曾日金，袁华.双目立体视觉的障碍物检测方法综述[J].大众科技，2014，16（3）：3738.

[11]浙江大学.基于雾天图像复原和图像融合的图像去雾方法：CN102254313A[P].20111123.

[12]富士通天株式会社.图像处理装置、图像处理系统和图像处理方法： CN102934427A[P].20130213.

[13]日産自動車株式会社.駐車支援装置および駐車支援方法：JP2010034645A[P].20100212.

[14]华南理工大学.在线检测列车驾驶员行为和疲劳状态的方法及其检测系统：CN101639894A[P].20090831.

[15]NIPPONDENSO CO LTD.安全運転支援装置： JP2007034693A[P]. 20070208.

[16] VOLVO CAR CORP. Brake assist system： EP2484566A1[P]. 20120808.

[17] TOYOTA JIDOSHOKKI KK. 駐車支援装置、駐車支援装置部品、駐車支援方法、駐車支援プログラム、車両走行パラメータの算出方法及び算出プログラム、車両走行パラメータ算出装置並びに車両走行パラメータ算出装置部品：WO2008081655A1[P].20080710.

[18]NISSAN MOTOR CO LTD. 映像表示装置及び映像表示方法：JP2006341641A[P].20061221.

[19] UNIV CENT FLORIDA RES FOUND. Algorithm for monitoring head/eye motion for driver alertness with one camera： US6927694B1 [P].20050809.