迷人的小眼睛

许晖

从无到有再到普及，不知不觉之间，ADAS 技术已经发展了一段不短的时间。从知道到认识再到习以为常，寻常人对于ADAS 功能的了解，也随着越来越多车辆配置ADAS 技术，日益丰富的功能选项极大便利驾乘感受得到逐步接受。或许不少人会认为ADAS 技术并不难，就连后装市场企业都纷纷推出号称具有ADAS 功能的产品，实际上真正厉害的技术产品，始终需要更深层次的积累与沉淀。譬如MINIEYE I-CS 座舱感知方案

日益重要的舱内感知功能

A dv anc ed Dr iv er A ssist anc eSystem（ADAS） 高级驾驶辅助系统，作用是在紧急情况下，驾驶员主观反应之前作出主动判断和预防措施，达到预防和辅助的作用。高级辅助驾驶系统（ADAS）属于广义概念。凡能提升驾驶安全性和舒适性的功能，皆可归入其范畴，譬如大家所熟悉的ACC 自适应续航、AEB/CMbB自动紧急制动、TSR/TSI 交通标志识别、BSD/BLIS 盲点监测、LCA/LCMA 变道辅助、LDW 车道偏离预警等等，均可视为ADAS 系统功能之一。甚至就连高精地图都应归类其中，毕竟导航功能让不少人得以告别路盲症候群，而高精地图不但能提供更为精确的导航，还能为自动泊车等不少其他ADAS 功能提供定位佐证。

通常消费者所理解的ADAS，大多是基于视觉感知方案外加多传感器融合的舱外感知功能。而对于DMS（驾驶员监测）以及OMS（乘客监测），甚至舱内物品及环境监测的舱内感知功能都不甚了解。从2018 年开始，随着汽车行业规范及法规的逐步完善，越来越多如Euro NCAP、EU Commission、US NHTSA、USNTSB 等测试组织与机构，纷纷提出针对舱内驾驶员、乘员感知功能的需求。部分更給出了明确的时间表，鼓励、推荐甚至强制在随后所生产的新车上，必须具备有能和舱内人机交互系统相结合的驾驶员监控系统，且针对未来车辆更着重强调需能检测滞留在车内儿童、宠物等活体，并提醒驾驶员的功能。有异于ADAS 系统之中的舱外感知功能，舱内感知功能更多依靠摄像头传感器达成。有数据显示，到2023 年，预计平均每辆车将配载2 颗以上的摄像头，而高端豪华型车辆预计将达到10 颗之多。这将让舱内功能从安全导向的监控功能，逐步过渡为理解人类意图，以舒适娱乐为导向的监控感知功能。

值得一提的是，由于ADAS 功能早年就被归类划分至美国高速公路安全管理局（NHTSA）和国际自动机工程师学会（SAE）所制定的“自动驾驶分级参考”之内，所以不少人将其称为自动驾驶的简化版。实际上这应该属于一种误读，ADAS 功能真正意义上应该属于车辆的自动化功能，而自动驾驶分级参考更应理解成为对于车辆自动化程度的划分。ADAS 功能虽然减轻了驾驶员的驾驶压力，不过终归不能属于自动驾驶功能，充其量属于将来为自动驾驶提供感知的一环。

内行看门道

通过追踪包括头部转向、面部表情、视线方向、手势以及肢体关节点等人体视觉特征，进一步分析驾驶员及乘客的身份信息、动作意图和行为数据，是ADAS舱内感知所实现的具体功能。这些貌似仅需数个摄像头摄取图像，比对目标数据库就能完成的“简单”功能，或许让不少人人感觉门槛并不高。这不就是生物特征检测嘛，消费电子领域老早就普及了，那些遍布各个角落，基于摄像头的物联网功能早烂大街了吧。

不要忘了任何消费电子领域的技术与产品，一旦需要实现成为车载功能，那么就要另当别论了。“室内”与“舱内”，一字之差背后所需考虑的问题，堪称“外行看热闹，内行看门道”的经典解释。车载领域的严苛岂非寻常消费电子领域所能比拟。如ECU 上的计算资源限制、车规级摄像头模组的技术规格与未来发展规划、不同车型内饰设计以及座舱集成方可接受的摄像头位置布局，甚至还可能涉及到复杂的真实交通场景所带来的影响。简而言之，在极其考究能耗、空间、算力以及行驶安全性上，一套通盘考虑以上问题的ADAS 舱内感知功能解决方案，不但需要便于隐藏的娇小硬件，还需要具有低功耗且高效率的，基于车规级平台嵌入式计算机视觉与人工智能（AI）技术支持，更需要灵活封装的软件方案，以更好适应不同OEM 厂家定制化的需求。

MINIEYE 近期所发布的这套I-CS座舱感知方案，是其在深耕汽车行业多年，经年累月所沉淀的技术底蕴之下所推出的成熟方案。这其中包含了两类MINIEYE自主研发的核心技术。第一项是针对神经网络轻量化以及快速运算需求的压缩技术。众所周知，作为视觉识别系统永远跳脱不开的卷积神经网络（ConvolutionalNeural Networks， CNN）算法，其从摄像头所获得的图像精确度，直接决定了识别成功率以及准确率。I-CS 的ThiNet 可以有效加速并压缩用于舱内感知的卷积神经网络。在保证极少的精确度衰减前提下，极尽所能地瘦身神经网络，通过ThiNet 裁剪，除身份识别功能外，用于DMS 的CNN 算法模块每帧仅占用234M Operations。而这套舱内感知的CNN 算法模块是为了车规级嵌入式平台量身打造，并根据自研CNN加速器特性进行深度定制，能有效发挥出CNN 加速器算力，达到理论峰值算力的95% 以上。另外一项则是CNN 高速推理框架技术：基于CPU/GPU 的MINIDNN 和基于FPGA 的HardNet。这项技术解决了当前CPU 面对大规模CNN 网络处理乏力的难题，有趣的是其除了具有高效的加速能力，支持基于Caffe、Tensorflow 等主流CNN 网络之外，更具有完全裁剪性，也就是说根据不同用户的需求，可随意裁剪出一款最适合的CNN 加速器并满足资源消耗和性能的平衡。

外行看热闹

实际测试总是最好玩的。如果说看得懂上面一段内容的读者属于内行人士。那么为了外行群众也直观体会到这套I-CS座舱感知方案的热闹，我们选择在充分了解系统工作原理后，亲身上车成为DMS与OMS 系统监测对象，好好“测（Xi）试（shua）”一番。

把测试系统安装在某国内造车新势力车型上测试实在用心良苦。与传统造车势力“字正腔圆”、“中规中矩”的架构体系相比，国内造车新势力所提倡的全新造车理念，以及大胆的功能需求，才是各类车载系统所需直面的挑战。I-CS 座舱感知方案硬件包含两个IR 红外摄像头及对应处理模块。其中DMS 功能摄像头安放在方向盘连接轴盖板，OMS 摄像头则处于后视镜后侧下沿。估计是因为测试原因，两个摄像头并没有被刻意隐藏起来，不过从其体积来看在实际交付时候，隐秘于车辆内饰完全不是问题。

快速、准确地识别出活体驾驶员的一举一动是DMS 功能的主要诉求。一个成熟的测试者总会希望挑战各种“cornercase”之中的“corner case”。所以我决定首先以照片和视频方式挑战系统的“非配合式活体身份识别”。在穷尽各种欺骗手段后发现尽数失败，IR 摄像头的IR光源直接照片以及视频手段失效。随后本人祭出了日常驾驶之中所涉及的各类动作，包括模拟疲劳驾驶的闭合眼睑、打哈欠、头部上仰与低垂;模拟驾驶分神的头部左顾右盼、视线脱离正前方道路;模拟不良驾驶习惯的打电话、抽烟。无一例外全部快速识别并在监控屏幕上对应标定。系统工作原理在于从驾驶员入舱的一刻，从摄像头回馈图像之中，快速准确定位其面部的68 个特征點，通过在持续比对真实人脸与平均人脸数据之中，学习并建立自适应3D 建模，以头部姿态估计定位头部朝向，同时通过定位瞳孔外缘的中心和角膜虚拟球体的中心，定位视线矢量原点，最终双向结合判断视线朝向。不难看出，目前业内对于如何通过角膜反射法，将精确视线与稳定视线相结合，并解决亮瞳与暗瞳识别的技术难题，在I-CS 系统上表现完美，且人脸认证可支持RGB 图像注册以及IR 图像识别。这有利于真正部署上车时候主机厂的多样化选择。

最为主要的DMS 系统表现出色，那OMS 系统能力已无需多疑。乘客监测之中针对遗落物体，非触碰式手势交互、视线交互、头部动作交互均一一过关，OMS最为主要的儿童监测我是没法冒充的，尝试以身形矮小人员模仿亦告失败。毕竟I-CS 系统除了人脸监测以外，还增加了比对人体骨骼点达成人体比例分析，准确定位人体进行身高分析的多重结合判断，是否儿童一目了然。唯一遗憾是现场没抓到一只猫或狗。所以宠物监测没有结果。

结语：

每次技术测试都是有趣的，这次也不例外。MINIEYE I-CS 座舱感知方案的精确与智能，让我对于这家叫自己“小眼睛”的MINIEYE 企业，舱内监测功能实力有了全新的认知，非要找缺点也是有的，IR 摄像头出来的“惊吓”效果，绝对可划分至“成人限制”级别。考虑到事关驾乘小命的安全也就无所谓了，更何况真正装车后想看估计还看不到呢。

专访MINIEYE 智能座舱事业部总经理杨一泓

AF ：舱内感知功能与舱外感知功能对于ADAS 系统而言谁更重要

杨一泓：舱内感知功能尤其是DMS技术，未来会是L2 及以上自动驾驶关键系统的“最后一道安全阀门”。做好了DMS 相关技术可以保证在自动驾驶或半自动驾驶开启的情况下，驾驶员能够始终保持对路面情况有所警戒，能够在危险时刻及时甚至提前接管车辆。因此对我们而言，拥有DMS 功能的舱内感知系统与自动驾驶系统一样，具备非常高的安全属性，同时也肩负着非常重要的安全责任。随着自动驾驶的进阶发展，未来舱内和舱外的融合会不断加强，这也是MINIEYE 一直推崇所谓“全域感知”技术路线的原因。

AF ：MINIEYE I-CS 座舱感知方案与友商的解决方案相比的主要优势在那些方面？

杨一泓：MINIEYE I-CS 拥有三个优势，首先I-CS 深度学习模块可提供高度精准的算法结果，通过多年的技术积累，我们专注交通场景、驾乘习惯等相关环境应用，掌握了扎实的模型设计方案，为后续方案适配打下了良好的基础;其次我们累积了很多基于真实交通的案例分析经验，包括功能层、应用层对于关键结果的封装、相关功能结果的权重占比等，这一系列的整套设计能够实现更好的体验感，同时也符合真实交通环境与驾驶情况;再次截止目前， I-CS 方案实现超30 个乘用车车型定点，相关技术已成功覆盖乘用车和商用车两大领域， 其中DMS 产品至今装车量已超过10 万台。与MINIEYE合作的国内外企业，涵盖众多知名车企、Tier1、物流车队等前后装合作方，我们能够适应不同类型客户的多样化、个性化量产需求。所以对于更真实的客户反馈，我们也非常有信心。

AF ：MINIEYE I-CS 座舱感知方案下一步将有何创新

杨一泓：未来的工作重心，首先我们会花更多精力用来打磨场景式的主动服务方案，进一步深度分析基于特殊场景下的客户需求，并针对这些需求痛点，设计完善一整套的解决方案。包括我们在发布会上提出的“无缝入车、安全接管、疲劳监测、儿童看护、多人娱乐”五大主动服务场景，未来不仅会继续深挖这五个场景，还会根据用户情况拓展更多的实用场景，满足市场需求。其次，多模态、多传感器融合是MINIEYE 坚持的方向，我们会把视觉感知技术与更多舱内指标相结合，比如人体健康、生理特征等，打造更加全能的感知方案，为智能汽车提供更丰富的软件服务。

AF ：您眼中智能座舱系统的未来如何发展

杨一泓：未来智能座舱系统肯定以软件主导，产品设计方式也以客户需求灵活呈现，逐渐向互联网思维转变。行业角度来看，多模态融合会是明显的点，因为任何一种模态都有自身的缺点，只有多模态共存才能够解决更多用户需求，真正提升座舱体验。视觉感知将会是多模态最重要的一环。只有基于视觉观察，未来的汽车才拥有主动式服务能力与用户进行交互，提前预判用户需求，做到“更懂用户”。所以视觉前期学习用户、了解用户，并进行分析积累;后期所实现则是观察用户、感知用户，提供主动式服务。只有被动式交互与主动式服务结合在一起，才是真正的智能座舱。

AF ：面对近乎于无限组合的客户需求，MINIEYE 的产品是否做好应对

杨一泓：整套I-CS 方案拥有非常高定制化特性，可根据主机厂与一级供应商的不同需求，提供灵活封装的软硬件解决方案。摄像头方案针对DMS、OMS不同模组与位置，我们都有丰富的项目经验和相应的自采集标准，且有快速移植与迭代的能力。第二，对于芯片的可移植性上，比如支持CPU/GPU/DSP 方案、基于不同嵌入式平台的加速库、国内外最主流芯片的适配经验等，也让我们方案有快速的移植优势。第三，我们还做了很多嵌入式优化、网络优化，让方案的资源占用率更小，可移植性优势再一步提升。基于这一系列成熟的方案，我们还会针对性地对实舱环境进行迭代，将更多的重点放在量產工作上。