□ 文/吴 迪
安防产业发展分为三个阶段,给人看——解决看得清的问题,产业以PQ(Picture Quality 图像质量)拉动,2018年之前处于此阶段;帮人看——解决看得懂的问题,产业以PQ+AI双轮驱动,目前处于此阶段;给机器看——完全释放人力,产业以AI+APP(Application 应用)场景化带动,预计2020年以后进入此阶段。星光级技术是PQ时代的核心产物,随着技术的不断迭代,也正在为AI时代的全面到来提供优质的图像质量保证。
星光级技术在安防行业已经火了好几年,其效果优势让该技术的产品化进程加快,遍地可见的星光产品也加剧了各个安防厂家在“星光”上的竞争。星光级摄像机经过了前后几代的发展,但效果依然良莠不齐,优势技术依然掌握在海康、天地、大华等主流厂家手中,其他厂家也都在穷追猛赶。庞大的市场需求不断促使新产品的诞生,星光级技术,如何为AI赋能,安防行业正在面临异常激烈的星光技术对弈。
星光级技术的每一次进步都伴随着一次新概念的包装,这些概念来自于当时的核心技术厂商,让我们来回顾一下星光技术的前世今生。
“星光级技术”的前身是“低照度技术”。传统的摄像机在夜晚都是红外灯补光,呈现出来的是黑白效果。这些录像对事件的查看造成很多不利影响,会丢失很多的色彩信息和关键细节,于是“低照度技术”应运而生,这个概念始于2014年,是指摄像机在照度较低时,图像清晰度、噪点抑制能力都有较好表现。在2015年发展成为“星光级技术”,并在行业内流传开来。何谓星光?星光级技术亮点就是低照度和大靶面,可以彻底解决摄像机低照效果差的问题,通常意义下,星光级技术是让摄像机在照度低至0.002Lux的环境光下,依旧能够输出清晰彩色视频的技术。为什么叫星光级呢,因为在只有星星的光线、没有任何外界补光的夜晚,最低照度就是0.002Lux。
2015年星光级技术经历了一代、二代的变革,在色彩还原、噪点抑制抑制上有所提升,2016到2018年是星光技术飞速发展的时段,各厂家开始推出星光技术的变种革新技术,如天地伟业推出的 “超星光系列”、海康威视推出的“黑光摄像机”、大华推出的“极光系列”……当然,不管大家在概念层面如何竞争,技术的核心目的是一致的,而且广大客户的眼睛是雪亮的,能拿出出色的夜视效果才是关键,星光技术已经从实验室走向了实战,并不断向实用化发展,行业内基于此的竞争也会不断加剧。那么下一个星光概念是什么,谁又能再次引领“星光级技术”的发展,我们拭目以待。
▲一代星光效果
▲二代星光效果
▲超星光 4.0效果(右侧,左侧为极低照度下iPhoneX拍摄的现场情况)
如今,几乎任何安防厂家都有自己的星光产品线,但在星光效果的表现上却参差不齐,这取决于不同厂家对“星光级技术”的积淀程度的不同,也从另一方面体现了研发星光摄像机并不是将像组装积木那样简单。技术难点有如下几个方面:
光路设计是指光线从自然界到在摄像机上最终成像经历的路径以及路径上主要部件的选型,这是决定星光摄像机效果的首要因素。影响摄像机成像效果的主要部件是镜头和传感器,那这两者的选型和调校就显得尤为重要。
镜头是摄像机成像的第一个光学部件。镜头的最大光圈是其中很重要的一个因素,光圈越大进光量越大,从而彩色效果越好,反之则效果越差,但镜头光圈越大,景深却越浅,即场景中聚焦清晰的范围越小,所以要在进光量与景深之间找到一个平衡点。与此类似的另一个参数是摄像机慢快门,当快门越慢,进光量越大,画面亮度提高,但相对的运动物体的拖影也越严重,所以快门值也是把双刃剑,需要根据具体应用场景匹配相应的值。此外镜头的材质也会影响效果,如玻璃镜头成像色彩逼真、稳定,塑料镜头虽然经济性好但是容易出现虚焦等问题。在不同规格的镜头中做选择是很多安防厂家经常遇到的难题,以天地伟业超星光3.0为例,其采用F0.95超大光圈、超低色散的全玻璃镜头,并配合快慢快门自适应技术,实现夜视效果的最佳匹配。
传感器(sensor)是将光学信号转换成数字信号的部件,目前主流的前端产品(IPC或球机)都采用CMOS传感器,虽然在刚起步时,由于两种传感器结构及工作机理的不同,CMOS在低照下的成像效果不如CCD,但随着背照式CMOS的推出,其内部结构做了调整,光线通过透镜后能直接到达感光面,使灵敏度有了质的飞跃,而传感器灵敏度正是摄像机在微弱环境光中依然能获得清晰彩色图像的最大保障,上面提到的感光面及靶面,靶面越大,其光学灵敏度就越高,就能捕捉到环境中零星的光线完成成像。
基于如上的硬件平台,我们就可以设计成像的光路了,是否搭配红外或白光来补光,是选择单sensor、单镜头还是双sensor单镜头,还是单sensor双镜头,亦或是双sensor双镜头,这些考量都会直接影响星光效果。不同架构都会有各自的优缺点,可能是成本上的,也可能是效果上的。如通过红外补光虽然可以应付一些极端的无光环境,但是开启红外后会丢失颜色信息,而通过白光补光可以保留颜色信息,但会一定程度上降低图像的通透度,但这可以通过ISP的调节来改善,因此白光补光会是一个趋势,如天地的警戒系列。多sensor或多镜头会提升摄像机的光敏感度,但是会导致成本的增加,也会在颜色矫正等因素上上引入新的难题。
但是困难越多,方法越多,实际上,海康、天地等厂家已经探索出单镜头双sensor的成熟方案,以天地伟业推出的超星光4.0为例,它代表了PQ时代的最高技术,通过颠覆式双光路设计:像素级逐帧融合,可实现无光全彩;驭光级光通控制技术:最新一代硬件方案组合,使用最先进的传感器工艺,通光量提升30%,极限光路设计,全波长全光路增透,对环境光的感应达到极致。
光路设计好了之后,就需要研发人员通过不断收集原始的视频数据来辅助效果调试,包括饱和度、色彩偏差、白平衡、信噪比、锐度数据、曝光参数、可视化数据等,这些原始数据非常可贵,一般情况下这些数据的理论值越理想,摄像机的实际效果也越好,所以大家非常关注这些数据。然而这些数据的采集不同厂家差别较大,有些小厂没有数据采集和分析过程,一切靠主观评价,效果波动较大,客观性较差,有些厂家采集数据的设备较为简陋,大多通过人工,数据准确性差且效率低,仅有少数一些厂家拥有自己的专业的测试系统,所有数据均由软件自动生成,如海康、天地等的Image test测试系统,他们所有指标都是通过这套系统测算,优劣一目了然,为研发人员的效果调试提供了强有力的指导,这也是这些主流厂家的星光效果一直独占鳌头的原因之一。
有了数据做指导,研发的效果小组要做的最重要的一件事就是做ISP调试,经过不断的探索、试验,最终确定最合适的ISP参数组合,这些参数包括目标亮度值、快门、增益、白平衡、宽动态、饱和度、锐度、降噪等多项指标。这些参数的取得除了靠理论数据,还要依据反复的实测与厚重的经验积累,需要有一支庞大且有经验的测试和研发队伍来完成,这支队伍的价值就是 “星光级技术”的核心竞争力。
我们以天地伟业超星光4.0为例,看ISP效果调试是如何发挥作用的。
Smart帧预判技术:在保证低照亮度的同时,对场景识别后进行帧累积的智能预判,不会强制降帧,却能达到长曝光的效果。保证在同样的场景下,拖影、亮度、噪声达到一个完美的融合。混搭式频空降噪技术:在使用数字降噪进行频域降噪的同时,与空域降噪进行配合。避免简单的使用频域降噪带来较大拖尾的风险。
▲ ISP调整后
随着安防行业的发展,监控摄像机从最初的视频采集设备逐步演化为具有更多附加值的智能化产品,人们希望它们的作用不仅局限于录像,而是要有一些深层次的应用,对“星光级摄像机”来说也不例外,星光与其他技术相融合来解决更多系统的问题,这会是一个趋势。
星光级技术的渗入无疑为交通车牌识别的全天候使用提供了有力的技术支持,普通卡口或电警设备在夜晚或者路灯环境下,由于夜晚环境光的色温及光线阴影问题,会干扰摄像机车辆识别算法对车牌、车身颜色、车型的建模,给正常的抓拍和识别带来很大程度的影响,但星光级技术的出现对这些问题的解决,起到了事半功倍的效果。
星光级摄像机对环境亮度的要求较为宽松,适合照度较低的街道或小路,面对这种环境,星光级摄像机利用独特的感光数据处理芯片,使整体视觉效果提升数倍,使原本暗淡的车牌颜色和车身颜色得到更加真实的还原,避免了由于灯光照射角度而导致的阴影问题,保证了车辆识别数据的真实有效,让车辆识别的环境适应能力更强,识别更准,而且让低照下提取驾驶员及副驾驶人脸清晰图片采集信息成为可能。同时采用无爆闪技术,有效避免了爆闪及常亮补光灯对司机的视觉影响,以免造成不必要的交通事故。
▲低照下车牌及驾驶员信息提取
2017-2018年,伴随着深度学习算法的成熟,人脸识别、人体识别、行为分析等技术再一次火起来。深度学习算法模拟了人类神经网络思考问题的方式,其对事物抽象、概括能力的显著提升。将这样的算法与星光级技术相结合,智能将如虎添翼,以人脸识别为例,星光级技术可以为人脸识别系统提供更加清晰的夜间画面,脸部细节清晰可见、颜色信息完整保留,极大提升人脸识别算法在夜间的识别能力,使整套系统的夜视能力远超人眼辨识范围。想象一下,在一个漆黑的深夜郊外,没有任何辅助光源的情况下,人脸识别系统依然能准确识别出同一画面内的最多100个人的面部信息,那是一件多么神奇的事情。
▲夜间11点的漆黑环境下的人脸识别
传统安防更多关注事后的视频图像取证,或者事中的一些报警联动,然而这些都是基于危险事件、治安案件已经发生这一事实,因此无法做到事前的主动安全防范和预警。天地伟业推出警戒系列产品,提出“主动安防”的概念,当有危险苗头的时候,警戒前端(注意,是前端,也就会事件发生的现场)会通过声音、白光、激光等组合方式对看守区域的人、物进行提醒或震慑,同时后端讲这一信号放大,让安保人员及时知道,将危险、治安案件消灭在萌芽状态。因为大多治安案件都是发生在晚上,所以星光配合警戒系统,可以在夜间对入侵者产生极强震慑的同时,还能呈现最为的通透亮丽的彩色画面,将“主动安防”发挥到极致。
星光+……
“星光级技术”越是竞争激烈,就越能展现出它巨大的发展空间,星光一定会在更多的维度进化,所有厂家也时候储备下一代星光技术了:
所谓智能星光,是指可以在不同环境内都可以实现各项参数智能化自动调节,做到完全的场景自适应,以匹配最佳的星光效果。当前最优秀的星光摄像机在面对不同的光线、色温等环境时,也需要人工干预调整曝光、降噪等参数来被动适应环境的变化,无法做到完全自动化。这一现实由当前星光技术发展水平所限,因为要想实现智能星光,需要更为复杂的算法和ISP底层环境适应支持,需要有更多的数据和经验积累,虽然困难,但“星光级技术”的发展尽头告诉我们这一定可以在不久的将来得以实现,就像我们现在已经实现了快门、光圈、红外亮度等参数的自适应调节一样。
如果单镜头、单sensor的感光能力达到瓶颈,我们是否可以通过增加感光器件来实现感光效果的叠加呢?答案是肯定的,这在理论上可行,不同的光路设计原理会有所差异,但核心都是通过多个感光将各自的感光能力进行累加,达到效果倍增的目的,让夜视能力达到极致,突破视觉极限。海康已经在单镜头双sensor上做着探索,天地伟业也在多sensor、多镜头上做着技术储备。所有的研究成果在不久也许就会和大家见面,当然每家产品的原理和效果一定会有差异,谁会更加大胆,谁的效果会更好,我们把评判的权利交给时间。
星光摄像机夜视效果好的同时,有时也会伴随着一些副作用,如低照下拖尾、丢帧等问题。机器视觉星光旨在解决低照拖尾、丢帧问题,智能处理动态场景,让夜间动态视频更加连贯。如天地伟业TVP技术,针对动态运动场景,可设定特殊的动作阈值,当超过该阈值系统判断为运动场景,低于该阈值为静态场景。在运动场景中通过采取I帧动态补偿防止运动伪影,同时联动增益及时域、空域双边滤波降噪做动态处理,确保运动目标不拖尾、周边细节不丢失。
高清化是必然趋势,随着H.265技术的普及,以及智能编码技术的革新,窄带高清已经不是梦,用原来1080P的码率现在已经足够传输5MP甚至是4K的视频,因此4K及以上的星光、超星光产品会是不久后的趋势,当然如前文所述,安防的第二阶段是PQ与AI双轮驱动的时代,二者相辅相成,谁的需求更为迫切谁的发展就相对快一些,相信当AI成熟到一定程度,更高分辨率的星光产品会为AI+安防带来新的活力,量变引起质的飞跃。
总结:每一次技术的革新总能引领一次行业的进步,5年前,我们不可能想象得到如今的摄像机在伸手不见五指的夜晚竟也能呈现清晰的彩色图像,我还清楚地记得第一次向客户展示星光摄像机视频时他们那惊讶的表情。“星光级技术”近几年的发展也许才只是一个开始,在这新一轮的对弈中,每个参与者都不想掉队,因此所有厂家都会满怀诚意的奉上属于这个时代的星光豪礼,为AI赋能,为AI+安防赋能,作为安防人,我们应当为生活在这样的时代而感到自豪,因为它总会给我们一次又一次惊喜!