智能视觉物联网——物联网的升级

本刊记者/梁秀璟

智能视觉物联网
——物联网的升级

本刊记者/梁秀璟

物联网作为战略新兴产业的重要组成部分，对加快转变经济发展方式具有重要的推动作用。物联网产业作为新一代信息技术的重要组成部分而被列为国家“十二五”规划的重点扶持产业，从而被提到国家战略高度，并随着国家对新兴产业的扶持政策逐渐明朗，逐步从概念炒作走向实质。

随着平安城市、数字城市、智慧城市的建设，物联网的内涵也不断扩展与延伸，用摄像机和智能识别系统实时感知人、车、物、路的性质和状态，给视频信号 “贴标签”，并以三网融合方式传输，形成新型的报警联动和技防网，支持政府决策办公和应急指挥、服务民生，用于反恐、防盗、维稳，将成为物联网的主要发展方向之一，这便是智能视觉物联网。智能视觉物联网，被称为物联网的升级版本，但并不被大多数人所了解，本期记者就针对智能视觉物联网采访了中科院自动化所模式识别国家重点实验室研究员和生物识别与安全技术研究中心主任，智能视觉物联网研发中心主任李子青博士。请他和广大读者谈一谈智能视觉物联网目前在我国的应用情况。

■《自动化博览》：物联网已经成为当今社会非常热点的话题，您如何看待物联网在中国的应用情况？

李子青：物联网，即物与物相联系的互联网。物联网提供各种感知技术广泛应用平台，包括传感、连接，以及智能信息处理三个基本部分，有如下特点：（1）连接各种传感器如射频识别（RFID）、图像视频传感器、声音传感器、红外感应器、压力传感器等，实时采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息；（2）采用泛在网络，包括互联网和“多网融合”；（3）具有对感知信息的智能处理与利用的能力，这是物联网最具价值的部分。

个人简介：

李子青,获湖南大学学士、国防科大硕士、英国Surrey大学博士学位。2000年辞去新加坡南洋大学终身教职，加盟微软亚洲研究院。2004年作为“百人计划”入选者来到中科院自动化所，现为模式识别国家重点实验室研究员和生物识别与安全技术研究中心主任,智能视觉物联网研发中心主任。由于在人脸识别、模式识别、计算机视觉领域的贡献，他当选为IEEE Fellow。研究领域包括统计模式识别与机器学习理论，以及生物特征识别、智能视频监控，图像处理与计算机视觉，图像与视频理解。学术研究积极活跃，发表论文200多篇，撰写编写著作8部。

作为人脸识别和智能视频监控专家，李子青主持了相关领域的多个国家科学研究项目和重大应用工程项目，在相关领域获准和申请专利10余项。在微软研发的人脸识别系统EyeCU，比尔·盖茨接受CNN采访为之讲解。与中科奥森联合研发的“AuthenMetric中科奥森”人脸识别系统和智能视频监控系统，已在包括北京奥运会、上海世博会边检通关等多个国家重大安全项目中实施并发挥作用。李子青为SAC/TC100/SC2副主任委员，代表中国国家成员体撰写了中国第一个ISO/IEC JTC1/ SC37生物识别国际标准工作草案获采纳，并在2006年会全体会议上作了“生物特征识别在中国”的主题演讲。

物联网用途广泛，遍及智能交通、环境保护、政府工作、公共安全、平安家居、智能消防、工业监测、环境监测、老人护理、个人健康、花卉栽培、水系监测、食品溯源、敌情侦查和情报搜集等多个领域。物联网把新一代IT技术充分运用在各行各业之中，具体地说，就是把感应器嵌入和装备到电网、铁路、桥梁、隧道、公路、建筑、供水系统、大坝等物体中，然后将“物联网”与现代互联网整合起来，实现人类社会与物理系统的整合，在这个整合网络中，存在能力超级强大的中心计算机群，能够对整合网络内的人员、机器、设备和基础设施进行实时管理和控制。在此基础上，人类便能以更加精细和动态的方式管理生产和生活，达到“智慧”状态，提高资源利用率和生产力水平，改善人与自然间的关系。人们正走向“物联网”时代，但这个过程可能需要很长时间。

下面我举几个国内物联网的典型应用案例：

（1）物联网传感器产品已率先在上海浦东国际机场防入侵系统中得到应用。

系统铺设了3万多个传感节点，覆盖了地面、栅栏和低空探测，可以防止人员的翻越、偷渡、恐怖袭击等攻击性入侵。上海世博会也与中科院无锡高新微纳传感网工程技术研发中心签下订单，购买1500万元防入侵产品。

（2）智能交通系统（ITS）

利用先进通讯、计算机、自动控制、传感器技术，实现对交通的实时控制与指挥管理。交通信息采集被认为是ITS的关键子系统，是发展ITS的基础，成为交通智能化的前提。

（3）首家高铁物联网技术应用中心在苏州投用

我国首家高铁物联网技术应用中心2010年在苏州科技城投用，该中心将为高铁物联网产业发展提供科技支撑。刷卡购票、手机购票、电话购票等新技术的集成使用让旅客可以摆脱拥挤的车站购票；与地铁类似的检票方式，可实现持有不同票据旅客的快速通行。该中心研发了目前世界上最大的票务系统，每年可处理30亿人次，而目前全球在用系统的最大极限是5亿人次。

（4）国家电网首座220千伏智能变电站

2011年，国家电网首座220千伏智能变电站——无锡市惠山区西泾变电站投入运行，并通过物联网技术建立传感测控网络，实现了真正意义上的“无人值守和巡检”。设计和建设水平全国领先。

■《自动化博览》：智能视觉物联网是人脸识别技术在物联网时代的应用，可以为我们介绍一下什么是智能视觉物联网吗？

李子青：智能视觉物联网，简称“视联网”，是由智能视频监控和联网报警系统组成的物联网。它的定义是：通过视觉传感标签、射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物体与互联网相连接，进行信息交换和通信，以实现对物体的智能化识别、定位、跟踪、监控和管理的一种网络。智能视觉物联网是物联网的升级版本，由智能视觉传感器、智能视觉信息传输、智能视觉信息处理和针对人车物三大类目标的物联网应用四部分构成。它利用各类图像传感器，包括监控摄像机、手机、数码相机，获取人、车、物图像或视频，采用图像视频模式识别技术对视觉信息进行处理， 提取视觉环境中人、车、物视觉标签，并通过网络传输与视觉标签应用系统连接，提供便捷的监控、检索、管理与控制。

通过公共场所管理、智能楼宇、交通管制、学校、监狱、金融、社区、个人视频设备等终端用户搭建起“智能视觉物联网”，能够实现对资源的统一监控、管理和调度，因此智能视觉物联网具有广泛的应用前景。

■《自动化博览》：智能视觉物联网的核心技术是什么？

李子青：智能视觉物联网的一个重要核心技术就是智能视觉标签系统。我们知道RFID有RFID的标签，什么是视觉标签呢？就是对图象和视频当中的内容进行识别、理解和分类。最重要的就是对人车物贴视觉标签，这个标签包含各种各样的物件的属性，包括它的名称、它的ID，它的颜色，它的身份，它的发生的地点等。我们要利用视觉理解或者图象处理与计算机视觉的技术手段完成实现这样一些功能。视觉标签与RFID标签的区别是什么呢？利用视觉标签可以在更远距离对物体进行识别，这是视觉标签和RFID标签之间最显著的区别，打破了距离和范围的限制，并且在多个物体同时出现的时候不会出现混淆，因为每个物体应该有一个唯一标签。这个标签是比较虚拟化的标签，它会把这些标签，我们对这些物体，对人车物提取标签之后，会把信息存储到数据库。

智能视觉物联网的另一个重要核心技术就是智能视觉信息挖掘。我们可以把人车物视觉标签综合起来，拓展到其他领域。这个架构其实就是上文提到的四层架构，即传感层、传输层、信息处理层、综合应用层。只有把网络力量实现起来之后，才能体现出这个网的价值，视觉标签分析或者视觉标签的提取，如果只是单路的话，它的作用是比较有限的。如何把这个在大范围内实现出综合视觉标签内容的挖掘与关联呢？一个例子就是流动人群行踪挖掘，这个也是从公共安全实际应用中提出来的。假设我们有很多摄像头在各个地点部署，每一个摄像头都对流动人群进行视觉标签提取，识别他的身份，这些摄象头分析的视觉标签信息送到一个中央服务器，我们可以把在不同时间、地点和跨摄像机提取出来的人物从这个数据库当中进行关联和挖掘，从而分析出流动人群的行踪，这样就更能体现视觉物联网的价值。

■《自动化博览》：智能视觉物联网的特点有哪些？主要应用在哪些领域？可否为我们介绍1、2个智能视觉物联网的实际应用案例？

李子青：智能视觉物联网包含视觉传感器+传输+智能分析三个部分。主要特点是：

（1）多种视觉信息获取设备——智能视觉物联网必须支持多种视觉传感和图像设备。这些包括图像、视频文件；移动设备，如手机、数码相机；固定设备，如网路摄像头、监控摄像机。智能视觉物联网这些图像视频终端设备作为结点，采集环境中物体、目标信息。

（2）视觉信息获取与传输——智能视觉物联网的数据传输必须兼容各种主流网络介质，以“多网合一”、有线和无线的方式进行视觉信息传输， 如“三网融合”。三网融合是指电信网、广播电视网、互联网在向宽带通信网、数字电视网、下一代互联网演进过程中，三大网络通过技术改造，其技术功能趋于一致，业务范围趋于相同，网络互联互通、资源共享，能为用户提供语音、数据和广播电视等多种服务。

图1 “三网合一”人脸识别架构

（3）智能视觉标签系统——作为智能视觉物联网信息处理的核心部分，对视觉感知范围的人、车或其他物件、对目标标签物体的身份及其实时状态进行智能分析，对其进行“贴标签”处理，并辅以标签属性包括名称、ID、属性、地点、运动状态、行为等（如图2所示）。与RFID物理标签相比，智能视觉标签系统的特点是：（a）通过无源方式提供标签信息；（b）属于虚拟表现性质；（c）打破距离限制，可以远距离获取。

图2 对目标标签物体进行贴标签处理

（4）智能视觉信息挖掘——作为智能视觉物联网的更高级部分，对所覆盖大范围中的目标视觉标签进行关联，识别挖掘各目标的运动轨迹，并分析其行为。智能视觉标签系统与智能视觉信息挖掘, 作为视觉信息处理的两个重要构件，是智能视觉物联网最核心的部分，也是其未来的发展重点。

图3 视觉标签特点显示

从应用的角度来讲，我们可以根据标签的属性对视觉物联网的应用进行分类，比如面向人的视觉标签系统，最典型的应用就是人脸识别或者是人口管理、身份管理。面向车的视觉标签系统的应用就是智能交通，如识别车牌、车型、车的速度以及是否违反交通规则。对其他物件标签的应用就应用更广了，比如我们超市每一个物件都会有一个标签。所以，其应用会包括身份识别、门禁系统、社保身份识别、银行帐户管理、电子商务、网络购物等。智能交通就是交通指挥、车辆违章检测，路口信息监测等，还有其他物件标签，比如在博物馆会用一些监控摄像头对展品进行监控。关于视觉标签的信息挖掘，目前的核心技术已经用到了北京奥运、上海世博，用到了边检通关，包括深圳和珠海和北京T3航站楼，大家出入境的时候可以看到两边有这样一个闸机。另外，北京天安门从去年国庆节开始也实施对流动人群进行监控。

为积极探索人像识别比对技术支撑、服务公安实战的有效手段和方法，李子青团队就大规模人脸数据库比对技术与无锡市公安局进行合作研发，根据实地调研确定了七个实战应用场景：网上追逃、嫌疑人身份识别和排查、暂住人口身份确认、二代证重证管理、公交查报站系统整合、重点区域对涉恐涉稳等特定人员的预警、模糊图像还原。

目前，团队与无锡市公安局共同承担的江苏省科技支撑计划海量视频综合利用技术集成与示范应用项目，本项目基于核心技术研发的人脸识别和视频分析相关系统在无锡公安应用示范中取得了显著成效并获得推广。例如：

（1）人脸识别综合应用平台：为用户提供用户登陆、工作提醒、人像照片检索、人像比对、图像工具、系统工具、讨论区等综合应用工具。目前该平台已正式上线，向全警开放使用。

（2）标准人像采集比对系统：该系统具有现场人像图片采集、图片质量评估和人脸比对的完整功能，能及时、准确、迅速的比对出重点人员，对刑侦破案和监控管理提供了便利。目前已部署在崇安寺派出所、广义派出所、无锡市监管支队、看守所、拘留所等试点。

（3）视频侦查系统：该系统能兼容公安行业10余种视频格式，视频处理速度快，目标分类准确率高，且具有影像分析功能，能处理光照过暗、尘雾天气等特殊场景。目前该系统在惠山分局、滨湖分局示范应用。

■《自动化博览》：智能视觉物联网在国内的应用情况如何？面临哪些问题？该如何解决？

李子青：目前在国内，厂商多数实力有限，规模较小，研发能力不强，用户虽然有智能视频监控方面的需求，但具体需求并未完全清晰。因此，可以说目前的智能视觉物联网市场是希望很大，困难不少。

目前，智能视觉物联网发展各方面问题都有待研究解决。

（1）智能视觉物联网的发展网络框架及标准体系不够完善

应尽快制定智能视觉物联网相关的框架标准体系，坚持国际标准和国内标准同步，统一技术和接口的标准，明确智能视觉物联网的涵盖范畴和定位，出台智能视觉物联网关键的发展技术和相关产业的配套扶持政策，统一技术标准和相关的评价体系，构建统一的运营平台，形成规模化、标准化经济。

（2）智能视觉物联网产业链尚未完善

目前，国内物联网产业链还并不完善，在体制方面还有很多工作要做，如加强广电、电信、交通等行业主管部门的合作，共同推动信息化、智能化的交通系统的建立。加快电信网、广电网、互联网的三网融合进程等。产业链的合作需要兼顾各方面的利益，而在各方利益机制及商业模式尚未成型的背景下，物联网普及仍相当漫长。

（3）智能视觉物联网的关键性技术不够成熟

智能视觉物联网技术在中国的推广较晚，技术研发和市场推广都存在明显的不足。大多数生产和推广视频监控产品的企业，其业务仍然停留在非智能范畴，比如普通的网络视频监控、分布式视频监控等。随着人们公共安全意识和对先进的视频监控认识的提高，国内市场上也逐渐出现了对智能视频监控的需求，己经有公司开始这一领域的研究，但是，由于自主研发能力的限制，目前都只是采用引进国外成熟技术的形式，联合推出面向于中国市场的相关产品。比如汉王科技公司，与以色列的Mate公司合作推出了基于多种行为(如越界、徘徊、遗留、消失、定向运动等)的视频检测嵌入式产品。除了各公司推出商用的视觉监控系统外，国内外一些大学和科研院所也在踊跃参与智能视频监控方法的研究，成果主要体现在学术论文和算法开发，具体的课题包括背景建模、目标分类、目标跟踪以及视频内容分析等。但是以上智能视频监控系统，对于多摄像机、大范围海量监控视频的针对性不足，无法有效用于海量大范围场景的视频监控和深度挖掘。

运营商应建立开放式产业链，完善和继续投资3G网络，深化对智能视觉物联网技术的研究开发。

（4）智能视觉物联网相应的法律法规制度有待进一步制定和确认

应通过专业人士与专业机构对智能视觉物联网进行研究，全面考虑纵向的深化与横向涉及的其他各行业，制定出相应的、行之有效的法律，为物联网的深化发展提供保障和指导。

■《自动化博览》：您如何看待智能视觉物联网在未来的发展前景？

李子青：网络摄像机未来势必朝着高清、智能与更好的网络性能方向发展，所对应的就是百万高清、高压缩比，以及集成的智能视频分析与识别功能。2010年高清网络摄像机平均每月出货量超过1万余台，全年出货总量将超过20万台，与2009年相比增长超过 200%，占网络摄像机的比例约为34%。在高清网络摄像机中，百万像素占56%，200万像素占37%，300万像素或以上占7%。这也带来了数据量的巨大增长。

根据政府、公安部门要求，当前摄像头所采集的监控视频数据至少需要保存30天以上，故其产生的海量视频数据是非常惊人的：如某监控场所需要8路视频监控系统进行7×24小时不间断的监控，数据按3个月即可覆盖来算，其需要的存储空间大致为3.4TB，这么庞大的一个数据量只是监控一个场所产生的，如果全国的工程完成，那么至少3000万个摄像头所产生的视频文件，将达到上千万个TB，并会因归档的需求而不断增加下去。

在《国家中长期科学和技术发展规划纲要（2006-2020年）》已明确指出智能信息处理是信息产业这一重点领域中的研究重点。传统单纯的视频监控系统存在诸多问题，大量的视频监控信息陈旧，缺乏有效利用方法。智能视频分析基础技术性能亟待提升与改善。因此，应围绕智能信息处理，以突破视频监控的智能感知技术和加强海量数据处理能力为目标，以先进智能视频分析技术为重点，加强安防智能识别软件开发，重点研究海量视频下的智能化视频分析和数据处理技术。

智能监控市场目前还处于市场萌芽期，潜在市场空间巨大。政府和企业都存在充分的消费意愿。政府需要加强治安管理，提高监控能力，强化对群体性事件和突发性事件的应对措施，保持社会稳定。企业需要加强内部安全防范，而且企业在管理、业务上对智能监控的需求也正在开始增多。这些需求都蕴藏着巨大的商机，值得智能监控厂商深度挖掘与开发。随着“平安城市”建设等重大工程的顺利推进及商业、民用需求的不断增长，未来国内智能监控市场将持续升温，并不断创造出新的市场机会及应用价值，智能视频监控产业的美好前景值得期待。