叶海燕
(巢湖学院信息工程学院,安徽 巢湖 238024)
物联网在许多领域为人类生活提供便利,包括医疗保健、自动化、交通以及对人为和自然灾害的应急响应[1]。它可以通过整合嵌入式设备、通信技术、传感器网络、互联网协议彻底改变人类生活[2]。大多数国家已经确定了实施物联网的长期国家战略。例如,日本的宽带接入促进了人与物之间、物与物之间的通信[3]。到2050 年,世界70%的人口将居住在城市及城郊。面对如此庞大的人口数量,数十亿台设备的相互通信,将产生压倒性的大数据。因此,在根据用户需求和选择分析数据时,城市将变得更加智能[4]。无线传感器网络(WSN)及其相关技术完美地统一到城市基础设施中,嵌入式设备的普及产生的大量信息将在各种平台和应用程序之间共享,通过对大数据进行分析可以预测规划城市的发展[5]。本研究提出了一个4 层架构来开发智慧交通城市并使用基于物联网的大数据分析进行城市规划。该架构能够分析从城市智能系统的各种来源生成的大量物联网数据集,并使用所提出的系统做出决策。
在实际项目案例中,大数据算法中应用最广的是线性回归分析,与非线性回归模型相比,线性回归的未知参数更容易拟合,其估计结果也更容易统计,它的主要原理如下所示。
线性回归模型hθ(x)和自变量X、观测标签数据Y,在数据集D里,假设hθ(x)与X之间具有线性关系,并对两者之间关系进行建模如下:
线性理论的主要应用场景一是不同类别的判断;二是多种冗余数据的辨别,其预测的功能是因变量hθ,与自变量X进行拟合,然后通过自变量X来预测因变量hθ,对于冗余数据的判断在于,线性模型分析变量之间的关系强度,哪些自变量和因变量的关系较弱,然后将这些弱变量进行剔除。求解目标为已知一些数据的特征和标签,计算其中的参数θ,将数据的拟合误差减小到最小,其采用最小平方差进行表示,m为数据中的条目,目标函数如下:
采用最小二乘法求解该目标函数:
在实际的应用案例中,线性回归容易拟合的优点一直得到广泛的应用,如广义的线性模型,多项回归和层次线性模型。
根据现有智能交通系统物理框架,结合大数据,参照物联网已有体系结构进行系统构建,图1为构建的基于物联网大数据的城市智能交通系统物理框架。
图1 基于物联网大数据的城市智能交通系统物理框架
基于物联网大数据的城市智能交通系统物理框架分为终端层、物联网平台层、智能应用层3 层。其特点包括:终端层由交通系统用户主体构成;物联网平台层分为前端信息采集、处理及网络传输两阶段;物联网平台层有支撑平台,包括各类中间件、基础资源平台、CTI(Computer Telecommunication Integration)平台、通信服务平台;基础资源平台包含基础信息数据库、空间地理数据库、业务数据库;智能应用层包含智能交通系统各子系统,通过分析处理感知数据,为智能交通用户提供服务。各子系统依靠物联网提供的数据进行传递、远程服务功能;根据终端数据特点进行处理、决策,实现终端控制。
2.2.1 数据的采集融合处理功能
数据融合属于一种信息处理过程,是按照一定规则将多种数据分析、决策、综合、评估的过程[6]。因交通信息数据量大、数据种类丰富,数据融合使交通信息加工、处理相对容易,决策能力提高。交通监测系统与信息采集系统负责交通状态数据的采集,包括占有率、车速、交通量等,由传感器采集地理信息数据后录入,在经物联网平台的处理融合后,这些原始数据构成交通状态基础数据。
2.2.2 共享数据的组织管理和数据挖掘功能
因智能交通系统各子系统对数据要求存在差异,且数据量庞大,因此需建立数据库进行数据分类、统计、备份等。交通规划支持系统需历史数据支持,交通诱导系统需实时数据支持。当需要从多个数据库进行数据调用时,须进行数据库合理组织和管理,比如物联网需要数据仓库和数据挖掘技术,实现对各种海量数据的分析、组织和管理,实现高层次分析、决策。随着时间累积,交通基础信息原始数据日渐增多,这些数据满足交通管理、单纯交通诱导及控制子系统,可从大量交通数据中进行有价值的、潜在的信息提取,从而得到某一方面交通发展规律,为智能交通系统更好地服务。
2.2.3 提供信息服务并实现数据共享功能
智能交通系统功能是在城市交通物联网平台大量数据基础上实现的。城市交通物联网平台须满足智能交通系统各子系统对数据的要求,提供各种功能服务,数据共享基于提供的数据服务通道得到实现。为向智能交通系统各层次用户主体提供信息服务、辅助决策,提出决策性问题解决方案。
图2为物联网平台下交通管理与规划子系统逻辑数据流图,其中虚线箭头为新增的数据流,在逻辑框架中,新增用户服务通过这些数据流体现。
图2 物联网平台下交通管理与规划子系统逻辑数据流图
图3 实施模型
通过与外部子系统信息交换,该子系统对道路交通进行管理。交通管理分为城市间、城市内交通管理。通过交通可变情报板、外子系统等信息交换途径,给紧急事件管理子系统、第三方消息提供者、出行者等提供事件信息。与相邻道路交通管理系统进行信息交换,协调相邻地区交通控制策略,从而提高道路通行能力。对于整个智能交通系统体系结构而言,系统可为其提供数据分析、存档功能。从其他中心子系统进行当前数据、历史数据、预测交通信息的收集,用来对当前交通系统性能进行分析、评价,并对将来的运输系统进行规划和改进。在电子收费区域内,能对驾驶车辆超速、其他违规事件进行检测,并识别、检测及进行图像捕捉。系统实时监控各种交通行为,进行违规事件检测、确认、处罚,并对违规车辆、违规驾驶行为及时通告。
为了解系统的重要性,并对系统进行可行性研究。对各种物联网数据集进行详细分析,通过说明系统如何使用相同的物联网生成用于实时决策的数据[9],并对历史数据进行在线分析来进行城市规划,从而使城市更智能。
通过从各种可靠的资源中获取大型物联网生成的数据集。数据集包括:车辆数据集,停车位数据集,包括停车区车辆数量;污染数据集,例如各种气体和噪声污染;社交媒体数据集;天气数据集,包括室内外连续测量温度、湿度、降雨等[7]。本文调研了国内某地区车辆移动性数据集,停车场数据集涵盖了8个停车场的使用情况的连续监测。污染数据集和车辆数据集是通过将传感器同时放置在同一位置以发现交通对环境的影响而生成的。通过将出发地和目的地的传感器放置在不同位置,估计两点之间的交通,其中包含有关两点间车辆平均速度、平均速度和到达第二点的时间的各种信息并生成车辆数据[8]。
智慧城市发展的主要挑战是分析实时数据并采取紧急行动[9]。它可以帮助公民选择高效路线等方式节省燃料,减轻城市的环境污染。在图4中,分析不同道路上的交通强度,通过车辆和车速之间的关系,系统可以设计道路以更好地管理车辆。通过折线图可知,当车辆数量较多时,车速会降低。因此,图4 中的统计数据可用于在规划未来时设计车辆强度高的宽路。
图4 两点之间交通强度高时车辆的速度
在图5 中,通过测试不同持续时间下道路上车辆的强度。例如,从图表中看到08:25 和11:55 的车辆的数量非常多。因此,设计一个高效的道路系统,可以在高峰时段动态改变路线。还可将传感器安装在不同位置,当发生事故和拥堵时与车辆进行通信。
图5 一天中不同时间出发地和目的地之间的车辆数量
从上述基于物联网的网络流量分析,可以预测从一点到达另一个点的时间。智慧城市可以实时分析车辆交通数据,并根据当前交通强度选择最优路线,从而减少到达目的地所需的时间。当交通强度变高或道路因事故等原因阻塞时,智慧城市的交通管理不仅可以帮助人们节省燃料,还可以确保安全,避免单点产生大量的交通污染[10]。
对物联网的救援方案出现的问题,物联网下子系统救援方案可对其进行很好地解决[11]。在救援方案中,物联网下子系统使用用户服务包括提供多方式进行所需规划的信息,及时准确处理规划信息,最优策略通过协作产生,交通信号自适应控制,协调与控制路网流量,提前预防各类事件、主动检测响应各类事件等。在事件救援、预防、路径诱导等方面,救援方案具有一定的优势。
图6 为交通信息采集模块图,物联网下的子系统信息采集功能比较完善。在交通信息采集模块中,底层城市交通系统涉及地感线圈、红外、视频等传感系统,时刻感知外界交通环境变化;中间层为数据采集网关、中间件、通信服务平台、数据库,负责服务代理、数据提供,是传感系统采集数据被上层应用系统利用的桥梁;最上层是规划子系统、交通管理的部分,可利用平台提供数据完成一定的功能。物联网下的道路两侧有多种信息采集设备,包括红外感应、RFID阅读器,还有检测路面、天气状况等的传感器。在交通管理中心,通过传感设备收集路况信息,这些信息经数据分析,可对该路段发送相关提示信息,从而使该路段驾驶员提高警惕,采取相应措施,降低事故发生概率。
图6 交通信息采集模块图
物联网下的路口或路段还包括红外、雷达、GPS、RFID 等传感器,主要进行感知路段和路网内交通量、车速、拥堵状况等交通信息的收集。交通管理中心通过分析这些数据,对已发交通事故进行判定,并向交通指挥中心报警。多方位检测事故地点附近视频检测设备,以供指挥中心对事故地点、类型、伤亡程度等信息进行确认。GPS 定位系统可给相关部门传送车辆精确位置信息。车辆自身带有传感器,在有碰撞发生时,车辆会向路边信息进行节点采集,并进行报警信号的发送,由信息采集节点给指挥中心发送。
在事故确定后,须出动救护车、警车等紧急车辆,指挥中心须做出联动处理方案。如给紧急车辆发送事故相关信息,为紧急车辆选择多条或一条能到达事故地点最优路径,对事故周边路网、发生路段实施车辆诱导等。
通过对各路段车速、交通量、拥堵情况等交通信息分析,指挥中心迅速得出紧急车辆通过该路径的时间,可对最优路径进行确定。信息采集设备分析、加工、融合采集的大量数据后,进行数据库分类管理,这些信息是交通状态基础数据。物联网平台利用数据挖掘技术、数据仓库,可提取大量有价值的、潜在的交通信息,得到交通事故发生的该路段路网交通量、车速等变化规律,为最优路径选择提供准确参考。
图7 为最优路径选择,救护车从C 处到事故地点A 处,有多条路径,如C-1-6-8-9-10-A 和C-1-4-5-7-10-A 等路径。救护车发出出动命令后,指挥中心选择最优路径,根据路径上信息采集设备得到每一条路径拥堵情况,并计算出救护车通过此路径的时间,从而将由C-A的最优路径判定出来。
图7 最优路径选择
基于收集到的数据集,该系统是使用Hadoop单节点和开发的3.2GHz×4 个处理器和4GB 内存以及Hadoop-pcap-lib 和Hadoop-pcap-scr-de 库处理。这些流量数据然后被转换成序列文件,以便能够使用Hadoop 处理它们。城市规划系统的实施分为物理、中层和上层3 个层次,物理层称为存储层,基于Hadoop HTFS 系统。所有历史数据都存储在物理层,每个数据集在图中都有一个编号。中间层是第二层,也称为加工层,所有处理都在此级别使用存储在物理级别上的数据执行,在这个层次上,进行统计、计算、图形分析和其他计算。第三级是上层,也称为决策层,关于城市规划的决定是在这个层面上做出的。决策层为每种类型的规划提供各种模块,例如道路规划和建筑规划。
所提出的算法是在具有3.2GHz 处理器和4GB内存的UBUNTU机器上使用Hadoop单节点设置实现的。对于实时流量,使用Wireshark 库生成Pcap数据包,并使用其他系统重新传输它们以开发我们的系统。Hadoop-pcap-lib、Hadoop-pcap-serde和Hadoop Pcap 输入库用于网络数据包处理和在收集聚合单元生成Hadoop 可读,以便Spark 可以处理数据。因为该系统基于大数据分析,它是根据效率和响应时间进行评估的。考虑到处理时间(以毫秒为单位)和吞吐量(Mbps),针对各种大小的数据集测量系统性能。处理时间结果如图8所示。从图中可以明显看出,当数据量增加时,处理时间也成比例增加,因为数据量和处理时间成正比。但是,检查在更高更大数据集上的处理,即5345MB;这个数据集的处理时间是300000毫秒,远远优于其他系统。
图8 各种规模的车辆数据集的处理时间
智慧交通城市能方便市民出行,也可以帮助政府作出科学有效的交通决策。本文通过使用物联网生成的大数据分析提出了一个智能交通城市规划系统。
1.设计交通管理与规划子系统,新增用户服务领域,确定新增的子服务与数据流对应关系,对子系统整体进行功能描述,设计得到物联网下子系统。
2.通过分析基于物联网的智慧城市数据集,包括车载网络、智能停车、天气、污染、监控等,可以开发智慧城市并作出城市规划决策。
3.对子系统进行技术实例分析。假设某市区发生一起交通事故,从交通事件提前预防、检测、报警方式、联动处理、路径诱导、交通量调节等方面分析了基于物联网救援方案的过程。根据路径上信息采集设备得到每一条路径拥堵情况,并计算出救护车通过此路径的时间。