车联网的大数据访问和应用方法研究

近年来，由于计算机技术的发展，车辆已成为移动传感器平台，车联网技术也取得了巨大进步。联网车辆（CV）能够远程连接并与周围环境通信。此连接不仅限于其他车辆（车辆到车辆通信），还包括与基础设施（车辆到基础设施和基础设施到车辆）或与其他设备通信如手机的通信。联网车辆从各种嵌入式传感器收集大量数据。这些数据对汽车制造商和车主来说具有很大的价值。CV从其组件上部署的各种传感器收集的大量数据。每辆车能够通过部署在其所有部件（即发动机、内部和外部）中的多个传感器收集多达170个信息。传输数据包含范围广泛的信息，范围从车辆识别号（VIN）到通过发动机每分钟转数（RPM）的当前GPS坐标、车辆速度、外部温度等。这些捕获的数据对于道路安全、环保驾驶、交通规则、环境监测等均具有实际意义。

大数据是指由于其特性而需要新处理技术的大型复杂数据集。大数据是大批量、高速度或高变量的信息资产，需要具有成本效益的创新形式的信息处理，以增强洞察力、决策制定和流程自动化。

目前车联网的大数据访问和处理应用方法有很多种，下面着重介绍一下最新的几种方法。

1 通过CV数据反馈进行标准化架构设计[1]

1.1 主要目的和主要原理

主要研究了标致雪铁龙集团（PSA）部署的大数据架构（文中Figure 1.）以及每个组件中使用的底层技术和产品，主要目的是通过提供PSA集团关于利用联网数据的反馈来尝试标准化架构设计。

提出了一种基于速度、批量和服务的架构。该架构使用了几种类型的远程信息处理服务单元（例如自动远程信息箱（ATB），批准的售后市场箱等）。每个单元都有特殊应用，有些单元设计用于广泛监控，以非常高的频率发送大量数据，而其他单元则用于车队管理等。同时，为了简化的架构，将组件呈现为功能层。包括设备和服务管理层、前端层、信息层、速度层、批处理层、服务层。

列举了在PSA集团平台上部署的两个生产服务：

第一个生产服务，每个CV将捕获的外部温度发送到基础设施，标记有其当前位置。然后，后者负责关联接收的数据，以便不断更新地图为国家气象局要求提供天气温度数据，用于气象预报，旨在提供全国气温的实时概况。目标是尽可能精确地获得国家天气温度的更新地图，包括地区和部门。

Figure 1.PSA Group services

第二个生产服务：该服务分析驾驶风格并将其与环境和其他人的驾驶相关联，以便给出记录并建议改进驾驶。此服务由两个操作组成：基于历史数据生成模型的批处理作业和使用该模型（由批处理作业生成）评估驱动样式的流应用程序。由于历史处理和流式应用程序的在线结果，批处理作业和流式处理作业的这种组合可以获得准确的评估。该服务不仅减少了二氧化碳排放和燃料消耗，还可以通过优化车辆使用来延长车辆部件的生命周期。

1.2 结论及存在的问题

PSA集团的大数据架构通过突出显示每个部分中选择的技术与产品进行深入审查。然而，这种架构是单向的，并且对于诸如车辆管理或安全应用之类的一些需求，我们还希望向车辆本身发送信息。目前，我们正在使用MQTT开发汽车到汽车架构。通常，CV会发布他们的数据并订阅主题，这将简化基础设施和车辆之间的互动。另一项改进是使用Apache Spark进行处理和分析，以提高批处理的性能。

2 基于空间索引的方法[2]

2.1 主要目的和主要原理

主要目的是解决处理和存储大数据时汽车信息的在线数据处理问题。更准确地说，专注于数据融合的性能，以支持数百万联网车辆。为了应对这一性能挑战，提出了基于空间索引的新方法，以加速汽车的应用。

为了评估所研究方法的有效性，在流处理引擎的实例中实现了它们，该实例部署在由64个vCPU组成的测试节点上，频率为2.4 Ghz，RAM为40 GB。对温度用例的测试，重新注入存储的联网车辆的数据以获得真实的坐标分布。构建了以下场景：每个联网车辆每秒发送一帧。联网车辆的数量逐渐增加（即，增加数据速率），并且测量了流平台的相应处理时间。该方法可以处理的并发联网车辆的数量由一秒内处理的事件的数量来定义。为了满足实时要求，整个处理时间必须保持在一秒以下，否则会发生流链中的拥塞。

通过环境监测的实际用例（即温度监测）说明了数据融合的问题。为了加速数据融合的过程，探索了4种方法，彻底的方法、两步法、分解方法、GeoHash法。使用流计算引擎实现和验证了所提出的每个方法(见文中 Fig 16.和 Fig 19.)。

2.2 结论及未来的工作

在这项研究中，通过环境监测的实际用例（即温度监测）说明了数据融合的问题。为了加速数据融合的过程，已经探索了几种方法。已经使用流计算引擎（即，IBM Streams）实现和验证了所提出的每个方法。最后一种基于GeoHash索引的方法，与其他方法相比，大大优化了查询时间。

对于未来的工作，将在其他服务中实施和评估GeoHash方法，确切地说是在云架构上的车辆到车辆通信中。在这些服务中，研究基于其地理位置向车辆发送信息（例如，警报，广告）。

3 建立大数据流处理系统[3]

3.1 主要目的和主要原理

Fig.1 Proposed real-time video processing architecture

为做出实时决策的同时有效处理大数据，本文提出了一种高效、实时的大数据处理系统（文中Fig.1），包括其体系结构和实现模型，它集成了Hadoop的高级处理技术，用于并行和分布式处理，Apache Spark用于实现实时环境，GPU用于快速高效处理。

将Hadoop生态系统的并行和分布式环境与图形处理单元（GPU）和Spark集成，使其在处理方面更加强大和实时。还提出了MapReduce等效算法，通过将整个大数据文件划分为固定大小的块，使用GPU进行参数计算的高效数据处理。Apache Spark流用于从远程位置捕获实时数据，并使用HDFS在各种Ha⁃doop数据节点之间分发。Apache Spark引擎用于实时处理捕获的数据。每个数据节点都配备有GPU和相应的算法，以使用迭代指令执行处理，并使用中间模块将结果返回给Spark引擎。通过拍摄城市交通视频来评估方法，即通过静态和运行车辆的摄像头捕获，识别道路上的车辆并采用大型基于文本的文件，通过考虑系统关于处理的效率方面来执行评估，最后，获取系统的吞吐量（每秒处理的帧数），该吞吐量是通过将视频帧的总数除以处理整个视频所花费的总时间来测量的。

3.2 结论

通过拍摄城市交通视频来评估方法，即通过静态和运行车辆的摄像头捕获，识别道路上的车辆并采用大型基于文本的文件，如Twitter数据文件，机器学习分类数据等，最后在考虑各个方面的处理时间和吞吐量的同时，评估了所提出的效率系统。与传统的基于独立CPU的MapReduce相比，所提出的系统被证明更有效。

4 开发基于物联网和CAN总线的系统架构和实际模块[4]

4.1 主要目的和主要原理

智能联网汽车的基本概念是连通性，这种连接可以通过三个方面提供，例如车辆到车辆（V2V），车辆到基础设施（V2I）和车辆到一切（V2X）。为了满足V2V和V2I连接的各个方面，我们根据车载诊断II（OBDII）和4G长期演进（4G-LTE）的国际标准开发了模块，以获取和传输车辆信息。还开发了软件来可视化检查模块提供的信息。然后，分析与发送到基于云的分布式文件系统（DFS）的用户驾驶相关的信息，以进行大数据分析，以向用户提供关于驾驶习惯的信息。专注于根据大数据分析提出系统架构和设计的概念。因此，这项研究通过这项工作做出的贡献如下：

（1）开发基于控制器局域网（CAN）总线，OBDII和4G-LTE的模块;

（2）开发软件以检查PC上的车辆信息;

（3）实施与车辆诊断代码相关的数据库;

（4）提出大数据分析的系统架构和设计。

由于大多数现代车辆由大量通过CAN总线进行通信的电子传感器组成。因此，提出了基于物联网和CAN总线的系统架构和实际模块开发，如文中Figure 5所示。

Figure 5.The overall system architecture.

开发了三个主要组件：

第一个组件是CAN总线模块，通过该模块可以获得主要与动力系相关的车辆信息，这些信息就可以通过蓝牙传输到移动设备，并由PC上的软件检查。

第二个组件是数据传输模块。该数据传输模块基于4G-LTE开发。数据传输前往两个目标，例如移动设备和服务器，但其主要目的地是服务器。

第三个主要组件是针对两件事的移动应用程序：

（1）通过与服务器交互来检查车辆故障代码;

（2）通过无线通信将获得的信息发送到基于云的DFS。

注：

2 CH:2 Channel;

CAN I/F:CAN Interface;

RPM:Revolution Per Minute;

UART:Universal Asynchronous Receiver/Transmitter

4.2 结论与展望

世界各国政府和汽车制造商正在积极寻求V2V，V2I和V2X连接的创新技术，实现这种连接的基础技术是物联网。这种新的技术范例促使我们探索车联网的新技术。在本研究中，成功开发了基于CAN总线和4G-LTE的实际模块，以获取和传输车辆动力总成信息。模块获得的信息也由我们开发的软件进行目视检查。然而，虽然我们为车辆诊断和驾驶信息实现了基于结构化查询语言（SQL）的关系数据库，但由于与NoSQL的特性冲突，实现的数据库需要进行修改。未来将研究如何成功的基于云的DFS实施以及大数据分析。

5 建立车联网大数据聚合的整体架构[5]

5.1 主要目的和主要原理

尽管在许多最新的汽车模型中引入了连接服务，但由于其专有性质，目前对车辆数据的访问受到限制。因此，欧洲项目AutoMat开发了一个开放市场，为品牌独立的车辆数据提供单一访问点。因此，可以利用车辆传感器数据来设计和实现全新的服务，甚至超出与交通相关的应用（例如超本地流量预测）。本研究介绍了车辆大数据市场的架构(文中图2)，作为跨部门和创新车辆数据服务的推动者。因此，新颖的通用车辆信息模型（CVIM）被定义为开放和协调的数据模型，允许品牌独立和通用数据集的聚合。在这项工作中，实现了原型CVIM和Marketplace。介绍了本地天气预报和道路质量测量的两个用例，以显示AutoMat概念和原型在非汽车应用中的适用性。

第一个用例，本地天气预报。从具有高空间分辨率的观测网络提供气象数据仍然是天气预报的挑战。作为成本效益折衷方案，观测站之间的站点距离通常为数公里。作为移动传感器的车辆关闭了这些站之间的间隙。除温度外，车辆还提供湿度、露点、雾和雨的检测以及其他一些信息。因此，富含车辆大数据的经典天气模型将导致更准确和更区域的天气预报。

第二个用例，道路质量。监测道路质量是道路维护的一个重要方面。损害和坑洼会对道路交通安全产生负面影响。此外，降低了驾驶舒适性并且更高的滚动阻力导致更高的排放。通过车辆传感器数据的可用性，可以显著提高道路检测的精度。除加速度，悬架高度，行走机构信号和其他车辆属性外，还可以进行更深入的分析。通过大量车辆，可以增加测量的重要性并且可以更准确地检测损坏或坑洼。

5.2 结论

研究提出了一种用于车辆大数据聚合的整体架构的概念。所提出的系统使服务和应用程序的提供者能够通过单一访问点访问车辆数据。市场处理车辆累积和与车主的合同处理，同时保护所有数据利益相关者的隐私权。建议的统一数据格式CVIM解决了协调专有和品牌相关传感器数据和信息的任务。CVIM允许以时间序列和（基于地理的）直方图的形式提供不同级别的质量以及不同的数据聚合类型。如天气预报和道路质量监测的示例所示，所提出的AutoMat平台能够为创新和跨部门应用和服务利用车辆大数据。