基于数据挖掘的汽车远程升级数据系统研究

胡昌国，王 剑，蔡凯凯，宋晓飞

基于数据挖掘的汽车远程升级数据系统研究

胡昌国，王 剑，蔡凯凯，宋晓飞

（浙江长三角车联网安全技术有限公司，浙江 杭州 310000）

在软件定义汽车的背景下，汽车远程无线升级（OTA）技术已经成为智能网联汽车技术改进、性能服务提升、软件销售生态构建的重要方式。基于规模化的汽车远程升级将产生千万级的海量车辆数据。通过对远程无线升级产生的车辆数据进行数据深度挖掘，同时通过大数据治理与分析，可以指导并优化车辆远程升级的设计方案与升级策略，提升企业数字化管理水平。文章基于数据挖掘技术的大数据开发模型，以Hadoop开源平台为支撑，构建汽车远程升级数据系统，实现了对车辆远程升级关键技术参数数据的颗粒化分析与管理，并进行过程风险预警。通过实例分析表明，该系统可以有效地提高车辆远程升级产生的海量数据的分析、存储与智慧化深度分析水平，实现全流程的数据监控与追溯，完成汽车远程升级的闭环管理。

汽车远程升级；海量数据；深度挖掘；数据管理系统；数据挖掘

在5G、云计算的高速发展下，加快发展智能网联汽车，打造创新发展新生态，成为汽车产业发展的新方向。在软件定义汽车的行业发展驱动下，整车和电子控制单元已经实现从线下物理方式升级到线上远程升级（Over The Air, OTA）的更新迭代。高工智能汽车研究院监测数据显示，2022年1—7月中国市场（不含进出口）乘用车前装标配车联网功能交付上险为690.65万辆，前装搭载率已经达到64.96%；其中，同时具备L2级智能驾驶、整车OTA功能占比达到18.75%，实际前装搭载率突破10%，达到12.18%。OTA技术在汽车行业，已经成为汽车技术改进、性能服务提升、软件销售的重要方式，同时也可以修复软件问题，有效降低主机厂的开发风险和召回成本[1]。在国内的研究中，李立安等[2]对OTA实现方案及汽车端设计分析进行了研究；朱鹏波等[3]对远程诊断技术在汽车OTA中刷新应用进行了研究；张倩[4]研究并提出了一种汽车行业应用的整体框架。

基于上述研究现状，目前的研究主要集中在OTA升级活动技术方案，对OTA升级活动产生的数据的研究尚未开展。数据是智能网联汽车技术创新的源泉[5]。构建数据资产，形成海量数据分析挖掘能力将会成为未来的核心竞争力。目前，在对批量车辆OTA升级活动分析时，对升级活动过程追溯及升级大数据质量分析能力薄弱，信息化、智慧化预警分析能力欠缺。进行质量管理时，缺少对OTA活动的质量评估，对升级过程中的数据关联分析性分析弱，导致升级过程中异常行为发现不及时等问题。本文针对汽车远程升级大数据应用过程中数据规模大、内容繁杂、难以快速获取有价值信息的特点，提出了一种大数据分析与应用系统，具有较好的系统功能和性能，对远程升级的数据进行了数据采集与分析，挖掘数据价值，更好地应对越来越频繁的车辆OTA升级，提升了数据价值与数字化管理水平。

1 系统开发需求分析

汽车OTA的发展与汽车网联化和智能化的推进息息相关，在OTA快速发展的大背景下，整车厂商发起的OTA活动频次和可以进行升级的零部件也逐步增多。为了实现对汽车远程升级过程中产生的千万级的数据进行有效管理与数据的深度挖掘，所开发的汽车远程升级数据管理系统具备如下基本功能：（1）实现汽车远程升级千万级车辆数据的存储。数据管理系统应能实现汽车远程升级的升级车型、升级车辆、升级零部件、升级时间、升级周期、软件升级前版本号、软件升级后版本号、升级异常记录、升级过程监控等数据的导入、存储和对分析结果的管理，确保汽车远程升级的可追溯性，形成对远程升级的生命周期管理。（2）对汽车远程升级异常数据进行监控并进行风险预警。根据升级过程中采集的升级数据，包括升级前软件版本号，升级后软件版本号，升级的安装时间，升级前的车辆判断条件，判断本次OTA升级是否处于正常范围内，同时对处于异常升级状态的车辆进行升级失败原因分析与故障采集，实现对未来OTA升级的升级状态趋势分析与方案设计优化。（3）实现汽车远程升级数据的大数据展示。统计分析数据展示模块可以提取、分析和显示数据，并以多种丰富形式、更加直观的方式，展示数据探索结果。同时设计方便、灵活的交互方式，使用户可以更高效、快捷地查看和分析多维模型数据，反哺方案设计。

2 基于数据挖掘技术的大数据开发模型

在智能网联汽车新四化的发展方向下，特别是OTA技术的发展，改变了原有车辆的开发流程，从车辆产品概念设计、销售策略、研发设计、工程开发、生产制造与售后市场，都产生了大量的无形数据。汽车远程升级所产生的数据成为了企业重要的数据资产。因此，本文针对车辆远程升级，基于数据挖掘技术，采用Hadoop等开源技术对海量基础数据、过程关键数据等进行数据采集、存储与智慧分析，数据应用开发模型详情如图1所示。

图1 基于数据挖掘的数据应用开发模型

2.1 数据采集

数据采集模块基于分析需求，通过对数据进行多源采集，实现多维度各项数据的输入。采集的数据类型主要包括远程基础信息数据、车辆状态数据以及关键过程数据。基础信息数据包括升级前的计划车型、升级计划车辆数量与计划进行升级的零部件等。车辆状态数据包括升级前车辆的当前零部件版本号、软件版本号、升级车辆的升级安装条件、车辆联网状态等。过程状态数据包括OTA发起开始安装时间、OTA安装结束时间、升级是否成功、升级前软件版本号、升级后软件版本号以及升级失败等参数。

2.2 数据存储

数据存储模块的主要功能是将数据采集模块的采集结果进行高效存储，并提高系统的容错性。大数据时代的海量数据致使传统的数据存储方法和数据库技术无法有效处理远程升级千万级的车辆数据[6]。基于此，本文构建的汽车远程升级数据系统采用Hadoop的HDFS分布式的存储架构进行多源数据的存储，同时通过在不同分布节点上的备份提高系统的容错能力。

2.3 大数据分析与管理

数据分析与管理模块，主要采用基于Hadoop平台的数据挖掘与分析。其中，数据分析工作主要包括数据特征检索与匹配和在Hive平台上调用海量数据挖掘算法并进行计算[7]。在数据分析过程中，获取大量多源数据间潜在的知识框架与知识联系，形成远程升级数据知识图谱。在数据分析中，围绕发现问题，分析问题，解决问题的模式，重点开展针对远程升级异常情况和升级失败原因的分析，形成智慧化的对问题的追溯与解决。基于分析结果，可以对大数据分析结果进行监控展示以及分析报告，并开展基于风险分析的智能预警，使得升级发起者第一时间掌握升级动态，为升级活动的平稳安全运行提供数据支撑。

2.4 数据价值应用

数据价值应用模块的主要功能是基于采集的多源数据，通过构建的分析算法，建立数据模型，进行单向及多维度的数据分析。基于数据分析结果，指导实际的远程升级的技术流程与管理流程的应用，实现基于大数据的知识服务。

构建知识图谱过程中，基于数据分析结果，可建立以某一升级失败的电子控制单元（Elect- ronic Control Unit, ECU）的升级失败记录为分析对象，判断升级失败零部件的升级前软件版本号以及升级失败后软件版本号。同时，围绕升级失败，关联升级驻车条件、网络条件、电子控制单元内存、通信协议等维度进行关联失败原因链式分析。同时，还可以在同一车型下进行相同升级软件版本的升级情况排查，为制定批次车辆版本升级策略提供依据。结合批量多批次的经验数据库基础下，形成升级失败经验分析知识图谱。同时在充分的基础数据支持下，可以形成多维度的智能分析，提高升级失败处理效率以及对OTA升级的风险预警，使OTA升级活动可控。通过知识图谱的构建，在对远程升级的数据处理、分析与管理的过程中实现对数据资产的深度挖掘，产生数据价值，对OTA升级过程及结果进行智慧化监控与追溯，促进数字化水平在企业质量管理与提升中的应用。

3 基于Hadoop的汽车远程升级数据系统开发

3.1 系统架构设计

本系统通过对接车辆云平台将车辆关键日志采集到数据仓库技术（Extract Transform Load, ETL）层，数据经过抽取、转换、清洗等处理流入到基于Hadoop构建的大数据处理技术框架进行存储与计算。数据应用层采用Web协议作为基础服务，Ngnix集群实现Web高可用的负载均衡及路由功能。用户的网络请求通过Nginx转发至应用服务器，服务器端通过SpringSecurity+ JWT进行用户鉴权，如token检查等。若检查未通过则该请求会被拒绝从而确保系统的安全性。数据存储方面，应用层产生的关系型业务数据存放至Mysql，同时采用运营支撑系统（Office of Strategic Services, OSS）提供全面的云存储安全服务，其可扩展的性能、先进的数据存储和管理功能，可以轻松管理海量非结构化数据。系统性能方面，通过对业务数据合理的分表设计及优化并结合缓存组件的使用，确保了系统的高性能。汽车远程升级数据系统架构设计如图2所示。

图2 汽车远程升级数据系统架构设计图

3.2 系统功能设计

本文中所开发的汽车远程升级数据管理系统功能设计如图3所示。系统功能设计主要包括5大模块，分别为汽车OTA运维监控模块、数据质量分析模块、升级过程追溯管理模块、统计分析模块、系统管理模块组成。

图3 汽车远程升级数据系统功能设计

1.OTA运维监控

在汽车进行远程升级过程中，通过OTA运维监控模块对远程升级活动进行状态控制，主要包括不同车型下的升级车辆状态监控、升级告警通知、运维报告以及日志分析。升级状态监控可以实时掌握升级过程的车辆数量、升级车型、车辆升级成功与否、升级用户的使用习惯等，汇总升级基本信息，实时掌握升级动态。升级告警通知，可以通过此模块，掌握升级过程中出现的异常情况，及时对升级异常进行处理。同时，系统还可采集升级过程日志，对升级过程日志进行分析，系统融合状态监控，告警通知与日志分析，形成车辆升级运维报告。

2.数据质量分析

通过对车辆远程升级的过程数据进行分析，维护车辆远程升级的不同状态及状态类型信息，批量读取各不同升级状态数据。特别是升级包版本数据，基于软件版本基线，对每次升级的软件版本进行系统自动匹配，识别升级版本异常。在数据质量分析过程中，使用描述及验证性分析方法来分析质量模式，比如过程能力评价、描述性统计、聚类分析、方差分析、相关性分析，探求不同升级场景下的数据质量分析模型。同时，在质量预警中，使用一些预测性的方法如回归模型、机器学习方法等对数据质量进行预测，形成质量策划、数据采集、预测性分析，有效形成质量数据分析报告，形成质量管理的计划、执行、检查、处理（Plan、Do、Check、Act, PDCA）闭环。

3.升级过程追溯管理

通过对车辆升级是否成功、零部件升级是否达到预期版本等其他升级结果进行分析，实时反应升级问题，对升级结果异常做到实时监控，优化OTA升级方案。通过升级过程中对安装时间、安装条件等车辆状态数据分析车辆升级情况，结合数据模型，搭建完善的OTA升级过程质量管理，发现升级过程中的问题，为OTA升级策略调整提供数据支持，提高OTA升级质量。追溯车辆远程升级的各过程升级状态数据及变化趋势，研究升级前后变化规律，并以表格和曲线的方式进行对比显示，形成升级状态管理报告。

4.统计分析

在统计分析模块，结合OTA远程升级的基础数据、升级数据及历史数据，根据升级车辆、时间及结果导向维度进行直观展示。同时，对不同维度的数据进行融合分析，进行数据可视化展示。有效地了解各个不同需求下的车辆远程升级的升级结果和状态，有效掌握车辆远程升级的异常情况等，以便对后续的车辆远程升级作出正确的决策。同时也为未来的OTA升级的需求来源和市场表现提供数据支持，为进一步的建立OTA软件销售生态系统提供数据支撑。

5.系统管理

系统管理主要包括角色管理、权限管理、系统通知及操作日志。角色管理可以分为超级管理员、操作员以及测试用户。超级管理员可对系统全局进行操作，拥有最高权限。操作员主要用来对汽车远程升级数据系统进行数据管理与操作，包括历次汽车远程升级活动的基础信息数据、车辆状态数据和关键过程状态数据的维护与整合，选择融合分析的数据组合维度等；查看用户可以对汽车远程升级数据系统进行数据的查询、浏览、检索等功能。用户主要对系统功能进行测试。用户权限设置方面，可以根据不同部门不同岗位对不同人员设置不同功能模块的访问权限。系统通知将有新的操作消息通知到用户，操作日志记录系统所有的操作记录，用于系统使用追溯。

3.3 系统功能验证分析

在系统需求分析和功能分析的基础上，进行了汽车远程升级数据系统的开发，系统主要分为OTA运维监控、数据质量分析、升级过程追溯管理、统计分析、系统管理等5大模块。在系统开发基础上，编制测试用例，进行了系统功能验证分析，包括对系统进行系统冒烟测试、集成测试、回归测试、功能测试以及性能测试。测试软件环境为采用Windows10操作系统，支撑软件Tomcat 9.0，测试工具Loaderunner 2021、nmon。图4所示为系统功能测试展示图，经测试，系统功能可以满足开发需求，可以进行OTA运维监测、数据完整性与可靠性分析、升级过程软件异常版本分析与升级失败管理、报告管理、统计分析等关键功能，满足系统功能性、易用性和可靠性的要求。

图4 汽车远程升级数据系统功能展示图

在系统性能方面，系统在执行软件功能时，响应和处理时间及资源消耗时间均在用户可接受范围内：在100 M互联网环境下，页面响应时间不大于2 s；接口每秒事务数大于10；系统中央处理器（Central Processing Unit, CPU）使用率不超过70%，满足系统使用性能要求。

3.4 系统开发应用

在整个系统中，基于数据采集、数据分析与数据智能化应用，可以对所进行的OTA活动的数据进行多维分析与价值提取，助力对OTA活动的闭环质量管理，为进一步的OTA升级策略的优化提供功能支撑。图5为升级过程追溯管理模块示例，系统可通过升级过程追溯模块对车辆远程升级过程进行管理，并进行过程追溯以及风险管理。整个开发的系统，在使用过程中，可以很好地进行远程升级数据的采集、存储与深度的数据挖掘，并基于分析结果对升级过程中的质量缺陷进行预警，解决了汽车远程升级的大数据整合与信息离散问题，提高了企业的数字化管理水平。

图5 升级过程追溯管理模块

4 结论

本文提出了基于Hadoop的汽车远程升级数据管理系统的功能设计与技术架构，开发形成数据融合分析系统。系统从OTA运维监控、升级过程追溯等方面对各维度数据进行处理和分析，有效形成对OTA升级活动过程中的车型、车辆、升级活动频次、升级异常、升级失败等进行过程监控与追溯管理。此系统通过实践应用，很好地解决和识别了汽车远程升级过程追溯的痛点与难点，为实现进一步的数字化智慧管理提供了技术支撑。在下一步工作中，将针对智能座舱、自动驾驶等高频度OTA升级，将进一步引入机器学习与数据融合分析算法，细化汽车远程升级大数据分析维度和颗粒度，指导与优化设计，提高全面数字化质量管理水平。

[1] 武翔宇,赵德华,郝铁亮.浅谈汽车OTA的现在与未来发展趋势[J].汽车实用技术,2019,44(3): 222-224.

[2] 李立安,赵帼娟,任广乐.OTA实现方案及汽车端设计分析[J].汽车实用技术,2020,45(6):14-19.

[3] 朱鹏波,温小锋,杨毅.远程诊断技术在汽车OTA刷新应用的研究[J].汽车实用技术, 2020,45(4):14-19.

[4] 张倩.一种汽车OTA行业应用的整体框架[J].汽车实用技术,2020,45(3):100-103.

[5] 吴晓英,明均仁.基于数据挖掘的大数据管理模型研究[J].情报科学,2015,33(11):131-134.

[6] 杨桦.新能源汽车充电桩海量数据分析研究[J].企业科技与发展,2020(1):40-43.

[7] 郭伟伟,吴文臣,隋亮.大数据时代的数据挖掘技术与应用[J].数字技术与应用,2020,38(8):103-105.

Research of Vehicle Over-the-air Update Data System Based on Data Mining

HU Changguo, WANG Jian, CAI Kaikai, SONG Xiaofei

( Zhejiang Yangtze Delta IoV Security Technical Company Limited, Hangzhou 310000, China )

In the context of software-defined vehicle, over-the-air(OTA) update has become an extremely important way for the intelligent connected vehicle technology improvement,performance services improvement and software sales ecosystem build. Based on mass vehicles over-the-air(OTA) update will generate tens of millions of vehicle data. With deep data mining of vehicle data generated by over-the-air update and big data governance and analysis, it will contribute to guide and optimize the design scheme and update strategy of vehicle over-the-air update.Meanwhile, the digital management level of enterprises can be improved. This paper constructed the data system of vehicle over-the-air update, realized the granular analysis and management of key technical parameters data and carries out the process risk warning.The development structure based on the big data development model of data mining technology and Hadoop open source platform. From the system application, the developed system can effectively improve the level of analysis, storage and intelligent deep analysis of massive data generated by OTA update.Meanwhile,it can contribute to monitor and trace the vehicle change during the whole over-the-air process.Furthermore, it will promote the closed-loop management of OTA update.

Vehicle over-the-air update;Big data;Deep mining;Data management system;Data mining

U495

A

1671-7988(2022)23-56-06

U495

A

1671-7988(2022)23-56-06

10.16638/j.cnki.1671-7988.2022.023.011

胡昌国（1987—），男，硕士，高级工程师，研究方向为智能网联汽车大数据分析、车辆信息安全防护技术等，E-mail:huchangguo@csjiovs.com。