新能源汽车远程监控数据压缩系统研究

陈炼松，张 亮，黎 飞，班定东

（上汽通用五菱汽车股份有限公司，广西新能源汽车实验室，广西汽车新四化重点实验室，广西 柳州 545007）

随着中国对新能源汽车产业的大力发展，使得新能源汽车呈现快速增长的趋势，截至2021年底，全国新能源汽车保有量达784万辆[1]。同时，工业和信息化部也出台了《新能源汽车生产企业及产品准入管理规定》等法规，要求新能源汽车必须安装远程监控系统，并实现全生命周期的远程监控，同时上传车辆远程监控数据时间周期最大不超过30s，且车辆远程监控数据需要全生命周期存储，直至车辆报废。因此，随着新能源汽车数量的不断增加，新能源汽车监控数据也呈增量发展，数据存储占用空间随着数据体量的不断增加变得越来越大，从而造成数据存储云资源服务器成本不断增加，进而导致企业成本增高。为减少数据存储占用的空间，降低数据存储云资源成本，急需研究一种新能源汽车远程监控数据压缩[2]系统来满足市场需求。该系统需满足大数据需求，能提供数据压缩后方便提取的API接口，供各业务系统调用数据，最大限度地保证数据分析应用的可用性、完整性和准确性。

1 系统需求及功能研究

新能源汽车数据压缩系统需求主要包括：①需实现对原数据的处理，主要包含原数据提取、分类、过滤、清洗等功能；②结合车型情况，需实现对数据压缩执行任务参数的配置化处理；③需集成数据压缩算法，结合配置的执行任务参数，进行数据压缩处理；④数据压缩完成后，需提供压缩后数据提取的API接口，供上层业务调用数据；⑤需开发Web系统，提供对数据压缩执行状态及节省空间情况进行查询。

新能源汽车数据压缩系统功能包括如下几个方面。

1）原数据提取：对新能源汽车监控数据进行提取，构建数据压缩基础。

2）原数据处理[3]：定义数据分类、过滤、清洗规则，对提取的原数据进行分类、过滤、清洗等处理。

3）数据压缩执行配置：结合车型情况，需实现对数据压缩执行任务参数的配置化处理。

4）数据压缩执行：集成数据压缩算法，结合配置的执行任务参数进行数据压缩处理。

5）数据提取API接口：数据压缩完成后，需提供压缩后数据提取的API接口，供上层业务调用数据。

6）系统监控Web界面[4]：①用户管理，即新增、修改、删除、查询用户，用户所属部门配置，用户角色分配；②角色管理，即新增、修改、删除、查询角色，角色权限分配；③菜单管理，即新增、修改、删除、查询菜单；④部门管理，即新增、修改、删除、查询部门；⑤日志管理，即查询、查看日志，日志不可删改，保存期限不少于6个月；⑥数据压缩情况查询，包括压缩前后的占用空间以及压缩前后的数据条数等查询，该功能可以实时显示节约成本的具体情况。

2 可行性分析

2.1 技术可行性分析

在进行新能源汽车远程监控数据压缩系统的技术可行性探讨时，需要考虑以下问题：一方面是原数据结构及格式是否支持数据压缩，另一方面是数据压缩后是否能稳定输出压缩后数据，供上层业务调用。针对以上问题，对原数据结构及格式进行全面了解及评估，发现原数据经过分类、过滤、清洗后是满足数据压缩算法集成基础的，故结合原数据情况进行初步的数据压缩算法集成测试，确定了技术可行性，并且经过多次集成测试，开发了相应的测试压缩后数据提取API接口，解决了压缩后数据稳定输出问题，保证了数据分析应用的可用性、完整性、准确性，满足大数据需求，也进一步确定了其技术的可行性，确认了整体技术实施的可行性解决方案。

2.2 经济可行性分析

基于新能源汽车远程监控数据压缩系统的经济方面考虑，由于数据压缩率越低，远程监控数据存储占有空间越低，数据存储云资源成本也越低，故从数据压缩率出发来研究可行性。通过一系列算法集成研究，并经过多次数据压缩算法集成测试，得出了数据压缩率可达到10%～16%的结果，可以极大地减少数据存储占用空间，大幅度降低数据存储云资源成本，同时节省的成本远远超过了系统开发成本，故确认了本系统开发的经济可行性。

3 系统开发

在开发工具选取上，新能源汽车数据压缩系统采用Java中的IntelliJ IDEA作为编程语言开发的集成环境，同时采用Mysql、Oracle Database等数据库对原数据提取、原数据处理、数据压缩执行配置、数据压缩执行、数据提取API接口、系统监控Web界面等功能进行开发。该系统监控Web界面如图1所示。

图1 系统监控Web界面

新能源汽车远程监控数据从车端采集，上传到采集数据存储数据库，提取当前数据进行二次处理（过滤、去除无效字符、大小写转换、字符截取等），采用新的压缩算法，异步对所提取数据进行压缩处理，压缩后的数据文件将替换原有数据文件。同时，新增功能配置、流程调度、数据清洗处理、数据文件压缩转换、数据入库等功能模块。有数据提取需求时，针对完成压缩的数据提供数据提取API，供上层数据业务平台使用（例如：后续的离线分析、数据导出等）。该系统技术架构如图2所示。

图2 系统技术架构

4 系统测试

为了验证和测试新能源汽车数据压缩系统可以正常运行工作，确保功能模块表现良好，满足使用要求，需要对目标系统进行实地检验操作，并依据实际的测验结果来评价本新能源汽车数据压缩系统软件的应用价值。

选取6个采集时间段的数据进行压缩，压缩率为10%～16%，压缩前总存储量为3373TB，压缩后总存储量为419TB，节省总存储量2954TB，总体压缩率为12.42%，具体压缩前后存储量情况对比如表1所示。

表1 数据压缩前后存储量情况对比表

对选取的6个批次车辆的数据进行检验，发现压缩前后数据条数、信号项、信号值均无变化，表明前后数据一致，数据品质良好。

5 结论

新能源汽车数据压缩系统主要应用于新能源汽车历史数据及新接入数据的数据压缩，系统通过对历史及新接入数据的提取、分类、过滤、清洗，并按照车型对数据压缩进行配置化任务管理，结合数据情况、配置的压缩任务、集成数据压缩算法对数据进行压缩处理，处理完成后的数据将重新进行存储并开发对应的数据提取API接口，满足上层业务调用数据，同时开发Web系统实时监控数据压缩执行状态及数据压缩情况，帮助相关工作人员了解并掌握数据压缩情况。通过新能源汽车数据压缩系统的应用，极大地减少了新能源汽车远程监控历史数据及新接入远程监控数据的存储占用空间，大幅度降低了数据存储云资源成本，同时保障了数据提取API接口稳定输出压缩后的数据，解决了数据存储成本、大数据调用需求等问题。在此低成本的新能源汽车远程监控数据存储方案下，将更有利于新能源汽车产业的发展，促进绿色能源发展。