伍凌云 袁林海 磨春妗 钟小敏 梁静荣
摘要:随着信息技术的发展和大数据时代的来临,大屏数据可视化技术已在电信、公安、交通、新能源汽车等各个行业得到广泛应用。然而,用户对大屏上显示的数据内容经常因需求不同而产生变化。因此,研究一种能够灵活配置的大屏控制系统是十分必要且有现实意义的。基于此,文章设计了一种新能源车行业大屏控制系统,通过屏幕设置、单屏设计、多屏拼接等功能实现了灵活的大屏数据可视化看板,从而满足新能源车行业不同角色多维度的数据监控分析需求,支持多场景的数据展示。
关键词:大屏控制;数据可视化;数据管理;信息技术
中图法分类号:TP273文献标识码:A
Design and implementation of large screen control system fornew energy vehicle industry
WU Lingyun,YUANLinhai,MOChunjin,ZHONGXiaomin,LIANGJingrong
(SAIC GM WulingAutomoblieCo.,Ltd.,Guangxi Laboratory of New Energy Automobile,Guangxi Key Laboratory of Automobile Four New Features,Liuzhou,Guangxi 545007,China)
Abstract:With the development of information technology and the advent of the era of big data,data visualization on large screen has been widely used in telecommunications, public security, transportation,new energy vehicle and other industries.However,the data displayed on the large screen often changes due to different requirements of users.Therefore,it is necessary and meaningful to research for a large screen control system that can be flexibly configured. Based on the above requirements,this paper designs a large screen control system for the new energy vehicle industry, flexible large-screen data visualization is realized through screen setting, single-screen design, multi- screen splicing and other functions.This system can meet the multi-dimensional data monitoring and analysis requirements of different roles in the new energy vehicle industry,and support multi-scene data display.
Key words: large screen control, data visualization, data management,information technology
1 引言
大屏數据可视化技术已在各行各业得到了广泛应用,然而传统的大屏展示经常需要对所展示的内容、设计进行定制开发,缺乏对主题和内容配置的灵活性,无法支持丰富的数据展示场景[1]。为了能够提供更加便捷的大屏展示方法,本文设计了一种能够灵活配置的大屏控制系统,其内置多场景大屏模板并提供不同主题下详细的数据项选择,满足新能源车行业用户多维度的数据监控分析需求。
2 系统总体设计
大屏控制系统的总体架构由三个层级构成,即 IaaS 层、PaaS 层、SaaS 层,同时兼顾系统安全保障体系。架构图如图1所示。
2.1 IaaS 层
IaaS 层的作用是为整个大屏控制系统提供运行环境,包括计算资源、存储资源和网络资源。运行环境作为系统的基础支撑平台,包括服务器系统、网络系统、系统软件、存储扩容磁盘、网络安全系统等,为系统的应用功能提供高效资源支撑[2]。
2.2 PaaS 层
基于 IaaS 层进行支撑服务建设,提供数据采集工具、数据整合工具、数据检索工具、智能分析工具等,高效整合、分析营销、运营、用车行为、售后等主题域数据,为 SaaS 层的应用服务提供工具支撑与数据支撑。
2.3 SaaS 层
SaaS 层为大屏控制系统的主要功能,通过单屏的设计、组合拼接、权限管理等,满足不同角色对大屏展示的需求。
2.4 安全保障体系
安全保障建设在遵照执行信息安全等级保护相关规定,通过在应用系统设计、应用系统实现、安全系统配置、安全系统使用等多个层面上实现全方位的安全保障,确保大屏控制系统数据的保密性、完整性、可用性、可控性和不可否认性[3]。
3 主要技术
3.1 ETL
ETL 是数据抽取、清洗转换、装载的过程,能够帮助企业修正数据质量、汇集多数据源、转换数据形态,提升数据的利用价值[4]。大屏控制系统需借助 ETL 技术将新能源车行业售前、售后、用户用车行为等多源异构数据抽取出来、统一整合加工、按照特定格式装载至系统数据库中。
3.2 分布式可扩展的大数据架构
3.2.1 MapReduce 框架
MapReduce 是一种分布式并行编程框架,主要思想来自于函数式编程语言,它将分布式计算抽象成 Map (映射)和 Reduce (规约)两个基本步骤。 MapReduce 框架将用户的输入按照一定的规则切分成可并行处理的数据块,然后调用用户自定义的 Map 程序将输入转化成 Key/Value 对,框架根据用户自定义的规则将 Key/Value 对发送到不同的 Reduce 程序,从而将 Key/Value 对合成最终的输出[5]。
MapReduce 框架隐藏了分布式编程的细节,使用户在编程的过程中可以忽略分布式相关的细节,专注于逻辑实现,减少了用户开发分布式并行应用的细节。Hadoop 的 MapReduce 部分和 HDFS 部分充分结合,在进行数据处理的时候,框架会尽量让程序在数据所在的节点进行处理(一般的分布式程序都是移动数据来实现数据处理,但是对于海量数据而言移动数据的成本比较高),并且自动将失败的任务进行重新分配执行[5]。
3.2.2 Storm 框架
对比 Hadoop 的批处理,Storm 是个实时、分布式并具备高容错的计算系统。 Storm 不仅可以处理大批量数据,而且在保证高可靠性的前提下,还可以让处理工作进行得更加实时,从而确保所有的信息都会被处理。除此之外,Storm 还具备容错和分布计算等特性,这就让 Storm 可以扩展到不同的机器上进行大批量的数据处理。对于扩展,只需要添加机器和改变对应的 topology (拓扑)设置。 Storm 使用 Hadoop Zookeeper 进行集群协调,可以充分保证大型集群的良好运行,每条信息的处理都可以得到保证[6]。
3.2.3 Spark 框架
Spark 是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右。 Spark 是hadoop的升级版本,Hadoop 作为第一代产品使用 HDFS,第二代加入了 Cache 来保存中间计算结果,并能适时主动推 Map/Reduce 任务,第三代就是 Spark 倡导的流 Streaming。 Spark 兼容 Hadoop 的APi,能够读写 Hadoop 的 HDFS HBASE 顺序文件等[7]。
4 系统设计与实现
大屏控制系统由数据接入、大屏设计、用户管理三个模块组成,实现对接入数据的汇聚管理、对大屏的灵活配置与设计以及对用户权限的管理。
4.1 数据接入
提供数据上传和多源数据连接两种数据接入方式,可以通过数据上传功能点选存储在本地的表格数据上传至系统中,也可通过 ETL 工具从数仓或数据库抽取数据,并清洗、整合、装载至系统。管理员可以对接入数据进行“增删改查”的管理操作。
4.2 大屏设计
由于汽车行业大屏使用的应用场景非常丰富,包括市场、售后、用户行为分析等各个方面,数据维度也非常多样,通过大屏控制系统屏幕设置、单屏设计、拼接模板等功能设计,实现大屏展示模块的灵活配置和自定义管理,从而在有限的屏幕范圍内展示最佳的可视化模块组合。
4.2.1 多场景大屏模板
系统内置多场景大屏模板,适用于运营、销售、出行、充电、智能驾驶、远程控制、车联网等不同的应用场景,从而支持可视化展示用户从售前到购车、用车的全过程。同时,须提供至少5种屏幕规格,如单屏、横双屏、竖双屏、横三屏、竖三屏、四屏,以适应不同形状、大小和组合的大屏。用户可以先在屏幕设置中选择单屏尺寸,然后在单屏设计中实现单屏展示数据效果,最后选择拼接模板完成单屏拼接。实现效果如图2所示。
4.2.2 可视化大屏设计
大屏控制应能提供单屏创建功能,具备可视化展示新能源车行业从售前到售后以及用户用车全过程的大屏,支持灵活的个性化数据配置。用户可根据系统提供的大屏模板创建新的单屏展示,填写大屏名称并设置单屏比(图3),以便后续对设计好的单屏进行管理和维护。
大屏控制系统还应支持大屏数据的可视化配置,用户可以点选需要展示的具体数据维度进行自由组合。系统内置运营、营销、出行、车联网、智能驾驶、远程控制和售后等主题,每个主题下有常用分析指标供点选,用户可以对主题和数据指标进行“增删改查”的维护和管理,如图4所示。
4.2.3 大屏拼接
用户可以创建多套大屏进行自由的拼接组合(图5),将系统中已经创建发布的多个单屏进行设计拼接,并能对拼接的大屏设计效果进行预览、下载、发布、分享等操作。
(1)大屏布局
在创建拼接大屏时,首先对大屏单屏比和大屏布局进行选择。
(2)大屏组合拼接
在设置大屏布局并创建拼接大屏后进入具体的大屏设置。提供多种模块布局模板,选择模板后可进行大屏的页面设计,即对拼接大屏中的空白布局进行内容替换。对大屏页面的选择支持配置筛选、搜索等功能,极大地方便了大屏的整体设计和效果预览的过程。
(3)大屏背景
可以对大屏设置背景,通过自定义上传静态背景或动态背景,可以在已有背景中进行选择。
4.3 用户管理
通过角色管理实现用户权限的细粒度管理。用户角色分为管理员、数据分析师和市场分析师。系统管理员拥有最全面的系统权限,可以对用户、数据、系统配置等进行管理操作;数据分析师可以拥有数据管理和大屏设计的权限,可以设置大屏展示的数据项和分析内容;市场分析师可以进行大屏设计以及查看其他用户分享的大屏设计成果。管理员也可以单独为具体用户设置个性化系统功能权限和数据权限,实现灵活的权限管理。
5 结束语
本文设计了一种大屏控制系统,通过屏幕设置、单屏设计、组合拼接、权限管理等功能为新能源车行业用户提供了灵活的大屏数据可视化方法,其内置的新能源车领域大屏数据模板有效地节约了用户设计大屏的时间,克服了传统大屏开发过程的缺点,具有重要的现实意义。
参考文献:
[1] 顾俊峰,王尊超,李继康.通用大屏控制软件的设计与实现[ J ].信息系统工程.2016(4):17.
[2] 周微忱.大屏幕控制系统的设计与实现[ D].上海:上海交通大学,2011.
[3] 王荟奥,蔡永香,杨岸霖,等.大屏数据可视化易用工具的研究与开发[ J].计算机系统应用,2022,31(2):114119.
[4] 权明亮.实时 ETL 工具的设计与实现[D].西安:西安电子科技大学,2021.
[5] 贺彬.基于 MapReduce 的大数据计算分析[ J].电脑编程技巧与维护.2021(12):97?100.
[6] 张少峰.基于 Storm 的实时处理系统的设计与实现[ D].北京:北京邮电大学,2017.
[7] 王晨曦,吕方,崔慧敏,等.面向大数据处理的基于 Spark 的异质内存编程框架[J].计算机研究与发展.2018,55(2):246?264.
作者简介:
伍凌云(1994—),硕士,工程师,研究方向:数据可视化。