智能化行业中大数据可视化技术的应用

张小倚,延 庆,李晓霁

(1 陕西延长石油<集团>管道运输公司 陕西 延安 716000) (2 陕西延长石油<集团>管道运输第三分公司 陕西 延安 716000)

0 引言

可视化技术在大数据应用中作为领先的数据,它能将大量的数据和数据信息中不明显的逻辑关系、复杂无趣的数据进行可视化的转化,能在看似复杂没有规律的数据信息中发现其关联性,让用户在挖掘复杂且枯燥的数据信息时能降低难度。以前人们只能从大量的数据中自己发现信息,发现信息的过程浪费了大量的人力资源和时间,现如今研究人员可以通过数据可视化技术以简单且具体的图形对数据进行展示和分析,这样不仅快捷还能大大减少人力资源[1]。由此可见,大数据可视化技术在这个大数据时代对数据信息的分析起到了一定作用。

1 大数据可视化理论分析

1.1 可视化技术的概述

数据可视化即数据的图形表示,旨在以更易于掌握和理解的有效方式传达海量数据。从某种意义上说,数据可视化是原始数据和图形元素之间的映射,它决定了这些元素的属性如何变化。借助于图形化手段如折线图、柱状图、散点图、饼状图、地图、网络图、矩阵图等,直观地表达数据与数据直接关系,获得数据的内在信息,从而清晰有效地传达信息。

部分学者对大数据可视化的界定:对抽象的数据信息进行计算机可视化,通过互动的方式提高思维能力。大数据可视化技术与传统计算机上的电子图像及科学研究的可视化不一样,现在的信息可视化研究更偏重于可视化图形,以及数据和数据信息内隐藏的内容和部分容易忽略的规律,大数据可视化更致力于创造类似人的认知能力规律[2-3]。

面对具有大数据的海量、异构、多样性特征的数据集,如商业分析、人口状况分布、用户行为数据等,数据可视化要经历数据采集、数据分析、数据管理、数据挖掘等在内的一系列复杂的数据处理过程,然后根据业务需求确定图形化方式,如采用三维还是二维、静态还是动态、实用还是交互等。

1.2 可视分析的基础研究

要想对可视化进行剖析需要有各种各样的基础理论支持,而在这些基础里最关键的就是认知能力理论模型、建构理论模型、人机交互认知能力实体模型,这些都为智能化中大数据可视化问题打下了牢固的基础。

1.3 可视化技术应用

可视化技术保留了传统式的科学研究可视化和信息可视化,以总体目标的视角考虑,对各方面的数据信息进行汇总分析。BEN[4]根据信息化的特点,把可视化技术分成1-dimensional、2-dimensional、3-dimensional、multi-dimensional、tree、network和temporal。

这几年,不少学者围绕着这些信息种类,提出了信息可视化技术的新方式和新技术,并且已经开始普及[5]。随着互联网大数据的快速发展,社交媒体、互联网技术、社会发展公共文化服务的流行,从它们的使用中慢慢演变出了几种独特的信息种类,包含文字信息、互联网及多维数据信息等。这些与互联网大数据有关的信息都与Shneiderman的归类交叉式结合,这些将会是大数据可视化技术研究方向的关键所在。

1.4 大数据可视化的基本模型

大数据可视化的基本模型主要包括Data Transformation(数据转换)、Visual Mapping(可视化映射)、ViewTransformation(视图变换)等方面。

数据转换:将原始数据转换为数据表形式,以达到数据规范化的目的。

可视化映射:将数据表映射为可视化结构,由空间基、标记的图像属性等可视化表征组成,从而构建数据的可视化结构。

视图变换:将数据的可视化结构根据位置、比例、大小等参数进行设置并显示在输出设备上,以实现可视化输出。

2 智能化行业中大数据可视化技术的系统结构

2.1 可视化设计组件和总体架构

所谓可视化数据,其实是根据数值用标尺、颜色、位置等各种视觉隐喻的组合进行表现,如深色和浅色的含义不同,二维空间中右上方和左下方的点含义不同。可视化是从原始数据到条形图、折线图和散点图的飞跃。不论图在什么位置,可视化都是以数据为核心的,大部分组件都是为了展示数据而创造,组件的数据来源于数据源,且每个组件只能绑定一个数据源,每个数据源只能被一个组件绑定。数据源的数据必须是二维数组(集合),并且组件能识别的数据也必须是二维数组。智能数据采集及大数据可视化系统技术架构如图1所示,该系统设计时采用了前后端分离模式,在老式的基础上又增加采用主流后端技术栈Spring Cloud+Mysq1+Redis+RabbitMQ等微服务、微架构、分布式。微服务架构容易开发和维护,是一种软件开发技术面向服务的体系,都围绕着具体业务进行构建,并能独立部署,可将系统架构分为用户层、业务层、信息处理层和数据存储层。

图1 系统技术架构

2.2 用户层

用户层主要对可视化的数据进行汇总,分析界面;数据处理层进行数据智能收集及可视化分析,包括创建表单;数据存储层就是把所有收集的数据进行备份存储等。

用户层主要是利用系统提供控件并自主创建表单,并能拖曳式全屏编辑,使得采集出来的表单能更加清晰。用户编辑页面如图2所示,可以看出:用户层可以设定标签,利用标签进行分离,也可以用来标识某个特定属性的表单,对表单进行快速定位;还能添加表单的介绍,让采表填表人员能更加明确地采集到内容和要求,有表单发布时对已经创建的表单能进行关联性发布,有需要填表单的成员需要登录账户进行数据填写,发布模式多种,每个人主要知道账户都可以填写。

图2 用户编辑页面

2.3 传输层

微服务架构主要通过IIystrix库进行隔离访问,通过联系到第三方库,防止级联失效,提高系统的可用性和出错性。利用Zuul组建服务网管,Zuul过滤器能验证用户身份、测试压力等功能,Spring ClouddConfig进行统一的微服务管理配置。以上的内容能保证用户的数据安全、增强用户体验、提高工作效率。

2.4 处理层

能在系统中通过调取之前用户提交的表单收集到数据,通过智能化数据汇总,为用户提供可视化的界面,让呈现出来的图形内容更加清晰,为用户提供了更加方便有效的数据。在Hadoop MapReduce中,这个转换过程是直接的,具有固定的执行流程,可以直接将包含map/reduce函数的作业划分成map和reduce这2个阶段。map阶段包含多个可以并行执行的map任务,reduce阶段包含多个并行执行的reduce任务。map任务负责将输入的分块数据进行处理,并将其输出结果写入缓冲区,在缓冲区中进行数据分区、聚合等操作[6-7],最后将数据传输到磁盘上的不同分区中。reduce任务主要是将分区中的数据通过网络保存到本地内存中,内存空间不足时,写入磁盘,并将数据写入分布式文件系统中。

3 智能化行业中大数据可视化技术的研究方向

3.1 研究方向

现下的社会已经步入了大数据时代,根据相关文献数据,发现国内大数据可视化技术的主要研究分为以下3个阶段:

第一阶段,可视化技术的定义和概念产生的阶段。在这个阶段中,如果有学术权威提出新的概念时,那么它的概念将由此产生或更新。

第二阶段,可视化技术慢慢走向成熟的阶段。在发展的过程中出现了很多新的技术方法,如数据可视化的分析工具、信息采集与信息处理技术等,这些技术都为可视化技术走向成熟打下了坚定的基础。

第三阶段,可视化技术的应用阶段。在这个阶段中,可视化技术已经能进行阅读、收播新闻、在教育等其他方面也得到了广泛的应用。

现在我国处于一个快速的信息化时代,如果将国内外进行对比,国内更倾向于可视化技术的理论和技术探索,应用还比较落后;国外大数据可视化的技术与理论都比较超前。因此国内现在也将可视化技术向着智能化的方向迈进,追求向智慧化的方向发展,这些都是目前国内所要研究的方向[8-9]。

3.2 可视化技术研究的步骤

数据智能可视化技术的研究是一个很大的挑战,具有多维度、多领域、易理解、准确性高等特点,能对有效的信息进行汇总,同时把一些有规律的信息进行组合,使项目的关键点更加突出,智能可视化技术的步骤如下:

步骤1 对所给数据进行智能分析,明确目标信息;

步骤2 分析得出目标信息属性,类型等;

步骤3 采用合适的数据可视化类型;

步骤4 结合适当的可视化方法;

步骤5 一键式生产数据可视化场景;

步骤6 直接得出项目关键信息。

仔细观察以上步骤可以看出,可视化技术与智能分析的结合,使数据能更好地展示和进行更深层次的分析和研究,加大了可视化目标的准确性。将可视化技术进行智能化,更进一步优化了处理数据的能力,还相应地减少了数据分析的时间,保证了数据分析的准确性和可用性,使智能化的一键式生成数据可视化场景离实现更近了一步。

3.3 应用趋势

大数据可视化技术其自身强硬的交互性、多维性以及可视性特点,可以方便用户实时查看自己的数据,并通过图表的方式进行呈现。数据可视化不仅可以进行数据状态的呈现,还可以对存在关联的可视化数据进行比较,从而挖掘出数据与数据之间的有效连接,呈现出一个更加严谨性的数据发展趋势。在大数据的环境下,数据可视化服务具有即时生成的功能,当数据采集完毕后,可以立即进行可视化方案的呈现[10]。例如:电子钱包中的账单服务,用户需要通过使用电子钱包所产生的交易数据,自动生成数据图表,当月末时自动进行呈现。用户只需要借助数据图表分析自身的消费状况,实时调整自己的消费规划,此类服务的即时性,可以为用户创建数据可视化,其便利、快捷的优势是其他数据无法媲美的[11]。

大数据可视化技术在多媒体领域、多维叠加式数据等的应用已经非常成熟,大数据处理分析各种数据信息时,这个数据加工的过程也是传播数据信息的过程,智能手机作为人们工作和生活的必需品。其中,所涉及到的大数据可视化技术已经渗入到人们工作生活的方方面面,通过智能手机进行信息的搜集和数据结果的展示,为大数据可视化技术的交互发展奠定了更加坚实的基础[12]。而多维叠加式数据的可视化以社交网络和数字地图的方式进行叠加,其群体主要以年轻人为主,这种数据方式具有更加灵活的互动性和娱乐性。大数据可视化最终的目标是以解决人们实际问题为主,根据人们的问题对大量的数据信息进行选择并剔除无关联的数据,对筛选的数据进行综合分析后,以最佳的描述方式进行呈现。

4 结语

大数据可视化技术就目前的形势来看,经过不断的努力研究和应用,已经有了一定的基础成果。但是技术的发展是不停歇的,数据的类型只会更多、更复杂多样,数据分析的也不够彻底,因此需要提高数据分析技术,提高数据处理能力和效率,指出一个更加明确的研究方向,让可视化技术不仅只是对数据的展示的一种工具,更是能为各大领域的发展提供更深层次的造诣。当前,各方面都离不开数据,相关研究的发展对大数据可视化技术的依赖性越来越高,大数据可视化技术已经成为了最优秀的一种处理信息的手段,是用户从大量的数据中挖掘出重要信息的主要方式。为了使技术更加的智能化,我国的科研人员还在为之努力奋斗。