姜 珂/文
随着信息技术的发展,物联网、云计算、移动互联技术、云时代等各种新信息化名词不断出现,人们骤然发现已不知不觉地处在新的信息化时代——大数据时代,并成了大数据中的一员。随着大数据时代的到来,数据的重要性逐渐突显,数据已经成为一种重要的生产要素,它和黄金、能源一样宝贵,却又能实现反复的利用。大数据在带来挑战与机遇的同时,也给人带来了更多的思考。
大数据可以理解为大规模和超大规模的数据集,但是大数据时代不仅仅是对这些数据的存储和掌握,最重要的意义在于对特定的数据集进行专业化处理,以达到盈利的目的。业界对大数据的特征概括为4个V:Volume(数据量)、Variety(类型多样)、Value(价值)、Velocity(速度)。
数据量巨大:由于新媒体技术的发展,信息传递的方式在改变,速度在加快,各种终端设备产生了大量的数据。
数据类型繁多:由于新媒体技术的产生,数据不仅仅是结构化数据,更多的是非架构化数据,例如视频、声音、文字、照片等,数据类型的多样化给数据处理分析能力提出了更高的要求。
价值密度低:大数据时代,人们被各种数据不停地轰炸着,但是真正有价值的数据也许瞬时而过。以监控视频为例,不间断的录制好几天,可能真正需要的数据也就那2、3秒。但是就这2、3秒也许就能起到关键性的作用,具有很高的利用价值,
速度处理快:快速处理相关数据是大数据时代的一个显著的特征,也是区别传统数据处理的一个重要指标。尤其是在数据量庞大、数据类型繁多,数据价值密集度低的情况下,数据的处理速度将会直接影响企业的发展,且受到数据时效性的约束,大数据要求数据的处理速度更快,实时性更高,提炼的数据更精准。
从大数据的4个特征看,大数据不仅仅是一项技术或一个平台,而应该是一个集成性的平台,一个能够帮助我们很好的收集、汇总、处理数据的平台,能迅速地从垃圾数据中提炼出对企业有帮助的信息。
大数据与传统数据的另一个显著差异是具有更加丰富的数据类型。传统数据偏重于描述对象,而大数据更倾向于对数据过程的记录。为了便于大家理解,下面简单地举个例子说明传统数据与大数据的记录方式有何区别。
传统数据的记录方式如表1。
表1 传统方式下小明的一日三餐记录
大数据的记录方式如表2。
表2 大数据时代下小明的一日三餐记录
可以很明显地看出,传统数据和大数据记录数据的最大区别是大数据不仅对对象进行了描述,还加入了地点、时间等维度,这样的数据记录的是一个过程,从小明到达餐厅之前开始一直到小明离开餐厅结束,这整个过程都会被记录下来。而传统数据的记录方式更倾向于对结果的简单描述。
当然,大数据能记录的用户就餐数据远不局限于上述所列的字段,理想状况的大数据监控甚至会记录用户吃饭的方式、吃饭时的行为、吃饭时的面部表情等一系列数据,这些数据反映了用户对就餐环境的感受,对餐食口味的反应,进一步可以用来改进就餐环境、食物口味,给出点餐建议。
大数据与传统数据的关键差异在于其价值的不可估量。传统数据的价值体现在信息表象和传递,是对现象的反馈和描述,让人通过数据去了解数据。而大数据记录了现象发生的整个过程,通过数据不仅能够了解对象,还能分析对象,把握对象运作的规律,挖掘对象内部的结构与特点,甚至能了解对象自己都不知道的信息。
大数据价值的特殊之处在于它的可挖掘性,同样的一堆数据,不同的人能从中看到不同层次的东西。就好像同样见一个人,有些人只看他的外形漂不漂亮,有些人能从他的表情中读出心理活动,从眼神中看出阅历,从衣着打扮中了解品位,从鞋子上了解生活习惯。我们要用技巧与实力去挖掘出来这些深层次的非表象的内容,这就是我们统计大数据的现实意义。
运维中心在运维过程中有可能产生的数据一般来说有以下四种:(1)工作交流类软件:用户通过工作交流软件与运维人员进行交流,工作交流软件上会记录用户的疑问和难点。(2)管理类流程数据:用户的申请记录、故障问题的处理工单、设备的部署信息等。(3)服务目录变更、出入口管理数据:设备的出入库管理和服务目录变更管理类数据。(4)硬件系统的状态监控信息:主要是对硬件设备的电源供电环境、机房环境状况和设备的运行状态进行监控而得到的数据,如机房温度、机房湿度、(电源、内存、CPU)的运行状态信息等。
运维中心每天都会从各种渠道得到大量的数据,而这些数据完全满足大数据时代的4V特征:数据量庞大,每天有无数人咨询各种各样的问题或提出各种各样的服务请求;数据类型繁杂多样,有文字、视频、图片、语音等非结构化数据较多;数据价值密度低,很多监控类数据均没有利用价值;目前运维中心数据处理能力不高,对这些数据的分析和利用均靠运维人员的运维经验和专业技能,且大多数都是以报表或图表的形式来进行展示,分析的效率极低,使用率还不足10%,且实效性差,因此,难以满足运维中心高效工作的要求。
解决故障问题时,通常由于信息不对称或不及时造成故障,问题迟迟得不到彻底解决,大部分时候运维人员仅仅能想出一个临时解决方案,这样的结果是导致重复告警,多次的重复告警会让运维人员产生麻痹思想,降低了运维人员对故障的警觉性和敏感性。
传统的运维方式通常依赖于运维专家的运维经验,而一个运维专家需要长时间的培训或工作才能得到,周期非常长,且运维专家在处理问题时的主观性很强,对处理故障问题有很大的影响。因此,如何快速的提高运维数据的利用率成了摆在运维人员面前的一道难题。
现阶段如何在这海量的运维数据里,发现运维的价值、方向,提升运维管理水平,提高运维人员的业务技能、从而获得较高的用户满意度,将成为运维中心需要深度思索的问题。
工作蓝信、邮件、微信、QQ等充斥着运维中心的角角落落。这种以网络为基础的沟通方式方便快捷,而得到了人们的青睐,现在的人们可以轻松地用电脑或手机实现各种类型的文档和信息的传递,运维中心人员在和用户交流过程中,大数据分析平台可以协作运维人员分析出哪些区域的用户基础比较薄弱,哪些区域的用户对某些服务请求有比较高的需求,哪种问题有比较多的用户咨询这种通过数据互通,场景互联,让数据维度更加丰富,从而能更好地知道用户是谁,用户的痛点在哪里。然后帮助运维人员更好地知道用户需求,运维中心人员就可以有针对性地对这些用户和问题进行分类处理,提供更好的服务,以提高用户满意度,从而带来更大的数据价值。
近年来随着网络和信息安全问题的日益复杂和攻击手段多样化,对网络与信息安全风险的防护能力提出了更高的要求。虽然不少用户都通过Web应用防火墙、入侵防御系统、抗拒绝服务攻击系统、下一代防火墙等安全防护手段构成了一整套安全防护体系,但是如果各类安全防护手段都是独立部署,缺乏公司层面统一的日志管理分析系统,就不能及时发现各种异常行为事件,给信息系统的整体安全性和可用性带来极大的安全隐患。因此,需要通过部署大数据分析平台,收集、索引和利用所有应用程序、服务器或网络设备所生成的机器数据,包括操作系统、虚拟化、应用程序、数据库和联网数据。通过搜索、警告、报表和知识库,关联分析跨越多个系统的复杂事件,并快速定位安全事件、集中排查安全风险和及时发现安全威胁,提升IT业务整体智能化水平。
随着高科技产品的不断推出,用户获取知识的渠道也越来越广泛多样。通过手机或电脑获取相关知识成为人们目前使用的最为广泛的方式。因此,把用户常咨询的问题或故障处理步骤,做成知识存放在知识库里,建立长期有效的知识库。把运维经验知识化,利用人工智能系统可以做到7×24小时的常见问题答疑,从而实现知识共享,又能极大地方便用户,提高用户对系统的满意度,同时还能提高运维响应速度和服务质量,最后还能避免由于运维人员的流失造成的知识流失,降低运维成本。而大数据分析平台可以根据依据用户的咨询情况分析哪些可以形成知识存放于知识库,并提醒运维人员对该知识进行相应的处理;可以协助运维人员知晓知识库里哪些知识常被查询,用于确定哪些知识是属于有效的知识;还可以在用户查询知识库信息的时候,把相关信息都推送给用户,以缩短用户查询的时间,提高用户查询的准确性,并可以督促运维人员不停地优化知识库里的相关知识,达到更好服务用户的目的。
在大数据时代,高效利用各种数据资源为用户提供更好的服务,已成为运维中心竞争的关键手段,大数据挖掘分析计算就是从海量的、非完整性的、价值密度低的和随机的数据中提取隐含在其中的有价值的数据和信息的过程。对运维中心而言,对运维数据进行进一步的分析挖掘将有助于帮助运维中心发现新的价值点,有助于帮助运维中心转变被动响应的运维模式,提供高其积极主动性。