■魏文峰 王明琛 陈哲昊
(中国矿业大学(北京)能源与矿业工程学院)
大数据作为当今特殊时代条件下催生的新兴产业越来越受到人们的重视。随着社会的发展,每天产生的数据规模越来越庞大,利用大数据完成的工作也越来越多。而对这些数据的和信息的筛选、汇集与管理无疑是一项艰巨的压力和挑战。在大数据发展越来越快的当下,必须相应地对管理信息系统做出变革和创新,才能够适应新时代下的变化,满足未来严峻的挑战。而为了有效满足对管理信息系统的需求,必须对大数据背景下的管理信息系统进行分析与讨论,探索其与大数据的重要联系的发展现状。
大数据是指使用当前运算工具在一定时间内难以捕捉、管理、分析和处理,需要通过数据挖掘、数据清洗、数据分析后才可以获取其价值的大规模数据的集合,具有大量(Volume)、高速(Velocity)、多样(Variety)、低价值密度(Value)、真实性(Veracity)的特点。随着互联网技术的迅速发展,大数据研究正成为推动社会发展的重要力量。习近平总书记于2019中国国际大数据产业博览会指出,当前,以互联网、大数据、人工智能为代表的新一代信息技术蓬勃发展,对各国经济发展、社会进步、人民生活带来重大而深远的影响。未来,大数据必将更深入地应用到包括文化、医疗、民生等社会生活的各个方面。
而大数据环境下的管理信息系统主要是管理者通过综合利用计算机软件、硬件、网络等设备采集相关的信息,然后通过传输和分析对信息进行加工处理,从而可以有效提升企业的经营效益[1]。现代企业管理信息系统的发展研究必须以大数据为基本背景,才能够将企业管理信息系统与未来的发展要求相匹配,才可以顺应时代的发展趋势。而虽然目前我国越来越多的企业开始重视大数据背景下的企业管理信息系统的发展,并且取得了一定的成果,例如阿里研发的OceanBase分布式数据库系统,具备先进的处理技术,建立了金融级分布式关系数据库,推动了我国管理信息系统的发展。但是也要清楚的认识到,我国目前仍然与西方国家有较大差距,仍然需要大力发展和创新。未来的发展中管理信息系统将继续适应大数据环境,调整传统管理信息系统架构以适应新的需求,同时打造优质的管理环境,革新传统设备以提高管理信息系统的运转效率,满足企业的发展要求。
如今各类数据普遍存在于当今社会的组织结构当中,而在大数据背景之下,对数据的集成和清洗功能又有了新的要求。对于大数据环境下数据的集成功能目标主要是对新产生的大量非结构化和半结构化数据进行高效的处理和集成,以便于后续高效的分析数据。而目前一般采用Hadoop架构,这种架构能够高效处理此类数据,并结合云存储和分布式处理等方式适应多种情况下的数据处理,在大数据处理上具有非常大的优势,因而被广泛采用。而大数据时代下数据的质量难以保证,存在大量的无用、冗余甚至错误的信息。这就对企业管理信息系统的数据清洗能力提出了一定的要求。数据清洗(data cleaning)主要用来检测数据中存在的异常数据(例如错误数据、缺失数据和不一致数据等)[2]。对于大数据背景下的管理信息系统,必然对于缺失数据平滑、属性表征和异常检测等数据清洗功能有新的较高的要求,这对于未来的数据清洗技术的发展仍然是较大的挑战。
大数据背景下,随着电子商务、互联网等产业的快速发展,数据规模以几何级数的方式增长,现有的存储设备基本难以满足数据库对大数据中大量数据的存储需求,这催生出能够满足大数据时代存储要求的技术和设备。而且由于企业成本、技术以及时间的限制,又要求管理信息系统的成本较低,能够使非计算机专业的操作人员使用,并且要求存取数据准确、快速。即一方面要求存储能向着纵向和无限扩容发展,另一方面要求系统低的构建成本、简易的操作与维护的复杂程度和高效的可存取性。而在此背景下,一般采用云存储技术满足管理信息系统的存储需求。云存储以互联网为基础,能够很好地满足当前应用的存储需求。通过该技术,用户能够利用个人电脑、手机等多种设备,实现数据、文档、图片等内容的集中存储和资料共享[3]。云存储采用可扩展的DFS,利用低价的PC为人们提供了大量廉价的存储空间,满足企业的需要并且大大降低了成本。并且云存储借助互联网技术降低了资料传输的时间投入,革新了共享效率和数据分享模式。
数据分析是最重要的环节之一,是可以为企业提供决策依据和创造经济价值的过程。传统意义上的数据分析主要针对结构化数据展开,且已经形成了一整套行之有效的分析体系[4]。首先结合数据库的结构化数据,进行多维度下钻(drilldown)或上卷(roll-up)操作,并产生了聚类、关联分析等一系列有效的处理手段。但在大数据背景下这一处理过程段对于大量非结构化和半结构化数据表现并不如人意。并且大数据背景下,又产生了许多新的问题。首先,处理设备的限制。传统数据管理中数据结构简单,数据较少,一般的处理设备可以较好处理。而大数据背景下数据结构复杂,数据规模庞大,一般的设备难以应付。如今采用的分布式处理的技术,满足大数据管理的需要,但面对日益庞大的数据,其处理能力仍然面对严峻的考验。其次是数据处理的实时性要求。数据中蕴含的信息价值随着时间的延长而降低,而且在某些场景中必须要求对实时数据进行处理,例如人工智能等技术,需要实时对获得的大量数据进行分析处理。目前虽然已有很多成果,但仍然缺少通用的实时处理大数据的应用架构。最后是处理方法的缺乏。在面对非结构化和半结构化的数据中,往往之前并不存在有效的处理问题的方法,使计算机能够找到数据内部的联系,并得出合理的分析结果。而某些问题的实时处理要求更难应用合理的处理方法得到结果。这些问题仍然制约着目前管理信息系统的发展,需要企业进一步的发展和创新。
管理信息系统的架构规则与体系是包括信息系统的概念、信息系统的基础设施架构、信息系统的信息资源结构和信息系统的软件架构等[5]。而首先基于云计算的新型模式,系统将借助相应的SaaS、IaaS、PaaS服务模式实现实现计算机资源远程管理,将企业与用户的计算机远程连接,最大化利用计算机资源。其次是分布式数据处理体系,该技术的使用将大大提高系统的信息处理能力和容量,提高信息系统的性能与可靠性。以及虚拟数据储存例如云存储的技术,提高系统访问的时效性和可靠性,增加与用户的共享性,节省信息输送时间,推动企业的进一步发展。而且,传统MIS系统的核心是CS结构,主要范围在企业内部网上,而在互联网发展下的现代MIS核心是BS架构,即在互联网上可以供客户使用操作的信息系统。这是适应时代发展和变革的新的结构。
大数据时代下产生的难以短时间内处理的规模庞大的数据,对软件的分析和运算能力提出了新的要求和任务。分布式文件系统Hadoop以高度的容错性和吞吐率带来了极大的便利,受到了各类组织的广泛使用。阿里巴巴自行研发的OceanBase分布式数据库系统,采用了兼具分布式系统的扩展性和关系数据库的易用性和灵活性的设计,使其具有良好的可扩展性和可靠性。
随着计算机技术的发展,越来越多的数据得以数字化的形式保存在虚拟数据库中,这大大提升了数据存储和处理的能力,但也造成了极大的安全风险。而网络技术的快速发展使得这一风险再次提高。而大数据对于云存储和分布式处理的广泛使用也提高了数据安全的风险。目前信息安全防护中,APT 高级威胁检测与分析是云技术防护体系的重要组成部分,是在基础安全防护的基础上,通过全流量采集、行为分析、威胁情报、机器学习等新技术和手段,对各类高级威胁、定向渗透、特种木马等进行深度分析。除此之外,对于数据库数据加密,防火墙漏洞分析等技术也在快速发展,人们对于数据库安全的意识也在不断提高,国家也在积极制定相关法律法规和政策,对于网络数据安全和规范进行明确的规定,保护数据安全。
本文结合目前有关的技术和经验对管理信息系统在大数据背景下的发展情况进行论述和分析。而社会大数据环境的不断发展,虽然对传统的管理信息系统产生了巨大的挑战,但也促使着管理信息系统的不断优化和创新。这可以使得企业决策的合理性大大提高,对于企业的发展具有非常重要的意义。