方 兴
(广西壮族自治区遥感信息测绘院 地理信息中心,南宁 530000)
面向测绘地理信息的数据中心建设与应用研究
方 兴
(广西壮族自治区遥感信息测绘院 地理信息中心,南宁 530000)
本文依据广西测绘地理信息数据中心建设情况,探讨了数据中心建设原则和现实数据中心建设的困难,并从技术与资金、数据与业务和人才培训3方面阐述了如何有效开展数据中心建设与管理。最后,基于大数据服务的测绘地理信息下的多数据中心融合实现提出了建设方案。
测绘地理信息;虚拟化;数据中心;大数据
在当今信息爆炸式增长、科技突飞式发展的潮流下,数据中心已经成为信息化建设的基础,是基础架构中的核心支柱。由于数据中心在信息化项目中的作用和地位与日俱增、不可替代,无论是研究基础科研理论的学者,还是设备制造厂商,都对如何建设一个绿色节能、经济高效、稳健智能的数据中心展开了深入研究并提出各种解决方案。在实际工作中,建设数据中心需要建设者根据发展主体的战略出发,结合实际情况,制订合情合理的建设方案。通过数据中心的建设促进信息化程度的不断深化,不断提升主体的竞争力和水平,才是数据中心建设的意义所在。为此,作者根据测绘地理信息数据中心建设的经验,对数据中心建设的原则、困难和实现进行探讨。
随着信息技术的不断进步,企事业单位信息化进程不断加快,需要存储和处理海量信息的部门越来越迫切希望建设数据中心。从单位决策者的角度出发,数据中心的建设应该严格按照发展战略逐步实施;而对建设者来说,数据中心应该具备柔性的拓展能力以适应不断变化的业务要求和技术标准。因此,在建设数据中心前必须明确发展战略与建设方案相一致。
数据中心并不是简单的软件与硬件设备的集成,也不是存储数据的仓库,更不是简单的应用堆叠。数据中心是整个信息化建设的基础,建设数据中心主体的一切活动和发展将依托于数据中心得以实现。因此,数据中心的可控和稳定运行才是建设主体需要考虑的第一要义。即在建设数据中心,建设主体应当着重从安全、管理、经济、效率等4个方面来考虑,才能保证数据中心成为主体的核心竞争力,而并非毫无价值的象征意义。
由于虚拟化技术在资源配置和效率方面都存在着极大优势,它的出现推动了数据中心的变革。根据Jonathan Eunice的描述:“虚拟化……为数据、计算能力、存储资源以及其他资源提供了一个逻辑视图,而不是物理视图。”维基百科这样定义:“虚拟化……这种资源的抽象方法并不受实现、地理位置或底层资源的物理配置的限制。”“Open Grid Services Architecture Glossary of Terms”则延伸了它的意义“虚拟化:对一组类似资源提供一个通用的抽象接口集,从而隐藏属性和操作之间的差异,并允许通过一种通用的方式来查看并维护资源。”据调查,目前全球大部分数据中心的资源利用率为15%~20%,通过整合资源,利用虚拟化技术,可以将利用率提高到50%~60%。此外,虚拟化技术能方便管理者通过单一的整合视图对所有可用的计算和存储资源统一管理,简化了管理的复杂性,极大地提高其工作效率。可以说,虚拟化技术的出现,很好地从技术层面化解了管理、经济和效率三者的矛盾,成为了当今数据中心建设潮流中的主流技术。因此,建设一个有竞争力的数据中心时,虚拟化技术是主体,它还简化了数据中心的建设。
此处以作者所在单位的虚拟化数据中心的建设为例:整合原有的12台服务器规模将其缩减到只需5台高性能的服务器,CPU利用率从单台平均10%提高到单台平均55%,业务与应用的数量从原有20多项增加到现有60多项,平均每台服务器承担10多项应用,同时将分散的存储空间进行虚拟化,进而形成连续可扩展的近200TB的统一存储空间。改造千兆核心网络为万兆核心网络,进一步提高数据中心服务的效率和质量,尤其是在提供高分辨率的影像地图应用服务时,网络传输速率尤为重要。通过主导虚拟化数据中心的建设过程,作者感到技术理论与实际操作两者之间存在较大的差距,其主要面临的困难有以下几点。
2.1高端人才短缺
管理人才、应用人才、研发人才、维护人才较为短缺。虚拟化技术和复杂的数据中心建设方案在不断改进中,在建设项目实施中技术更新与业务业绩的双重压力下,对人的素质要求越来越高,导致门槛过高,高端人才缺乏。
2.2建设资金难以得到保障
虚拟化数据中心的建设周期比较长,且软件和硬件设备配套的资金需求远远高于一般的服务器、存储和网络的组合,给建设主体带来的经济压力特别大。因此,如果数据中心的经济效果未能及时显现出来,则会影响到建设主体继续投入资金的动力,同时还有可能弱化数据中心在信息化建设项目中的作用。
2.3数据中心的物理结构难以达到预期效果
建设的目标需要通过预测未来的发展需求确定,无论是容量剩余,还是资源紧缺,都无法实现经济效益最大化。同时又可能存在需求爆炸点,这是难以准确估计的,一旦业务集中大量爆发,却没有准备数据中心建设所需要额外投入的预算资金,对主体而言将一个极大的挑战。
自1997年下半年出现了“数字地球”这个名词起,我国的测量测绘自1999年起逐步由模拟制图转向数字化制图,地理信息的数字化揭开了测绘的新篇章,在如今的21世纪则面临着信息大爆炸的挑战。笔者自2004年起服务于从事遥感数据的获取和制作、地理信息的生产与应用的事业单位,2010年初次接触到虚拟化技术,通过不断的技术学习和业务操作实践,积累了一些服务于测绘地理信息的虚拟化数据中心的经验和体会,以下分别从技术与资金、数据与业务和人才培训等3个方面进行分析。
3.1虚拟化的数据中心对技术和资金要求较高
测绘地理信息是一个专业技术生产行业,其特点是数据类型特别多,数据容量特别大,数据生产和获取的方式和流程特别复杂,因此实施虚拟化的数据中心会对计算能力、存储能力和网络传输能力的要求较高。例如:单位的服务器需要安装数10个应用,每个应用都有不同的设置需求,每次新增应用都面临分离还是合并的选择:分离运行浪费资源、浪费资金;合并运行则兼容性难以保障,风险后果难以预测,情况复杂难以处理。然而,通过使用虚拟化将各应用分配到独立的实例中,则能很好地化解这一矛盾。虚拟化在此发挥了其兼容性好、实现方式灵活的优点,盘活了原有设备的使用效率,降低了资金的需求和投入,对单位的生产效率产生了很明显的效果,同时对数据中心建设初期的管理也较为简单和方便。在发展和建设的中后期,虽然设备增加、应用增加,情况愈趋复杂,但是单位成本反而有所下降,效益增加。
3.2虚拟化的数据中心适合测绘地理信息数据和业务发展的需求
虚拟化的数据中心不仅整合了原本零散的计算资源和存储资源,还能够合理的分配和最大化使用网络传输资源。其中分布式计算、分布式存储、百万兆或万兆核心网络都是建设虚拟化的数据中心必须具备的基础技术。现在测绘地理信息数据的应用无所不在,广泛涉及生产、设计、制造、物流、营销、社交、管理及军事等各大方面,已经深入地渗透到现代社会的方方面面中。使用测绘地理信息数据的企业有:阿里巴巴、腾讯、亚马逊、谷歌等;使用测绘地理信息数据的应用有:农业精细化生产、消费者行为区域预测、企业和个人的信用跟踪管理等。只有虚拟化的数据中心才能满足测绘地理信息海量数据的快速流动,从而挖掘海量的测绘地理信息中的有效信息,不断创造新价值。
3.3虚拟化的数据中心对人才的影响
虚拟化的数据中心为测绘地理信息行业的专业人才提供了统一、稳定的使用环境,能够显著减少他们用于适应新环境的时间和精力,使其更专注于专业领域的学习和发展;同时,虚拟化数据中心的管理人员需要具备更高的技术水平和专业素质以应对规模逐渐扩大、情况愈趋复杂的虚拟化数据中心的管理与维护,同时进入的门槛也逐步提高。虚拟化的数据中心促进了专业分工与合作,使专业人才之间的界限更加清晰分明。这给使用主体带来两个好处:一是责任明晰,有利于形成发展的合力;二是推动机构的改革与发展。
《大数据时代》一书提到:“当样本数量足够大时,你会发现其实每个人都是一模一样的。”因此,只有汇聚多个数据中心的测绘地理信息,才能够显著的对社会发展和经济增长产生有效益的推动力。在建设中,大数据服务测绘地理信息下的多数据中心融合应该受到政策、环境和标准3方面的严格约束,避免脱缰失控。为此,笔者结合自身在测绘地理信息行业中建设虚拟化数据中心的经验,从政策、环境和标准3方面提出以下解决方案。
4.1制定法律法规政策
测绘地理信息涉及国家秘密、敏感数据、个人隐私等,因此对于不宜公开的地理信息、只能有限度有范围交流的信息、只能在特定场合流通的信息、允许公开公布且自由使用的信息等都应该有明确规定和限定,必须要确立明确的、可依据的法律法规政策才能保障多数据中心融合的实现。这需要具有权威和权力的国家机关进行制订和解释,这也是法律法规政策具备合法性的唯一途径,是第一步,也是最艰难的一步。
4.2多数据中心融合需要形成一个自律的信用环境
信息的获取和使用需要消费者自律,应尽量避免滥用或违规使用,这源自消费者内部的自我要求。信用是外部监督力量,使用信息的行为应处于监管之下,且违规行为要有相应的处罚,两者相辅相成才能形成良性循环。同时,一个自律的良好信用环境的形成将是一个相对漫长的过程。
4.3多数据中心融合需要建立一个统一且唯一的标准
相对于政策与法律,标准是多数据中心融合基于专业技术可行性的角度对多方合作提出的基本要求,是实现多数据中心融合的最后一步,从实际操作来看,它将有利于整个测绘地理信息行业形成合力,促进行业发展。
在建设测绘地理信息数据中心时,建设主体要利用基于数据中心的虚拟化技术,全面考虑数据中心的物理安全和逻辑安全,保障信息能够得到正确而有效的运用。通过大数据分析与挖掘功能,创新服务于主体的产品和服务,同时与同行业务形成差异化,逐渐提升主体的核心竞争力。
主要参考文献
[1]李志刚.建设天地图大数据中心,打造国家战略性信息基础平台[J].测绘地理信息,2015(2).
[2]朱雪坚,方剑强,叶雪波.省域测绘地理信息大数据中心建设的可行性探讨[J].地理空间信息,2015(3).
[3]杨学军,夏正清.贵州测绘地理信息大数据系统建设探讨[J].科技资讯,2015(3).
10.3969/j.issn.1673 - 0194.2016.16.126
P208
A
1673-0194(2016)16-0193-02
2016-07-02