大型数据中心中云计算技术的实现原理及应用

徐咏绮

（俐奥特（上海）商务咨询有限公司，上海 200000）

计算机技术和互联网技术在快速发展的过程中，大数据技术和云计算技术随之产生，尤其是在进入到数据信息化时代以后，大数据技术在人们日常生产和生活中发挥出了重要的作用。随着云计算技术的不断成熟，各行各业对云计算技术的研究更加深入。在建设大型数据中心的过程中，使用的核心技术为云计算技术，实现了云计算技术的改革与创新，深度挖掘大数据技术的潜在价值，为人类社会进步作出了突出的贡献。

1.云计算技术

在互联网平台上新增加的交互模式为云计算技术，云计算技术的虚拟化资源以网络动态拓展为依托，网络和互联网被比喻为云。云服务被划分多种类型，分别为混合云、私有云和公有云等，公有云主要是指公共网的整体和整个互联网；私有云指的是私有的网络信息环境，最为常见的有政府或者是企业的信息集；混合云将私有云和公有云集合在一起。在使用云计算技术以后，资源再利用和信息共享成为可能，IT结构变得更加优化，加快了职能决策技术、虚拟技术和资源整合技术的发展速度。云计算技术的核心为虚拟技术，在数据处理和数据挖掘的过程中发挥了重要的作用。

云计算的主要特征是“云”，具有大规模的特征。云计算支持用户在任何位置使用各种终端获取应用服务，请求的资源来自“云”。多副本数据容错、计算节点同构可互换等措施保证服务，比使用本地计算机更可靠，它支持多个不同类型的应用程序同时运行，具有通用性的特点，并具有很高的可扩展性，以满足应用程序的扩展和用户的增加。用户按需购买服务，节省了软件和硬件的早期投资，用户获得低成本、高自动化服务，节能环保，接受“云” 另一端最专业团队的管理、运维服务。

2.大型数据中心和云计算间的关系

在建设大型数据中心时，其最终的目标为以信息存储系统和用户需求为依托完成访问任务，使应用和切换变得更加自由，快速提升数据的使用效率和挖掘效率，这就是大型数据中心建设的核心内容。云计算技术利用服务器和计算机完成海量数据信息的高效整合，使数据信息的计算效率发生根本性的改变。在建设大型数据中心的过程中，使用云计算技术以后功能变得更加强大，大型数据中心能够像互联网一样完成信息资源的自由搜寻，使得大型数据中心建设过程中遇到的各类问题迎刃而解。将云计算技术融入大型数据中心建设中以后，大数据系统的数据共享速度变得更快，安全级别也更高，同时也会使网络资源的使用效率变得更加快速，对客户端的要求随之下降。

3.大型数据中心建设中使用云计算技术

3.1 虚拟计算与存储模块

虚拟计算模块能够使功能模块高效地转化成为虚拟网络，充分发挥超级计算机、网络、存储和服务器的各项功能，使得物流设备资源的利用效率和整合速度变得更加强大。虚拟化服务器使用的主要软件类型为VM ware软件，UCS在硬件系统中运行，将计算机的计算功能和存储功能高效整合到虚拟平台里，利用虚拟化的软件平台，真正实现不停机操作使系统运行的实时性得到保证。使用UCS能够将人为因素的影响降到最低，无状态计算机技术能够随时迁移物理设备，使大型数据中心管理变得更加便捷，虚拟服务器的使用安全也得到了保证。

所谓虚拟存储以云存储的存储方案为依据，使得数据信息资源的统一存储变成可能，使用虚拟存储技术以后，物理存储的弊端被高效的解决，超大容量的存储成为可能，如果条件允许，无限存储也会存在。以网络协议为依托，创建能够被服务器调用的存储网络架构，使数据信息的存储功能得以实现。在虚拟存储系统里，算法占据着核心位置，主流算法包含的具体形式有FIFO、LRU、LFU、OPT等，不同算法的优势和劣势也存在着很大的差别，本文对LRU算法设计工作给予了重点的论述，以原有算法为基础，优化升级了数据存储的效率和空间。对于传统的LRU算法来说，其机理为距离节点比较近，长时间页面的先删除被省略，在操作的过程中，初始化页面以后，能够实现快速的存储，假如出现了新的访问需求， 能够直接对栈顶进行访问，没有被访问的则会直接移动到栈底。随着访问量的不断增加，会有容量不足的情况发生，栈底信号会出现被删除的情况。在LRU实现升级改造以后，高频率访问的页面会被标记成为热点页面，那些长时间没有人访问的页面则会成为冰点页面，显著提升了运行的实效性。

3.2 虚拟网络及安全服务

虚拟网络能够使分散的网络架构被重新的整合到一个全新的网络架构里，使信息的操作效率和信息的共享率得到明显提高。从技术层面分析，使用虚拟网络以后，网络的运行速度变得更加快捷，将大数据中心建设成本投入控制到最低，优化升级原有网络资源。虚拟技术包含的内容比较多，最核心的内容为虚拟传输、虚拟端口通道和虚拟设备系统等，这也是大型数据中心通信模块的核心内容[1]。在大型数据中心建设的过程中，使用云计算技术以后，其网络架构真正实现了不同程度的虚拟化。在对大型数据中心性能进行衡量时，不再使用硬件这一标准进行衡量，需要从多个方面着手。假如仍然使用以硬件为基础的安全架构模式，网络安全漏洞就会随之产生，给大型数据中心的安全性和运行效率造成不同程度的影响。从应用层面和服务器的角度分析，在互联网中，虚拟安全与服务的安全功能和防御策略最先进，利用虚拟技术使得大型数据中心变得更加安全、可靠。

4.大型数据中心中云计算技术的实现原理

4.1 云架构建设

银行信息服务需求对云架构起到了强有力的推动作用，使用冗余、并行等模式，使系统的可靠性和安全性得到快速提升。在使用弹性云以后，资源分配能够对数据处理需求进行实时的满足，对系统负载动态变化进行了最大程度的适应，使得IT基础架构的可扩展性得以实现。云管理包含的内容非常多，比如应急处置、风险防控、资源分配以及运行维护等，使得投入产出比变得更加合理、科学。

（1）云服务平台。云架构作为数据处理环境，其具有较强的基础性和统一性。某中资商业银行数据中心对行内外业务数据资源进行了高效的整合，积极开展企业级数据模型设计工作，使得平行可拓展的云服务平台得以构建。云服务平台主要包含3个层次的内容，分别为应用服务层、平台服务层和基础设施服务层等。基础设施服务层将管理功能组件和硬件资源进行了高效的集合，通过虚拟化技术对集群、存储和网络等资源进行抽象，使得内部资源管理自动化得以真正的实现。平台服务层处于应用服务层和基础设施服务层的中间，具有可复用性和通用性的软件资源全部集中于此，使云应用的开发、运行、管理和监控等平台环境得以保证。应用服务层处于平台服务层和基础设施服务层的上面，对云架构中的应用软件进行了高效的集合，利用网络资源对用户提出的所有应用服务需求进行满足。云服务平台对Hadoop平台、海量并行计算、开放式PC Server集群等技术进行了充分的利用，使基础环境变得更加高效、稳定，使得IT基础架构变得更加灵活、易于拓展和低成本投入[2]。云服务平台的基础为数据架构，将数据整合和数据覆盖进行全包含。从数据覆盖的角度分析，将某中资商业银行所有的应用系统和行外数据信息进行了全部覆盖，使得数据的集中存放成为可能。从数据整合的角度分析，在高效的整合内外各类数据以后，使得设计数据模型描述的内容变得更加清晰，为后续的数据信息管理、使用和存储提供便利。

（2）核心技术。云服务平台在构建基础环境时，使用的主要技术类型为大规模分布式存储、海量数据处理、并行部署和虚拟化等，使得基础环境便于管理，显著提升了其扩展性和可靠性。

1）虚拟化。云计算技术的核心特点为虚拟化，实现对物理资源的高效整合与划分。某中资商业银行数据中心抽取的数据作用量能够达到8万多个，作业间的关系非常复杂。云服务平台在使用虚拟化技术以后，对物理资源实现了高效的整合和灵活的调配，使作业监控和调度得到不断地增强，数据并发处理效率发生了明显的提升，使得云服务平台的运行变得更加平稳和安全。

2）并行部署。随着物理资源的不断吃紧，并行部署技术也显得格外的重要。云服务平台在使用并行部署技术以后，对以往使用的串行部署方式进行了有效的改变，使其改变成为并行部署方式，完成对多个部署任务的执行，在多个物理机上完成虚拟机的有效部署，将部署所需时间降到最低，显著提升部署过程的速度[3]。

3）海量数据处理。在处理海量数据信息时，使用由众多PC服务器构成的集群来高效的处理海量数据信息，这也是整个行业中普遍存在的问题。某中，资商业银行在使用Map Reduce编程模型和Hadoop集群以后，并行处理大量的数据信息资源，Task Tracker和Job Tracker共同构成了Map Reduce编程模型，一个任务被分解成为多个能够单独执行的任务，以各个计算节点的处理能力为核心，在多个服务器集群上并行处理分配的各项任务，将整个任务的完成时间缩减到最短。

4）大规模分布式存储技术。云服务平台在存储数据信息资源时，使用的服务器数量比较多，将Hadoop分布式文件系统（HDFS）部署在底层，实现了统一管理和抽象表示。分布式文件系统在通用硬件上运行以后，在HDFS易拓展性和高容错率的影响下，能够在上千个服务器集群上发挥出积极的促进作用，数据信息资源的高速输入输出得以真正的实现。

4.2 云服务平台运维管理

某中资商业银行数据中心从实际需求的角度出发，在保证系统稳定运行的情况下，增强动态资源优化管理、创建集中监控系统和集中运维管理平台以后，使基础架构的精细化、自动化管理水平得到显著的提升，并使整个系统的风险费防范能力和实时报警功能变得更加强大。

（1）高效管理。创建集中运维管理平台以后，各类资源的自动备份和配置部署得以真正的实现，在与数据中心管理程序协同运转时，集群内部管理模块发挥出了积极的促进作用，集群的资源调整、节点启停和实时迁移得以高效的实现。集中运维管理平台使用增量备份与全量备份、虚拟集群外部备份与内部备份等相结合的方式，高效的处理了Hadoop分布式文件系统（HDFS）数据备份时遇到的各类复杂问题，将备份时间缩减到最短，节省了大量的存储空间，从而使运维管理的效率发生了明显的提升[4]。

（2）集中监控。积极创建高效的集中监控系统，对开发的接口规范进行不断地明确，使网络、应用和系统等集成得以实现，对代码质量和系统运行结构进行优化升级，使得集中监控系统运行的可靠性和稳定性得到快速的提升。使用功能全面、自动高效的监控工具，集中监控全行各类数据信息资源，并对作业流程和运行状态进行高效的管理。

（3）动态优化。做好云平台资源全生命周期管理工作，科学分析和整合各类数据资源，使其与实际的需求保持高度的统一。以业务需求和服务级别目标为依托，做好资源优化配置工作，显著提升云服务平台的综合实力。对今后云计算技术的发展方向进行预测和分析，做好数据资源的动态调整工作，在确保系统有序运行的背景下，对客户的体验感进行不断提升，使得各类资源的集中、统一管理得以真正的实现。

5.云计算应用的思考

云计算强大的计算能力解决了很多问题，能够真正存储和处理海量数据资源。但是，实际上，如何在计算分布式环境中设计正确的大规模数据模拟器仍然是一个很大的问题。合理地平衡使用资源是必要的，并且具有高效率，安全性和数据库可靠性。当人们想要充分利用 云计算技术来帮助解决一些其他传统IT方法无法解决的问题时，还需要考虑产品和服务的两个出发点，深入思考产品设计和不同地区的差异，想想自己的服务可能的优势和劣势，以及如何通过自己的创新，各种层次的产品和服务来构建不同的规模。如今，云计算的安全性已被研究和讨论。安全性不仅是一个单独的概念，而且还需要在平台运行时得到补充和解决。对于 “云计算” 来说，安全性和可靠性是平台正常运行的基础，这需要大量的实际研究和工作来证明。当前，要进一步深化对网络虚拟化的探索和研究，学习和运用网络虚拟化的相关技术，正确地将网络虚拟化应用于云计算服务，正确认识云计算网络虚拟化的各种特点和优势。

6.结语

在建设大型数据中心的过程中，云计算技术发挥着至关重要的作用，使得硬件资源的使用效率发生明显的改变，同时将成本投入控制到最低，显著提升运行效能。在使用云计算技术以后，大型数据中心的所有性能都发生了明显的改变，数据共享、更新、备份等功能也随之发生了明显的变化，促使大型数据中心架构朝着更加便捷、高效的方向发展。