云计算在图书馆数据管理中的应用研究

2021-03-15 06:43谭畔袁慧
中国管理信息化 2021年5期
关键词:数据存储云计算技术

谭畔 袁慧

[摘    要] 随着时代的发展,传统图书馆的数据存储与处理模式无法满足人们日益增长的快捷化需求,将云计算技术引入图书馆的数据管理技术中,会大幅提高图书馆的运行效率,这也是将来图书馆数据管理技术的发展方向,文章在如何将云计算技术引入图书馆数据管理途径方面进行了初步研究。

[关键词] 云计算;图书馆;数据存储;技术

0      引    言

随着网络信息服务的发展和数字信息资源的增长,人们在追求信息存储容量扩增的同时,也越来越关注信息存储的有效性、安全性和便捷性等问题。图书馆作为信息资源的汇集中心,每天要存贮处理大量的数据,若将云计算技术引入图书馆的数据管理技术中,与互联网技术相结合,可有效实现数据的存储、使用、共享,满足用户日益增长的服务需求。

1      云计算技术概述

云计算(Cloud Computing)是分布式计算的一种,是指通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序,得到结果并返回给用户。云计算早期,简单地说,就是简单的分布式计算,解决任务分发,并进行计算结果的合并。因而,云计算又称为网格计算。通过这项技术,可以在很短的时间(几秒钟)内完成对数以万计的数据的处理,从而达到强大的网络服务。

现阶段所说的云服务已经不单单是一种分布式计算,而是分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机技术混合演进并跃升的结果。

与传统网络应用模式相比,云计算技术具有可虚拟化、可动态扩展、按需部署、灵活性高、可靠性高、性价比高等优势与特点。

2      传统图书馆数据存储中的问题

传统图书馆数据存储常存在以下四个方面问题:

(1)空间要求高。传统图书馆是存储实体图书,占地面积大,如果要保证图书数量就要保证图书馆有十分庞大的空间。同時,图书馆藏书量由于受到资金和建筑物空间格局限制,不得不减缓新书上架,或是加快老图书下架,这两种情况都会给使用者造成不便。

(2)维护成本高。图书馆里的图书种类数量庞大,不管是新增书籍、下架书籍还是在架书籍,它们的日常维护都是十分烦琐的事情,而这正是图书馆日常进行的事务,因此会消耗大量的人力、物力、财力。

(3)搜索查阅困难。虽然在图书馆内不同的书籍都有不同的分区,但是每个读者能按照分区,快速浏览查阅到想要的图书并不是件容易的事情。这需要对图书分区比较熟悉,而且找到了相似书籍后,从中选择也很麻烦,需要一本本翻阅书中内容。

(4)图书保护不易。传统图书馆存储和借阅的都是实体书籍,在保管、借阅过程中难免会造成图书的破损、毁坏、丢失等问题,给图书馆带来损失,存储的安全性不高。

3      云计算引入图书馆信息管理的优势

(1)成本低。传统的图书馆需要对实体图书进行存储、排放、维护,而使用云计算技术,一切过程都可电子化。首先,图书资源都电子化,节省了空间;其次,查阅都网络、可视化,只要网络技术达到,就可快速地检索、阅读、下载,都是电子资源,不需要纸质形式,大大节约了人力、物力成本。

(2)容量大。在当前互联网环境下,应用云计算技术,图书馆的信息容量可以进一步扩展,不仅包含现有的专业技术领域的图书资源,也可快速链接到相关应用领域,如社会文化、教育培训、传媒、咨询、电子政务等,它具备一种信息中转站的职能。这正是云计算海量存储技术所起的作用。

(3)容错能力强。在存储过程中,图书馆海量的存储数据难免有数据丢失、转移失败、响应异常等故障发生,只要在云存储软件层中,增强计算数据的存储容错能力,就能使系统继续执行海量的存储指令,保障系统发挥最大效能。

(4)存储性能稳定。云计算的图书数据是以数据化的形式存储在网络平台或其他服务器中。云存储指的不是一个特定的存储设备,它是多个存储设备与服务器的集合。正是由于云计算的不依赖于任何一个物质实体,不会因为一个存储设备出故障而停止运行的独特的存储方式,所以,它的稳定性相对来讲更为良好。

4      云计算应用于图书馆数据管理的技术途径

基于云计算独特优良的数据存储技术,将云计算引入图书馆的数据存储管理,可大大提高图书馆的运行效能,可从以下几个技术途径实施。

4.1   分布式和冗余存储技术

分布式存储是云计算中针对大量数据采用的主流存储技术,它根据数据类型,通常分为块存储、对象存储和文件存储,例如HDFS/GPFS/GFS技术属于文件存储,Swift技术属于对象存储,Ceph支持以上三种存储方式,称为统一存储。这些存储技术,能够对数据采用大规模集群算法,实现数据的快速、准确存放,同时能够在硬件故障或扩展硬件设备时,做到尽可能小的数据迁移。例如Ceph技术,采用crush算法,将每个object得到的pgid进行筛选找出符合要求的OSD,将数据分布的查询变成计算操作,使系统能够平均分布数据和负载,解决了中心服务器性能上的技术瓶颈。再如Swift技术采用完全对称、面向资源系统的架构设计,所有组件都可扩展,避免因单点失效而影响整个系统的可用性。

冗余存储技术是使用一组或多组附加驱动器存储数据的副本,比如镜像就是一种数据冗余技术。分布式存储系统中的冗余机制可以调高数据的可用性和系统的可靠性。数据的可用性是指把同一数据存储在多个不同节点上,即使个别节点数据丢失,剩余其他节点数据也可实现数据重构。系统的可靠性是通过数据的冗余和存储节点的协作来保证。

因此,分布式存储可提高图书馆海量存储数据的有序,冗余式存储可提高存储的可靠性。通过云计算,将图书馆所有数字资源存储在“云”中,并由“云”来管理和调度,能够快速有效地获取资源。

4.2   动态资源调度共享技术

虽然云计算是在传统分布式计算、并行式计算等基础上发展起来的,但它比传统计算更复杂、更综合,呈现动态、智能化特征。

由于云计算中业务众多,任务类型众多,如果将所有用户应用程序的调度都置于相同框架下,所产生的调度结果对于用户来说通常并不是最优的。因此,需要从任务类型角度出发,选择不同的调度策略。在调度过程中,由于任务的执行,会改变资源的消耗类型,因而任务类型也会随之发生变化。比如用户向图书馆系统请求图书资源,系统会调度请求读取磁盘分区的图书资源,当图书资源引用的有网络资源,则会产生网络资源调度请求。如果静态进行资源分配和调度,往往会造成资源的不足或浪费;如果进行人工动态资源调整,又会有着明显的滞后性。因此图书馆系统需要不断地实时监控任务执行状态,通过任务资源的消耗类型,动态地调整任务类型,合理配置虚拟机,均衡使用各种资源(CPU、内存、磁盘、I/O、网络),避免出现单一资源瓶颈,提升虚拟机密度,消除热点,提高业务处理能力,实现硬件资源最大化共享,最大化提升调度效率。

云计算环境下,图书馆的各种资源借由一朵“云”结合起来,通过虚拟机内部的计算,实现调度内容的融合、信息共享,通过模糊匹配、分析计算,根据用户指令输出所需内容。它是云計算的核心技术,是动态的、智能化的。

4.3   多用户资源访问技术

多用户简单来说是指一个单独的资源可以为多个用户服务。多用户技术是指,在共用的数据中心内,以一个单一的系统架构为多个客户端提供服务,甚至是定制化的服务,同时仍然保障用户数据的隔离。图书馆资源往往需要满足多用户访问,因此采用多用户技术,对系统的数据和配置进行合理虚拟分区,使系统的每个用户或者组织都能够使用一个共同的系统资源,实现多用户在同时访问相同图书资源时,保证图书系统共性的部分被共享,个性的部分被单独隔离,确保多用户在同时访问、阅读或者同时下载时,系统的安全性与稳定性。通过在多个用户之间的资源复用,运营管理维护资源,有效节省云计算图书馆开发应用的成本。而且,在用户之间共享应用程序资源,可以实现当应用程序升级时,所有用户同时升级。同时,因为多个用户共享一份系统的核心代码,当系统升级时,只需升级相同的核心代码,简捷省力。

为了满足多用户对数据的操作,云计算的数据存储必须具备高吞吐率和高传输率;同时云计算要求硬件资源与软件资源能够很好地被共享,需具备良好的伸缩性,因此多用户技术在云计算图书馆的数据存储系统开发中必不可少。

5      结    语

云计算技术是构建现代数字图书馆资源的重要技术支撑,也是网络信息时代社会发展的新思路。在图书馆管理的各项环节中,应用云计算存储技术可以有效提高管理能效,解决图书馆大部分功能难题。将大量图书资源在云存储环境中充分利用,会让新型数字图书馆体系更符合现代人们对于文化知识、社会资讯、网络信息等社会公共服务项目的需求,改变人们的生活方式。

主要参考文献

[1]黎春兰,邓仲华.论云计算的价值COD[J].图书与情报,2009(4):42-46.

[2]许子明,田杨锋.云计算的发展历史及其应用[J].信息记录材料,2018,19(8):66-67.

[3]徐小龙,吴家兴,杨庚,等.基于大规模廉价计算平台的海量数据处理系统的研究[J].计算机应用研究,2012,10(20):119-121.

[4]赵宏伟,宋宝燕,邵一川.云计算环境下的一种高效的资源管理策略[J].计算机科学,2012,6(12):1-6.

[5]李文军.计算机云计算及其实现技术分析[J].军民两用技术与产品,2018(22):57-58.

[6]晋征.云计算技术在图书馆中的应用探讨[J].网络安全技术与应用,2015(4):63-64.

猜你喜欢
数据存储云计算技术
开源数据库数据存储的实现路径分析
基于Android开发的APP数据存储研究
哈希算法在物联网数据存储中的应用
基于云计算的移动学习平台的设计
探讨电力系统中配网自动化技术
移动应用系统开发
北京市中小企业优化升级
实验云:理论教学与实验教学深度融合的助推器
云计算中的存储虚拟化技术应用