高校图书馆智慧化建设中大数据生态系统构建∗

王世华 陈光耀

(1上海大学图书馆,上海 200444;2上海大学材料科学与工程学院,上海 200072)

1 引言

随着我国全面进入信息时代,各种技术进入高速发展阶段,图书馆的智慧化建设得到了技术支持并全面展开。图书馆已经由传统的服务模式变成了可以进行大规模的虚拟服务。这次新冠疫情发生以来,各高校的智慧图书馆共享系统发挥了重要作用,老师和学生足不出户就能上网学习、资源利用。用户在互联网及物理空间上的行为轨迹、言论交流、检索阅读等等都可能被捕捉,都会留下数据记录痕迹。由“数字化生存”到“透明化生存”,“指纹”到“数纹”,无不彰显大数据的魅力[1]。传统图书馆服务是进行资源的分类存储,而智慧图书馆通过对收集的大数据信息进行整合、分析,来挖掘出有用的信息,通过分析用户使用轨迹来预测用户需求,有针对性的为用户提供智慧服务,提高了图书馆的管理效率和减少了图书馆的资金成本。应用现在先进的跨系统hadoop信息技术,构建智慧图书馆大数据生态系统,该系统还可以实现馆际互联,业务协同、信息共享。只有利用好大数据优势来推进图书馆智慧化建设,才能促进我国智慧图书馆建设去虚向实。这些变化给智慧图书馆的创新发展带来了新的变革。

智慧图书馆大数据生态系统可以发挥信息技术的优势,加强信息资源的整合利用。将各种数据有机结合,使图书馆大数据价值获得最大化,促进图书馆管理方式、服务理念更加智慧化。只有这样才能提升图书馆服务能力和管理水平,给用户带来更多认同感和获得感,才能增强图书馆活力,实现高效、健康的发展。

2 高校智慧图书馆的发展

2.1 智慧图书馆概念

2008年,IBM提出了智慧地球的概念,我国在“十二五”和“十三五”规划中明确提出了高校智慧校园,图书馆作为高校智慧校园建设一部分受到重视。现有的传统的图书馆系统将由智慧图书馆大数据生态系统逐渐取代。智慧图书馆是在数字图书馆基础上发展起来的,利用新一代的信息技术如:大数据、云计算、物联网等构建全新的模式,为用户提供全新的服务,如智能检索、网络预约、智能推荐等,满足现阶段的用户需求[2]。智慧图书馆还以技术为主不断进行融合创新,构建全新的智能化系统,为用户提供个性化服务,提升资源的利用效率,适应新时代发展[3]。

智慧图书馆与传统图书馆相比,更加注重用户体验,运用大数据进行分析与对比,来进行精准化的推送服务,为用户提供需求智慧感知,实现图书馆的智慧化管理,在图书馆角度也能减少管理成本等[4]。智慧图书馆不仅提供资源的服务,而且通过用户和知识的融合,为用户营造一个和谐的知识生态环境,提供更高层次的知识服务。因此,对于智慧图书馆而言,其核心要素就是用户和图书能够实现相互交融,用户随时随地都能享受图书馆资源[5]。

2.2 高校智慧图书馆现状及未来发展方向

现在图书馆已经由传统的资源存储形式发展到以用户为中心,进行大数据分析整合,自主为用户提供个性化信息服务的智慧图书馆。国外已经在积极的探索智慧图书馆,美国纽约21世纪国家图书馆是世界上首个高科技图书馆和信息库。图书馆主体部分是100多个新式电脑工作台,它们都通过本地和远程的终端与Internet连接,用户随时通过图书馆相互查询所需要的图书报刊、电子文献等各种信息资料,包括文字、图片甚至声像多媒体的服务[6]。同时期法国的弗朗索瓦·密特朗国家图书馆、日本电气公司(NEC)开发出的“电子图书馆”系统等,都在智慧图书馆领域里作出了有益的实践。1996年12月上海图书馆新馆是国内首家信息一体化服务的现代图书馆,在某些方面达到了智能化的程度[6]。我国在智慧图书馆建设方面起步晚,近几年我国高校智慧图书馆建设尚处于还处在起步阶段,主要还是图书馆系统、微服务及手机App等形式将馆内信息资源推送给用户,还做不到为用户能提供个性化服务,并不能称为真正的智慧图书馆。随着新一代信息技术大数据、云计算的快速发展,“大数据+微服务”的模式融入图书馆个性化服务中,为构建图书馆个性化服务体系提供了技术保障[7]。可以把智慧图书馆当作一个综合的大数据生态系统,利用大数据分析与数据挖掘技术,可自动检索出用户需求的资源信息、查询的问题,可以以报告形式或可视化形式呈现出来,针对性的为用户提供个性化服务。高校图书馆之间进行信息交互、资源共享,可实现让用户享受一站式自助服务。这样就提升馆藏的利用效率,使高校图书馆发挥其资源配置及共享服务优越性,在软硬件设施上是广泛互联,在资源上面是融合共享的。并且未来智慧图书馆可以提供可视化的决策信息、可预测的智慧服务。上述这些都是智慧图书馆今后的发展方向。

3 智慧图书馆大数据生态系统面临问题及意义

智慧图书馆大数据生态系统是通过信息技术与大数据技术,以用户为中心把各种信息与图书馆整合到一起形成一个新的生态系统,不仅信息资源共享,软硬件设施也可共享。不仅仅体现在管理与服务技术上创新,更是服务理念、思维、模式上创新,是智慧图书馆的拓展与延伸。

3.1 智慧图书馆大数据生态系统面临问题

3.1.1 大数据生态系统开发

图书馆是学科、专业、行业和领域交叉现象最频繁的环境,图书馆管理与服务一直处于跨学科、跨领域的状态中。传统图书馆管理的资源驱动型服务方式已经阻碍了图书馆的发展,而智慧图书馆,用户也可参与到图书馆管理、服务、内容设计当中,非常契合当今时代的要求。随着智能图书馆不断更新发展,图书馆业务的不断更新,资源数据也呈海量式增长,那么面临的问题就是,如何将多种来源,各种异构的数据通过系统整合到一个系统,未来移动服务、社交网络等新的应用都需要在这个统一的系统上展开。以上所有的应用,构成了一个大数据的生态系统,在这个系统上,全面涵盖大数据和分析的各个应用,采用统一架构,集成到一个系统[8]。智慧图书馆系统对数据应用的安全性、可靠性,稳定性的要求会越来越高。

3.1.2 智慧图书馆中大数据管理

随着智能图书馆业务越来越广泛,除去传统的图书资源外,未来移动数据、视频数据等结构化和非结构化数据会越来越多,数据量和维度也会海量增长。数据是大数据分析的基础,要进行大数据资源建设,在统一协同环境下进行大数据采集、存储、管理及分析处理都将面临着前所未有的挑战。智慧图书馆中大数据管理生态系统是高度整合的实时数据处理系统,应具备以下特点,如图1所示。①对海量数据进行采集,需要建立一个系统,可以捕获和管理大数据的所有维度,整合数据孤岛,在尽量不损失价值的情况下减少数据的规模,像数据的清洗、去除等等。②对海量数据进行有效管理,海量数据存储难度大,查询分析效率较低,要有效利用分布式的集群完成数据的存储和计算,在统一的系统中进行数据建模、计算,并利用数据仓库技术降低数据分析的复杂度。③大数据决策与预测应用,利用数据挖掘等相关技术,挖掘行业信息资源价值,提高领域大数据的利用率。所有可使用数据的人,实时获得分析结果,如借阅数据,你只需用自然语言输入查询条件,系统提供实时解决方案,就会一一呈现出来[8]。

图1 智慧图书馆大数据生态系统特点

3.2 构建智慧图书馆大数据生态系统的意义

大数据生态系统是智慧图书馆发展的全新服务模式。图书馆是跨学科、专业、行业和领域的有机融合,尤其需要建立起开放式的大数据知识服务生态系统,好图书馆与外部生态体系的无缝衔接与有机融合。使图书馆管理与服务由用户需求来驱动。构建全新的大数据系统智能系统:它可以借助大数据处理技术,灵活方便地从已有海量数据资源中抓取有用的数据,为资源建设与用户服务提供数据支撑。并且通过对图书馆的大数据进行分析进一步提供资源共享与决策服务、交易和协作的智慧系统,强调完整的业务流程管理能力和效率。提供嵌入分析环境,融入用户施作过程的预见性服务。大数据的核心就是预测,可即时获取可分析的数据,有利于提高对用户需求预测的实时性,它把数学算法运用到海量的数据上来预测事情发生的可能性,以便提供具有前瞻性服务[9]。

4 智慧图书馆中大数据生态系统构建

4.1 智慧图书馆大数据生态系统分析流程设计

充分利用高校图书馆的大数据资源,因Hadoop具有高效性、高扩展性、高可靠性和高容错性,所以采用基于Hadoop分布式架构数据工具进行分析,来为用户提供可预见的智慧服务。智慧图书馆大数据信息分析流程图如图2所示。

图2 智慧图书馆大数据信息分析流程

高校图书馆每天产生的信息量较大,图书资源、光盘、期刊等资源外还有大量的网络资源、视频信息等等,这些数据结构类型多样,有些数据还呈现出孤立性和无序性,随着数据量的逐步增多,处理这些海量数据变成了一项难题。现应用现有的hadoop数据集成等技术,对数据源进行数据的存储与处理,对采集的海量数据进行分布式集群存储,进行数据清洗、查询和数据挖掘,得出用户信息模型,可以对数据进行高效管理,从而为用户的个性化需求提供服务。本文的大数据生态系统借助数据仓库技术,从已知的隐形信息发现有用的信息,进而预测用户需求。对用户需求、未来阅读模式发展趋势、服务系统运行、安全隐患和市场环境变化进行智慧分析和预测,并对图书馆个性化智慧服务的模式、策略、内容和安全防范措施进行决策与评估[10]。

4.2 智慧图书馆大数据生态系统总体架构设计

智慧图书馆大数据生态系统利用现代的信息技术来实现图书馆云服务系统,并可以在虚拟云存储中建立高校共享服务架构,以满足高校图书馆个性与共性的需求。存储设备之间是共享的,不仅可以消除系统异构、地理等原因造成的共享困难,而且可以实现资源的统一组织和调度,还可以大大减少对存储设备的重复投资,提高存储设备和资源的利用。智慧图书馆总体设计框架如图3所示。

图3 智慧图书馆大数据生态系统的总体架构

本地智慧图书馆系统采用Hadoop框架,数据库将放入虚拟环境的资源加载到分布式文件系统中,建立起图书馆与用户多维的交互模式。当用户发起请求时,它将生成函数以进行搜索,在子节点中并行执行任务搜索,最后输出结果。本地智慧图书馆包括一个主节点和多个子节点,主要是图书、用户、移动媒体、传感器等具有信息感知能力的节点,还包括有数据获取与后期处理、智慧服务系统。系统主要通过信息技术与语义技术,对元数据进行语义抽取和副本用来容错处理。主节点使用元数据进行语义抽取,子节点通过副本实现容错,并采用节点动态联接技术,这样可以减少系统扩展的工作量。

集成大数据生态系统聚集了不同的本地图书馆智慧服务,并为每个本地图书馆智慧服务提供了不同的开放接口。集成大数据生态系统采用统一的接口托管,并为每个图书馆提供统一的接口服务。本地图书馆智慧服务系统都能通过云与集成生态系统相互连接起来,通过云的集群技术将现有设备连接起来,那么每个图书馆都可以使用集成生态系统中已有的大量廉价硬件设施,那么该系统就构成具有巨大计算和存储容量的图书馆应用服务器。

4.3 基于Hadoop智慧图书馆大数据的生态系统构建

本文利用Hadoop来构建一个智慧图书馆大数据生态系统,Hadoop生态系统在处理大数据的存储、分析、管理等方面有显著的优势,而Hadoop生态系统是采用集群分布式进行大数据存储和计算,并还有良好的兼容性,很多开源大数据框架都依赖于它,因此采用Hadoop生态系统来构建。如图4所示。

图4 基于Hadoop智慧图书馆大数据的生态系统

针对图书馆的大数据复杂度高,多维及海量管理需求,所应用的数据表示形式、数据传输协议、通信规范以及后端处理应用系统种类都是非常复杂的,如何使得这样一个复杂的应用系统能够平稳可靠的工作,管理控制灵活[11]。就要结合自己业务需求及数据系统技术架构,来选择一个合适的框架与方案Hadoop是一个集群数据管理系统是大量工具集合,它包含大量的组件,从数据存储到数据集成、数据处理以及数据分析师的专用工具,因此应该将Hadoop归类为一个生态系统。Hadoop集群生态系统技术方面可提供服务有HDFS和Spark等关键服务,HDFS是分布式存储器主要应用于离线处理,是Hadoop生态系统中的重要一员,主要用于海量结构化数据存储,HDFS具有良好的可扩展性,适合于批处理并具备高可靠性,但不支持随机查找,不适合实时数据访问。Spark可以是一个子生态主要应用实时处理,Spark可以拟补HDFS的不足,它的特点是轻量级快速处理,可支持复杂查询进行实时流处理,有数据查询分析Spark SQL,实时处理Spark Streaming;并且Hadoop还提供接口支持的各项技术,上述这些工具可以协同工作来完成特定的任务,这个系统可以为用户提供高效、实时的全方位服务。

5 结论

图书馆在智慧化进程中,如何使图书馆变得更智慧,是智慧图书馆建设面临的关键问题。综合运用大数据技术与Hadoop生态系统有机结合,对传统的图书馆应用系统进行改进,构建的基于Hadoop智慧图书馆大数据生态系统,可以实现馆与馆之间信息互联、设施共享的智慧服务,保证智慧图书馆有机发展。智慧图书馆可为用户带来高效、智慧创新服务方式、增强图书馆竞争力,提升图书馆的价值,未来智慧图书馆还可以与用户友好互动,可为用户提供推荐与预测增值服务,并会加强对数据安全和用户的隐私信息方面的保护。