基于网格技术的数字图书馆跨库检索优化方法研究

于文萍

（江苏联合职业技术学院徐州财经分院 江苏省徐州市 221000）

人类随着互联网的普及从而拥有了新的获取知识的途径。新工具改变了人们的生活方式，将大的研究环境进行了改革，更是在知识范围上更上一层楼。这使得人类文明有了较大的进步，在诸多方面有了更多的便利。生活方式、文化内容、社会结构在新技术的推动下有了旷古绝今的改变。Internet的横空出世不但让人们思考问题的方式出现变化，更是对于生活有了新的理解。第一代Internet以E-mail为主要应用，靠着TCP/IP协议将世界各地的计算机紧紧相连；Web信息浏览和电子商务应用等作为第二代Internet的介质，将全球的网页联通；第三代的Ineternet有了前两代的经验，尝试着将多项网络资源进行大规模的连通整合。而网格将计算形成组织，让用户访问所需资源打破原本的局限，从而得到了充分的资源利用，故网格对于操作系统而言也被称作是“中间件”，其凭借着优异的成绩成为了新兴技术的核心。网格与电力网的运行有着相似之处，是一种面向应用和问题的新型技术。作为图书馆的核心问题，有序的信息组织和分布式的跨库检索尤为重要，大并发量的访问和海量信息的检索查询，及科技文化信息的资源共享都是数字图书馆将要面临的巨大挑战，想要达到目的就要实现信息或者知识检索的快准全，在这个以人为本的社会，用户的体验性也是一个重点，用户对于个性化服务的需求日益增加，将网格从时间和空间中来将内容进行分化，充分的把其中的资源利用才是数字图书馆的主要目标。不仅如此，根据客户需求，将网格之中的丰富的文化资源和科学知识通过多对多的形式，将学校企业等社会部门作为介质来传送至每个有需求的角落之中，让数字图书馆在建设的同时为新时代大门添上一把钥匙，更让其作为发展的催化剂，发挥出更大的作用。

1 网格技术及特点

1.1 网格技术

我们可以把网格看作一个超级的资源池，它将世界所有计算机整合到一起，通过互联网使之变成一台超级计算机，把全球的资源来通过一系列手段处理，从而实现全面化共享，其涵盖范围广，内容极其丰富。消除资源共享，做到资源共享是网格的根本特点[1]。将范围缩小到地区，网格同样可以落户至家庭，甚至于构造个人网格，想要更好的理解网格的概念，罗列以下三点：

（1）从目标入手，资源共享是网格主攻的大方向，分布协同工作为资源共享锦上添花，两者一同组成网格的核心目标。

（2）本质，任何一个技术手段的本质都应该是技术。

（3）网格是计算机设备和服务及其数据的基本设施[2]。

现如今，伊安•福斯特等早期提出的五层沙漏结构和以IBM为主，考虑Web技术，在伊安•福斯特等结合Web Service提出的开放网格服务结构OGSA是较为重要的两个网格体系结构。

1.2 网格特点

作为数据源、高性能计算机、因特网三种科技所进行有机组合和发展的产物，网格与因特网作比有着以下特点：

（1）高性能：因为网格对比现有的因特网有着更大的范围，其拥有更多高性能的计算机，从而大幅度的提升了计算速度和数据处理速度；网格的体系对比于因特网能更好更高效的利用资源，例

如网格的有一独门武器，它可以极大的缩减距离，挑选最近的服务器进行投放，他就是广域缓存。这一能力为数字图书馆的大数据处理提供了强有力的技术支持[3]。

（2）集成性：网格可以将地理位置上分布的各种资源集成为一个整体，这个有机的整体从逻辑上看就像一台计算机，对用户而言可以如同使用自己计算机一样方便的使用各种网络上的资源，这样合成功能出现在了多个联合的资源之中，原本有限资源的局限性就这样被打破，用户的体验感得到了进一步提升，资源得到了更充分的利用。网格继承了各个领域的核心手段，从而高效率的解决了数字图书馆计算资源困乏和存储空间不足这一巨大难题[4]。

（3）资源共享性：通过云端数据可以大幅度扩大资源库，从而达到更大程度的资源共享，扩大了传统因特网的数据库，让各领域资源在其中达到共享，实现数据利用的最大化。

1.3 网格的结构

1.3.1 五层沙漏结构

这种结构并不强调协议定义，而是将协议变为了核心，以强调API和SDK的重要性为主，偏向于对定位进行描述，从底层开始，构造、链接、资源、汇聚、应用五层共同组成了沙漏模型[5]。将各个构层拆开看，构造层包含着资源中的物理一类，如存储等，其控制整个沙漏结构，管理着整个结构的运行，可以看作结构的基石，通过沙漏结构向上提供一个连接点，从而保证了各层的数据互通，

根据上一层的协议，网络资源层应运而生，它提供各部门流动的大门。

将局部资源作为考虑的主体，而汇聚层则把握着大局，控制着全局的状态。其上则是汇聚层，顾名思义，多种资源协同，在以所拥有资源为基础的前提下进行高一级应用的运行，在通用情况下正常处理，在特定情况下采取特殊手段。

应用层将各层资源整合，利用可调配的资源满足其所需，让其更好的在虚拟的组织环境中高效且合理的存在。。以电力系统作比，前四层如同发电厂、电网、配电所及配电房，而应用层则为居民住宅中的各个电力设施，它凭借沙漏一般的特性，以链接和资源两层为主，逐层形成瓶颈来为资源提供一个具有强大安全性的访问能力。

1.3.2 OGSA模型

在2002年6月，GGF之中一个名为OGSI的小组制定出了一个全新的架构，其开放式的特点引来了各界关注，它不仅将网格建造中的必须的组件罗列，更定义了网格的编程模型，给出了一个全新的解决方案，通过网格解决一个企业类成为了一个全新的解决问题的手段。OGSA如同沙漏结构，层层息息相关，将资源利用和技术革新带到了一个全新的高度，通过聚合物理层，提供了许多从前无法想象的额外功能。以逻辑亦或者是物理角度来看，所有的网络资源归根结底都是为了服务，其主要有着程序的执行，数据服务和核心服务等等。OGSA的一切都表示为遵循一套规范的网格服务。以网格服务为中海好处如下：

（1）由于组件虚拟化，一对一的核心的接口让更有层次结构的服务应运而生， 更高级别的服务跨越了从前抽象的定义，以全新的方式统一看待。

（2）因为虚拟化的的存在，许多从前不可能映射到现实的物理资源进入了现实世界，这一具有重大意义的革新让服务有了全新面貌，使得服务进行时不再有原本的束缚。

（3）开放OGSA的意义在于其广泛性，将以科学和工程计算为核心的学术扩展为主要特征为系统服务的社会经济活动领域。

2 数字图书馆跨库检索平台现状

跨库搜索的本质实则时通过一个叫做“智能搜索器”的程序接收客户的请求，通过客户的请求进行一个内部的转化，把其变为能让数据库接受的格式，再将请求进一步发到其对应数据库之中，从而得到结果后转化为统一格式，发回到请求用户手中。现今，国内的清华同方的USP检索平台以及国外多个知名平台均已推出跨库检索服务。

上述产品的出现在为信息资源访问提出便利的同时也暴露出一些问题和不足，主要如下：

（1）多数数据库被诸多不利因素影响导致没能将资源利用率发挥到极致。

（2）在电子资源库高速发展数量大幅度上涨的大环境之下，使用者难以逐次提选择提交，被目标所束缚。

（3）平台本身的建设方面还存在不足，智能化程度有待提高，个性化建设仍需进一步发展。

（4）因数据库激增，导致了数据库多、杂、乱、难以将标准统一，对设计系统有着极大的挑战性，从而导致了难度的提高。

3 优化基于网格技术的数字图书馆跨库检索系统

3.1 优化目标

（1）将检索界面大幅度统一：用户能随时随地访问数字图书馆网格范围内的信息，从而更方便快捷高效。

（2）将资源进行巧妙整合：凭借单个图书馆所拥有的存储量显然难以和大量的数据库相提并论，网格技术的出现解决了这一难题，其通过强大的资源调度能力将众多图书馆资源强力整合，清晰的资源视图打破了传统的存储瓶颈。

3.2 优化方法

（1）现如今，在各个高校、科研机构亦或者是数据库上处均可以看到数字图书馆资源信息资源的影子。各方面机构在遵循规范的前提下，大可轻松加入系统，在可实现的范围内在可实现的范围内，将资源共享，这一操作不但进一步提高了资源的利用，更是巧妙地融入了生活之中。

（2）网格技术有一个显著的特点，其有着优秀的资源调度能力，这一能力甚至于可以跨组织进行，它能解决诸多共享及协作问题，甚至对参与方诸多的检索平台进行协调。

3.3 优化效果

将分散的数字图书馆利用网格的特点，凭借着中间件GT4来构建一个全新的模型，其开放式的架构，通用技术极其规范，恰好可以完美的契合，共同整合为网格服务，

（1）网格的相关服务与核心技术通过连接层决定

（2）通过网格节点层来梳理分布较为凌乱的数据资源，将网格服务作为基础，将各种数据进行处理包装，再按照已经建立的模型分装发布于系统。

（3）以GT4为中间件的中间件层链接了各个节点，以此保证系统的稳定运行。

（4）功能层实则是在GT4上开发的，它支持跨库检索。网格有着两大模块，管理模块来提供查询和检索，以其为基础研发的任务管理模块则负责了调度和协调计算，两者互相协作共同完成着程序的运行。

（5）Agent技术的诞生可以说是人工智能领域的一大崛起之作，它的地位极高，其原因是自然是因为独特的分解分配能力，它如同并发计算中的进程一般，作用之重要可见一斑。

引入Agent技术，以此为基底来建立网格任务管理模块。利用Agent技术进行系统优化从而将对等的协同计算进行分散。

（1）任务分解Agent。用户通过手动提交，将重担交到其手中，在其强大的相关数据库有力的支撑之下，对任务进行全面的分析，慢慢将其分解，并梳理成为在逻辑上息息相关的子任务，从而来形成任务流。

（2）任务分配Agent。因为任务流对于子任务功能有着大量的需求，所以任务分配Agent的必要之处体现了出来，资源Agent有着强大的搜索服务，他的搜索服务让子任务具体网格服务达到了任务的分配，从而实现程序运行，将问题解决。

4 应用实现

在进行平台运行的实践后得出的结论表明了其存在的价值，其更高的查准和查全让客户能够高效准确的找到所需资源，带来了快捷和便利，而在优化之后，平台的质量也有了大幅度的提升，单看系统，可扩展性就有了大幅的提高，而优良的兼容性也是其优势所在，服务质量在原有基础上有了大幅度的提高。

尽管平台包含了大量的信息资源，但因为其中不止有着文本和图像，音视频文件的存在导致对计算机有了更高的要求，而现如今被闲置的计算机资源并非没有，它分布在各大高校和科研网络，网格凭借其自身特点恰好可以将这些闲置已久的资源巧妙地利用，将其构造成为数据机群，来满足客户所需的各类数据处理。

5 结论

网络技术优化跨库检索平台不仅避免了之前无法解决的问题，大规模的整合了有效资源，更是将一站式服务变为现实，故深得好评，但无论多么优秀的作品都会存在双面性，其优秀的性能背后同样也有着许多的问题，安全问题就是其中一大难点，大规模的数据存储于“云端”之中，使用者根本不知道储存的具体位置，而这样一来，别用用心的黑客入侵或者数据的突然丢失都会造成难以估计的损失，尽管现如今许多学者专心于研究如何寻找一个合适的解决办法，但长久以来此问题一直未被解决。在此之外，异构数据检索虽然得以实现，但其在实现的同时因为网格技术的参入也将数据库本具有的一些特性破坏掉，甚至于改变结果，想要真正的将统一检索变为现实，只有通过科研人员通过一次又一次的反复实验，在相对黑暗的领域不停摸索，才能将网络技术研究的更为深入透彻。