基于云计算的大数据网络信息检索技术及扩展

2019-11-30 10:21孟颖
科技资讯 2019年27期
关键词:云计算

孟颖

摘  要:随处可见的云储存和计算功能,加快了大数据的产生速度,因此,在进行网络管理的过程中,需要做好大数据信息内容的收集,帮助人们便利地进行数据信息检索,结合实际调查结果显示,大数据中超过半数都是非结构化数据内容,大多数非结构化的数据形式是以文件进行储存。大数据整体被分割成不同的内容,分别储存在不同的服务器中,在主服务器上也会产生相应的储存元数据,该文主要探讨了基于云计算的大数据信息检索技术,对其未来发展进行了整体预测,希望能够促进我国科学技术的发展。

关键词:云计算  大数据网络  信息检索技术

中图分类号:TP18    文献标识码:A 文章编号:1672-3791(2019)09(c)-0011-02

随着信息技术的不断发展,云计算得到了广泛应用,我们正处于信息爆炸时代下,云服务在各个领域的不断应用,越来越多的个人和企业将办公业务迁移到了网络平台上,这些网络平台无疑不产出大量的数据内容。除此之外,自动传感系统、移动设备应用以及科学仪器使用,都会源源不断地提供数据内容,增长速度最为明显的就是社交网络和电子商务数据,数据内容主要是通过音频、视频、图片、文字等多种形式进行传播,要想对这些数据内容进行描述,就需要采用GB、PB甚至ZB,因此我们需要做好云计算中大数据的信息检索工作。

1  大数据网络信息检索技术

(1)大数据网络信息储存。我国在进行网络信息资源储存过程中,存在着数据分散的问题,网络用户要想通过信息系统进行教学资源的查询,就需要分别输入不同的检索条件,这种信息查询形式降低了查询效率。通过混合云计算模式的有效应用,能够改变传统的分布式数据库储存格局,将网络用户所进行的检索与数据库进行结合,全面提高查询过程的整体性。网络用户在进行数据信息查询的过程中,可以直接通过云端进行检索,云客户端能够直接将检索条件发送到系统服务器中,经过短暂的分析为市场提供合理的信息资源,满足网络用户的信息查询要求。混合云计算模式的有效应用,能够减少信息基础设施建设的资金投入,借助大数据技术建立私有云,负责储存重要信息和资源,从而结合网络的发展情况,对云数据进行统一管理,为用户提供更好的信息化服务。

(2)元数据的应用。大数据的产生本身就是随着云计算的超级计算发展而形成的,大数据主要指的是通过结构化和半结构化的数据分析模式,进行数据的储存和收集,结合其数据量,大数据具有种类多、价值高、处理速度快等应用优势,能够更好地进行数据内容的检索,如果我们依然采用传统的关系数据库进行数据储存,不仅耗费储存时间,还需要大量的资金投入,在进行数据查询时也具有一定的困难性。大多数的数据内容都是以文件形式进行储存的,因此云计算的集群文件系统,逐渐成为大数据数据传输的重点内容,集群文件系统主要指的是将一个大数据文件划分为不同模块,分别储存在服务器中,每个模块都带有元数据,元数据被储存到主服务器中。主服务器储存的内容主要有文件和块的命名,空间块的映射文件以及数据备份的主要位置,我们在进行数据查询的过程中,可以直接通过命名空间查询指定文件,找出文件所处的目录和基本路径,原数据所记录的内容有文件储存的具体位置,通过信息查询就能够了解数据的位置移动情况,实现动态化检索。

2  网络信息的收集与检索

信息储存量与信息的价值成反比,随着信息技术的不断发展,用户在进行网页浏览的过程中,会从成千上亿个网页中结合自己的需求,查询相关数据内容,例如:在观看1h左右的视频后获得的有用信息只有几秒钟,同理,云计算之所以成为信息技术发展的基础,就是因为云计算具有超强的信息计算能力,能够通过云数据,在短时间内获得信息处理结果。云计算的有效应用能够快速地挖掘数据所蕴含的价值,是解决查询问题的重要手段,在进行信息检索的过程中,中国常用的百度、美国常用的谷歌都是检索行业的领先企业,我们正处在云计算的大数据发展时代,其发展的核心思想借鉴了搜索引擎所带有的便利形式,让用户在进行大数据信息检索的过程中,将信息检索过程分为网页收录和检索两部分。

(1)网页收录。在进行数据检索的过程中,主要是检索云中的数据服务器,分别对不同节点上的服务器数据信息进行排序和分析,通过分布式检索的方式,将检索到的结果直接收录到Index Repository中,通过网页将搜索引擎中的内容收录在案,制定出搜索索引。用户在结合自身的发展需求提出搜索请求时,实际上是在Index Repository中进行搜索,通过运用云计算的计算方式,通过倒叙索引列表的制订,将其储存到储存器中,设计好页面的主要标题和连接内容,为数据制作索引,并且将网页的主要内容另存为其他索引中。用户在进行数据内容查詢的过程中,所得到的数据结果大多数都经历了较长时间的完善和记录,并且在搜索引擎的缓存区排序,整个过程搜索引擎并不会提前预知用户查询的主要关键词,但是要想全面提高搜索的整体效率,就需要建立关键词词库,在用户提出查询请求时,自动匹配关键词。

(2)数据检索。当用户结合自身需求提出查询请求时,需要像检索程序提供关键词,借助索引储存器将实际内容进行排序,直接通过用户检索界面儿呈现在用户面前,全面提高了信息检索能力,加快检索的速度。对于中文用户讲,在完成用户请求时,主要是通过中文分词实现的。中文分词主要是通过字符串匹配、理解分词、统计分词这3种形式进行的,在收到搜索请求时,需要仔细地分析关键词所蕴含的实际内容,要想保证匹配内容呈现的有序性,就是要通过搜索引擎按照相关的匹配程度进行排序,将分词信息和文件中的连接内容相结合,满足排序的客观性暴涨,检索出的结果与实际用户需求相一致,如果同一网页被其他网页多次指向,说明网页的含金量较高,判断网页自身所处的质量级别,分析网络连接的权重,

3  云计算在大数据网络信息检索技术中的应用

通过云计算技术的有效应用,能够更好地实现资源共享,直接将已经储存的资源内容与软硬件设备相结合,提高计算机数据处理的便利性,云计算技术的应用不仅能够为用户提供安全的网络环境,还能够建立高效的数据储存体系,解决传统计算机使用过程中数据处理传输问题,云计算技术应用能够让人们的网络资源收集,打破时间、空间的限制。要想做好计算机数据处理工作,就需要以云计算技术为核心,助力信息技术在我国社会发展过程中的有效应用,通过云计算技术,能够加快服务器的研发速度,建立优秀的操作系统,让人们能够在最短的时间内收集到想要的数据内容,云计算技术的应用还为数据的储存、分享提供安全保障,减少数据流失所带来的经济影响。

(1)网络环境中的云计算。在进行信息化环境的构建过程中,需要以云计算为主要依据,为当前信息系统中的网络用户,实现网络资源的动态化分配,分配的主要内容有硬件、服务器、软件等。通过云计算定期地对网站上的资源进行更新和维护,同时在网络建设的过程中,可以让网络用户通过服务的动态化申请,争取得到网络硬件和信息资源的使用权和访问权。网络中所采用的云计算,大多数都是私有云计算,针对于当前的内部用户信息开展服务,不为群众提供网络服务。在当前我国的网络建设开展的过程中,大多数都会采用私有云技术,探讨网中所存在的信息资源和数据所具有的集中性特点,结合当前的网络硬软件资源构建私有云,从而全面降低服务的成本。私有云计算的广泛应用,能够为用户提供良好的服务,私有云计算的网络服务器要搭建在单位网络中,通过防火墙进行隔离和保护,让内部用户能够享有稳定的数据信息。要想全面实现信息化管理,就需要建立属于自身的云,在当前的网络中心,建立数据储存云端,相关人员能够通过云计算进行数据查验请求,实现数据应答,从而全面提高管理制度,减少资源管理的成本。

(2)私有云的有效应用。在进行信息化建设的过程中,通过私有云技术的有效应用,能够更好地实现网络数据的储存和整理,同时大数据技术的应用还能够对当前所采用的信息、硬件和软件提供及时的升级服务,在网络终端使用的过程中,网络用户们并不需要对数据进行保护,只要结合自身的信息需求向云空间提出相应的申请。私有云技术的有效应用,能够减少网络资源的投入成本,避免出现资源浪费,结合时代的发展步伐,网络所涵盖的范围也在不断扩大,为网络用户便利地访问网络提供支持,网络的很多数据在进行处理过程中都通过私有云技术实现,用户客户端也可以减少应用软件的安装,只需要有一定的系统作为支撑。整个服务过程都是通过所具有的云端服务器进行承担的,用户只要通过简单的网络终端登录就可以直接连接到的服务网点,对服务器中所含有的海量数据进行访问,云计算的应用优势就在于能够在网络的内部进行设立,做好相关部门的维护和管理工作,保障数据库内部资源不会出现丢失和遭到破壞。同时,云计算技术在网络机房中的应用,还能够全面降低相关用户的查询强度,优化当前的计算机终端环境,在保证网络机房正常运转的情况下,对计算机进行定期的维护和管理,云端服务器还可以通过网络服务中心对各部门的工作进行管理,借助网络中的服务端口,网络用户们能够对感兴趣的资源内容进行查询。为了满足网络用户们的阅览需求,还可以成立以云计算为基础的数字化图书馆,将海量图书资源直接储存到云端服务器中,实现资源共享。

4  结语

要想从众多信息内容中提取日常生活中必要的有力数据,促进人类社会的发展,就需要充分发挥出大数据所具有的信息检索价值,以云计算为基础所开展的大数据检索技术,仍然面临着许多困难和挑战需要解决。例如,多媒体类型的图形、视频、声音等大数据文件,这些文件的检索十分困难,随着智能终端的普及,需要将多媒体类型文件与智能终端进行有机结合,从而通过智能终端的应用进行文件搜索,获取相关信息,工作人员需要以此为基础,充分利用大数据检索技术,找出有价值的信息,通过不同的收集与检索方式,促进我国社会产业变革。

参考文献

[1] 刘亚雄.基于云计算的大数据网络信息检索技术及扩展[J].电子世界,2019(10):201.

[2] 刘昺侯.基于安全云的私有信息检索关键技术研究与实现[D].电子科技大学,2014.

[3] 刘月.探究云计算下大数据的信息检索技术应用[J].数字技术与应用,2015(7):95.

猜你喜欢
云计算
云计算虚拟化技术在电信领域的应用研究
基于云计算的医院信息系统数据安全技术的应用探讨
谈云计算与信息资源共享管理
志愿服务与“互联网+”结合模式探究
云计算与虚拟化
基于云计算的移动学习平台的设计
基于云计算环境下的ERP教学改革分析
基于MapReduce的故障诊断方法
实验云:理论教学与实验教学深度融合的助推器
云计算中的存储虚拟化技术应用