大数据时代人工智能在网络信息检索中的应用

冯燕青

（南京市水利规划设计院股份有限公司，南京 210000）

当前，随着我国进入了新型社会发展阶段，人们可以通过网络进行检索，获得自己需要的信息。尽管与传统的纸质信息检索方式相比，网络信息检索有着巨大的优越性，但仍然存在着信息分类缺陷、部分信息无效、信息量巨大、真假难辨等问题。在此基础上，利用人工智能进行信息分类，可以根据使用者的习惯提供真实、准确的信息，从而促进信息的检索。

1 网络信息检索和人工智能综述

1.1 网络信息检索概况

网络信息检索，其实就是以网络为平台，让用户利用网络搜索引擎搜寻有关资讯。通过分配存储技术，可以将海量的数据信息分散到相应的服务器上。而对于使用者来说，可以利用终端来查询和查看事先存储的资料。因此，所有的信息都可以在互联网上被检索和利用，而为网络使用者提供资讯搜寻的方式或手段，就可以称之为网络信息检索。

1.2 人工智能的概况

人工智能是一种可以通过机械来模拟和感知人在做事情的过程中的感觉，然后做出正确的决定，从而让机器人拥有一种专门的技术来解决问题。因此，人工智能的实质也是围绕人类的头脑进行的。其最大的特征就是基于对问题的正确理解，以一个相对完善的逻辑体系来进行知识的重构和应用。目前的人工智能可以分成以下流派：分布学派、认知学派、连接学派、逻辑学派和知识工程学派。虽然各个流派的研究不同，但在人工智能的构造和作用上，目标都是相同的，那就是人工智能要由中间数据库、解释器、知识收集器、用户界面、知识库和推理引擎组成。

首先以知识库为例，其是人工智能体系中的重要组成部分，是一项重要的存储技术。知识库里面有事实，有信息，有普通的常识和法则。有些特定的系统还包含了资料库。其次是推理引擎，又称推理机，它包含了控制策略和各种类型的任务搜索。作为一个特殊的数据库，其在提供查询的支持层面上扮演了非常重要的角色。用户接口的内容包括了系统和有关信息的传输。推理引擎是一座连接外部信息和内部信息的桥梁，既能向使用者展示最后的加工效果，又能把使用者的意愿传递到计算机。而在这种情况下，利用的非自然语言可以减轻使用者的心理压力，在进行工作和逻辑运算时，起到了存储中间结果和数据的作用。在实际的使用中，系统会将问题显示在黑板上并将问题的初始状况呈现出来。然后，专家系统会按照知识库中的信息进行分析，并对黑板上的信息进行分析。在需要的情况下，还会向客户请教，以补充和解决知识上的不足。因此，从某种意义上来说，黑板也可以看作是一个动态的知识基础，在操作过程中发挥着至关重要的作用。最后是知识采集器，其主要作用是通过对知识库的实际操作进行更新，以确保整个系统的稳定运转。解析仪的任务是解答使用者的问题，并为使用者提供相关该系统结果的操作路径。总之，人工智能就是用科学、虚拟的方式来解决人类的问题。

2 人工智能系统的构成

人工智能系统包含：界面、资料库、推理机、黑板、知识收集器和知识转换解释器等。

2.1 界面

界面，也就是UI 使用者界面。使用者通过使用者界面，设定关键字或搜寻法则让逻辑推理搜寻，最后呈现出使用者所需的文字资讯、音频或影像。界面是一个输入和输出的媒介，可以让数据变得直观，让使用者可以更好地利用信息检索。

2.2 资料库

知识资料库，是人工智能在内部储存知识的场所。将知识进行科学分类，储存各种知识，方便读者查询。

2.3 推理机

推理机是具备逻辑性的程序组，其任务是把人的口头表达转化为电脑的语言，并建立查询的规则来满足使用者的需求。

2.4 黑板

中间资料库与知识资料库不同，中间资料库是在进行推算的时候，将某些资料存储起来。系统中的推理组织设定了某种特定的计算机语言，在黑板上呈现出初始问题的状况。通过对该资料库的问题进行二次开发，对资料库中的内容进行匹配搜索，由专家辅助人员对资料库的内容进行及时升级，弥补缺乏的知识点。其是一个对整个智能系统进行全面控制的动态资料库。

2.5 知识收集器

知识收集器的作用类似于前面提到的黑板后台进行的人工的数据填充更新，但是采用了一种新的方法，即对缺少的知识进行了界定，并利用互联网自动更新知识数据的信息。

2.6 知识转换解释器

知识转换解释器就是通过对使用者查询到的问题进行分析，然后将计算机语言转化为人类语言，为使用者提供信息，搜索推断过程也可以提供给检索使用者。

3 网络信息检索工具的类别

3.1 FTP 类

FTP 类是一种在线即时查询的检索方法。用户要登陆电脑系统进行操作，才能完成对信息资料的检索。同时，利用FTP 的查询功能，还能进行各种数据的传输。比如常用的Archie，是一种基于文档的自动检索程序，通过对文档相关知识进行分析，能够对文档的访问和对其所属的系统进行查询。

3.2 菜单检索

基于菜单式的检索工具，其本质是一种呈分布式的信息查询工具。此类检索工具能够根据用户的实际需求，选择对应的数据。对于一些不太熟悉的内容，用户也能应付自如。

3.3 关键字检索

基于关键字的检索，则是在使用者的操作时可以不管该信息到底存在于哪个特定的电脑中。以广域信息查询系统（WAIS）为实例，利用WAIS 检索系统，从相应的数据库中获取需要的文档，然后在预先设置的检索区域中进行查询。因为这个系统可以有效地进行远程搜索，在完成上述搜索之后，WAIS 软件不但可以显示出更多的内容，而且还可以很好地体现出重点信息。

4 人工智能的优点

与传统的人工检索相比，人工智能的信息检索有很大的优越性，特别是在海量数据中。第一，其具有高精度。因为其机械电路是以电脑为基础的，一般来讲，人工智能信息检索不会像人工那样粗心大意。第二，人工智能永远不会感到疲劳。有些大公司随时都要搜索，如果是纯粹的人工采集，则需要多名数据采集者轮换检索，而使用人工智能进行信息检索，则只需要一个智能系统。第三，其拥有庞大的信息库。可以更精确地按照问题搜索关键字，并且随着使用的年限而不断改进，还可以通过特殊的标准，来过滤所获得的数据。

5 人工智能在计算机网络技术中应用的必要性

进入新世纪，计算机技术取得了空前的突破。目前，世界各国对网络信息安全的认识不断深化，越来越重视网络信息安全问题，并不断强化网络监测和网络管理。通过对数据的采集，可以确定网络监控和网络的控制是否符合要求。在电脑刚刚出现的时候，因为网络上的数据并不稳定，缺乏连续性和规律性，所以要让电脑对数据进行自动的分析和判断比较困难，因此必须融合智能技术。随着电脑的普及，电脑越来越多地成为人们休闲、工作的便捷工具，同时也带来了大量的信息风险。当今世界上因互联网资讯而引发的犯罪事件层出不穷，若要让资讯更安全、更可靠，必须更新电脑，提升电脑效能，因此必须建立一个智能化的系统型管理平台，并具有对信息的自动识别能力。比如，对信息有无高风险的信息泄露、对网络有无故障进行判定，从而保障了用户的个人信息安全。计算机网络技术的发展离不开人工智能技术的发展，而计算机网络中的数据又是由人工智能来处理的，在遇到不确定信息时，其能迅速地解决问题，并迅速地跟踪和定位具有动态变化的信息，使使用者获得技术处理的相关信息。人工智能增强了信息集成的能力，改善了网络管理的问题，提高了管理的效率，使网络的技术水平得到了进一步的提高。

6 大数据时代人工智能在网络信息检索中的应用

6.1 网络智能知识库

将人工智能用于网络信息检索，可以将其划分成类。第一类是智能化的信息处理，主要功能是对网上所收集到的信息进行合理的归类，再按照关键词进行相似性的比对，最终将经过筛选和审查的信息输入到资料库。其主要过程是将所获取的资料的类别与内容，依照一定的原则与方式进行适当的归类，然后进行智能配对；其次，通过对信息库中的信息进行对比和过滤，可以避免信息重复、占用计算机内存等问题，从而实现对信息的智能化升级；根据比对的结果，将数据存储到数据库中，替代原来的数据，也可以将新的数据和原来的数据进行融合，形成一个比较完备的数据库；最终，通过对这些数据进行定时的整理与升级，有效防止数据的重复性，并能够在一定程度上保证系统正常工作。

第二类是信息收集，需要有大量的信息资源来支撑，因此，信息收集是指收集、整理、更新和补充等。一般的信息收集系统包含印本信息收集和数字信息收集。印本信息收集主要是通过对纸质书籍的知识进行扫描、输入、完成数据的转化，转化的工作需要通过人工智能来完成。而数字信息收集则是指通过站点镜像、智能信息监控、智能资源发现和智能信息资源转化4大模块来实现的，站点镜像就是将整个站点的信息全部拷贝到系统的后台，从而加快采集的效率。智能信息监控是指对网上搜索到的信息数据进行监控，如果有变化或升级，那么其所存储的信息就会随之更新。智能资源发现主要是为目标门户站点提供信息的智能搜索，当有与网上搜索相符的内容时，将会进行自动采集。智能信息资源转化是将数据信息进行收集、归类，形成一种全新的信息、知识观念。

第三类是智能信息存储，其是网络信息知识库的一个主要内容，可以保证网络信息检索的效能与质量。通常来说，智能信息存储系统分为软件、硬件和检索3大模块，软件即网络数据访问与存储系统，保证系统的阅读和归档工作，硬件指可以存储海量数据的物理装置，检索系统则是软硬件的组合，利用人工智能提升网络中的信息检索速度，并且还可以利用人工智能来完善信息存储，以提升网络资讯查询的效能。

6.2 智能代理技术

在大数据环境下，以互联网为基础的人工智能已被大量地运用在网络信息检索中。其利用一套软件程序，在获得使用者的授权后，产生一个软件的代理通讯协定，方便了软件和使用者之间的数据交流，并为使用者的网页资讯找到一个比较精确的方法。比如，当使用者需要查找某一项特定的信息时，因为该位置的关键词不能被识别，所以会给出一个模糊不清的关键词，然后通过智能代理技术，可以对该词的检索痕迹、偏好、习惯等进行分析，并对该信息进行跟踪，剔除无效的、无用的信息，最后得到自己需要的资料。该技术更多地被用于普通的搜索引擎如百度、谷歌和搜狗。但是，智能代理技术归类的所有资料也不可能都是精确的，往往会有很多与使用者所要寻找的主题背道而驰的内容。但是，因使用方便及精化模糊信息的功能，其仍然是目前最普遍的一种技术。

在使用智能代理技术的时候，主要就是将其运用到人工智能中去。例如，它可以帮助使用者在互联网上找到合适的网站或者用网站来进行数据的下载，而对网上的资源点，可以进行实时的计算和监测，如果信息出现了问题，要及时地进行维修和汇报。同时，智能网管可以更好地选择资源较多、服务器较宽松的网站，减少了网络拥堵的冲击，从而提升了搜索与下载的速度；同时，在智能信息的处理中，可以让使用者对网络信息进行全面地分析，让使用者能够更精确地设定检索关键词，然后利用人工智能来进行搜索，并按照使用者的喜好来选择合适的信息。

6.3 代理检索技术

智能代理技术在网络信息检索中的运用，可以根据用户的喜好来确定适合于不同客户的搜索服务。利用人工智能搜索代理技术，可以根据已有的数据，对信息进行分析，并根据不同的数据类别，设计出一套较为科学的搜索策略。

7 基于人工智能的网络信息检索

在网络信息检索领域，人工智能的具体运用包括：信息筛选、语音识别、图像识别和视频检索等。其可以对信息进行筛选、查询，并对网络信息进行有效的控制，防止垃圾信息和病毒的传播。而自然语言的处理技术可以通过将复杂的语言法则融入到网页的信息提取中来识别垃圾信息；而语音辨识技术主要是从使用者的声音中抽取出信息，利用某种特定的语言法则来进行信息检索，从而促进网络信息的重新排列与整合；影像辨识与影像检索技术，就是利用电脑或手机上的影像采集装置，将所检索的信息转换成影像讯号，并在影像信息中比较所检索之物的特性与型式等，以选取最精确的信息。

8 结束语

总之，对网络信息检索的需求在大数据时代越来越高。所以，运用人工智能技术开发网络信息检索，能够有效地保证网络检索的有效性和质量。将人工智能运用到目前的网络信息检索中，将极大地提高用户的网络信息检索质量和使用效率。