网络爬虫在舆情监测中的实践探索

缪治 任敏敏

摘要：互联网时代的来临，信息的传播速度加快，人民群众对于社会事件的意见表达越来越方便，为舆情监测的工作带来了不小的压力，该文首先对网络爬虫与舆情监测进行了简要概述;其次，对于网络爬虫在舆情监测发展中的重要性进行综合分析;最后，针对如何优化网络爬虫在舆情监测中的应用提出三点合理性建议。

关键词：网络爬虫;大数据时代;舆情监测

中图分类号：TP393        文獻标识码：A

文章编号：1009-3044（2019）19-0046-02

随着信息时代的不断发展，互联网大数据时代的来临，对于舆论监测的能力也需要不断地升级，网络上言论更加自由，对于社会热点问题网民都愿意进行积极的讨论和意见的表达，为了社会的稳定发展和网络环境的净化需要对社会舆情进行监控，对舆论进行正确的引导，在舆情监测的工作过程中网络爬虫的应用实践越来越广泛，本文针对网络爬虫在舆情监测中的实践探索进行综合分析。

1 网络爬虫与舆情监测概述

1.1 网络爬虫概述

网络爬虫也称为网络蜘蛛，是一种互联网追逐者，根据相应的规则对网络上的信息进行收集和搜索，网络爬虫现今共具有四种形式：（1）传统式网络爬虫，是对于主要的门户网站都进行数据采集的一种方式，传统的网络爬虫由于数据多，尽管运行比较慢，但是信息的收集范围广;（2）聚焦式网络爬虫，也称主题式网络爬虫，是可以根据选择好的主题进行专项的信息搜集，针对特定的领域和主题，具有针对性地满足特定的需要;（3）增量式网络爬虫，是仅针对正在运行的网页进行搜集，可以保证信息的及时性，可以有效地减少信息收集的复杂程度，但是对于信息的收集不全面;（4）深层式网络爬虫，是针对互联网深层次的信息进行整合，一般是将信息形成表单的形式，表单有根据领域知识进行信息整合的表单与网页结构的信息分析整合表单[1]。

1.2 互联网舆情监测现状

网络舆情是指人民群众对社会发生的热点事件以及对事件的后续发展保有什么样的看法，是在人民群众共同参与讨论后形成的社会舆论，现如今对于社会舆论的讨论大多存在于互联网上，国家和相关部门需要对社会舆论进行实时的监督和管控，国家要做到组织舆论、引导舆论、舆论批评和舆论监督，因此要在组织和引导舆论之前进行舆情的调查和监控。网民对于舆情的表达具有广泛性和及时性，每一个网络用户都可以自由地表达想法，由于网络发言过于自由，网民没有足够的自律，因此，网络上经常出现错误的信息传播，影响网络环境的健康有序。网络舆论在现今的发展中对于社会的影响是巨大的，人云亦云的现象也屡见不鲜，对于社会热点问题的表达需要进行舆情监测，做出及时的引导和管理。

2 网络爬虫在舆情监测发展中的重要性

2.1 网络爬虫具有的特质

网络爬虫具有三种特质，首先，广度信息搜索，互联网信息来源广泛、信息量巨大，运用网络爬虫进行信息收集时可以先用广度信息搜索进行初始的筛选，这样可以将大量的无用信息去除，只留下相关信息;其次，最佳信息搜索，是通过对主题最具相关性的信息进行收集，这一特质可以将信息整合的精准度进行提升，对于所需的信息进行最优化的整合，得到最有用的信息;最后，深度信息搜索，互联网信息有很多的链接，具有不同的层次，网络爬虫可以追踪溯源，钻到深层，寻找到信息的起源。网络爬虫根据三种不同的特质对信息进行多种方式的整合和抓取，可以提高信息的过滤程度，再应用到各个领域之中[2]。

2.2 网络爬虫在舆情监测中的优势

网络爬虫可以帮助完善舆情监测的工作机制，通过对信息的综合分析可以建立相关的专业舆情管理部门，由专业人员对网络爬虫的信息进行监控、跟踪和整合，舆情监测的工作人员根据网络爬虫的特点可以对信息进行分析形成更准确的监测结果。网络爬虫对于信息的整理更加专业，可以形成对舆情工作的专业流程，专业平台，对微博、贴吧等社交平台进行实时的监控，运用主题网络爬虫的方式对某一话题进行持续的跟踪监测，可以提高对舆情监控的效率。网络爬虫的应用可以形成定期的舆情汇报，定时设置网络爬虫的舆情监测，通过平时的专业化管理，可以对舆情进行最新形式的监控，可以在事件热度升起前就形成舆情的前期准备，以备不时之需。

3 如何优化网络爬虫在舆情监测中的应用

3.1 网络爬虫技术的升级

网络爬虫现如今是舆情监测的主要手段，想要高效地完成舆论监测，必须从根本上提升网络爬虫的技术，网络爬虫抓取信息的速度通过科学技术手段进行升级革新，信息处理速度是衡量网络爬虫应用效率高低的基础手段，现今的网络爬虫对信息的抓取是隔一段时间进行一次信息的抓取，通过技术的革新将信息抓取隔断时间有效缩短。与此同时，还要增加网络爬虫的主题，很多的话题还不能进行主题式的网络爬虫搜索，随着信息更新的速度不断加快，网络舆情的信息更新也要提升速度，进行主题优化，将与主题相关的信息进行整合，优化网络爬虫的搜索范围，跟上信息的更新速度。网络爬虫对于技术的升级可以将重点放在专业规模的形成，形成专业的数据库，对过往的信息整合数据进行分析，形成对舆情监测的趋势整理，可以增加对于舆情预测的可能性，对于信息的收集不能仅限于收集，对于准确度的把控的要形成科学的筛选[3]。

3.2 舆情工作的多元化转型

舆情监测的工作根据现如今的新媒体、大数据时代也要进行相应的升级与转型，舆情监测需要进行多元化的转型，通过各种各样的社交平台，增加了信息的获取渠道，表达意见和看法的平台也增加了很多，网络信息的可控性降低，舆论更加多种多样，对于舆情监测的形式也需要进行多元化的把控。同时舆情监测的内容也需要进行多元化的整合，旧式舆情监测多是单一的内容识别，对于内容与内容之间的关系没有过多的研究，大数据时代，信息与信息之间、话题与话题之间都是有一定联系的，为舆论背后的行为动机进行综合分析。舆情监测已经不能满足我国对于舆情的管控调整，舆情监测需要向舆论预测的方向进行转变，对于未来的发展进行可行性分析。舆情工作的多元化转型有利于网络爬虫的进一步应用，共同促进社会发展。

3.3 网络爬虫与舆情监测的进一步融合

舆情监测的发展存在着传统化的思想，还没有对大数据时代进行更新认识，网络爬虫应用对于信息的监控认识不到位，没有形成专业的规模，很多的舆情监控部门仅仅是几个人的小部门，对于信息的大数据分析不能满足现今舆情监测的需求。对于网络爬虫的应用需要专业性的人才进行人工智能的操作，舆情管理的人员能力需要进行大数据思维的转变，按照新思维的发展才能将网络爬虫技术不断升级换代与舆情监测进行完美融合，未来的舆情监测将会分工越来越细致，各司其职又相互配合。随着人工智能的不断发展，网络爬虫越来越智能，专业部门需要将人工智能的网络爬虫功能进行专业性质的开发和研究，进行优化数据处理，舆情工作转型和网络爬虫升级同时进行，团队工作人员知识技能提升，互相配合、互相促进，才能将舆情监测的工作逐渐智能化。

4 结语

综上所述，现今是互联网飞速发展的时代，任何人都可以通过互联网进行社交和意见表达，网络舆论具有自发性。随着新媒体、大数据技术的广泛应用，以及各种社交软件的不断涌现，网络舆情越来越能够反映出各种事件的民意导向，对各级决策部门搜集民声、预测事件发展动向都起着重要的作用，因此网络舆情分析变得越来越不可或缺。网络爬虫可以高效、快速地爬取网络信息，实现对舆情的获取和分析，从而为舆情信息的提取提供了一种较好的思路。

参考文献：

[1] 杨凌云.主题网络爬虫关键技术的应用探讨[J].电脑编程技巧与维护，2018（11）：33-35.

[2] 李臣臣，肖巍.网络爬虫技术在高校学生行为分析系统的应用研究[J].电脑迷，2018（06）：72.

[3] 王碧瑶.基于Python的网络爬虫技术研究[J].数字技术与应用，2017（05）：76.

【通联编辑：代影】