浅析大数据技术下社会舆情的收集研判处置机制

冉朝霞

（中共郑州市委党校 公共管理教研部，河南 郑州 450042）

当前，社会舆情的收集、研判和处置均存在信息不全面、不真实，反应迟缓，处置技术手段落后，研判能力较弱等问题，各级政府应全面、及时监控信息，提升舆情预警智能化水平、舆情分析研判水平，增强舆情处置引导能力，及早对可能产生的现实危机的走向、规模进行判断，搭建起高效的社会舆情大数据平台，提高数据挖掘质量，建立健全舆情管理体制，正确引导社会舆论和网民理性表达，掌握工作主动权，促进各项工作正常有序开展。

一、技术引领，积极创新社会舆情的收集机制

舆情信息的收集工作是社会舆情治理工作的基础和社会舆情研判工作的前提。大数据时代，社会舆情加速生成，传播速度加快，但由于采集平台技术的限制，制约了客观、真实、全面的舆情信息采集，增加了社会舆情的收集难度。突发事件具有隐蔽性、突发性，前期信息收集面临诸多困难，真实有效的数据信息隐藏在海量舆情数据中，只有深度挖掘热点话题、及时跟进热点动态，积极创新社会舆情的收集机制，才能防患于未然，防范和控制危机的出现。社会舆情收集包括数据采集、数据预处理和数据存储三个部分的内容。

1.数据采集是舆情收集的基础。主流的数据采集方式是运用网站应用程序接口（API）技术和Python网络爬虫技术获取舆情信息。API从网站运营商获取舆情数据，利用Python网络爬虫来设定爬行间隔、目标网站以及存储位置，整合各类信息，批量化自动采集网页数据，确保做到互联互通，把种类繁多的数据整合转化为可视化数据。

2.数据预处理是舆情收集的核心。数据预处理是指删除重复失真的舆情噪音，对首次采集到的原始数据去粗取精、去伪存真地进行二次处理，确保收集到的社会舆情数据真实、客观、全面。“数据预处理的工作原理是运用人工神经网络、线性回归分析、树形网络和支持向量机等方法对数据进行分析和聚类”［1］，通过拉格朗日插值，把非结构化数据处理转化为结构化数据，把非线性函数处理转化为线性函数，通过数据矩阵集合完成关联分析和语义分析。

3.数据存储是舆情收集的保障。当前主流的数据存储技术是云存储，云存储的本质是一个分布式存储系统。云存储将社会舆情大数据保存在远端服务器上，某个远端服务器设备或者本地存储设备如果出现故障，在存储信息即将丢失的情况下，云存储设备中的备份数据将会被激活并自动恢复被损数据。显然单个硬盘容量已无法满足云计算对海量舆情大数据的存储需求，“成为云计算在逻辑虚拟化、性能扩展、动态扩容上的瓶颈”［2］，所以建立大容量数据云存储平台势在必行。现今社会对社会舆情大数据存储设备的数据恢复、数据备份及系统稳定性的要求越来越高，实现设备及其数据的集中统一管理是大容量数据存储平台的存储层的主要功能，从而连接、融合不同的存储设备，实现社会舆情大数据的逻辑虚拟化和动态扩容。

二、科学分类，努力完善社会舆情的研判机制

网络舆情分析与研判起到承上启下的重要作用，向上连接着舆情的收集与监测，向下连接着舆情的引导与应对。使用大数据技术收集到的是庞大的、杂乱无章的数据，通过数据挖掘技术研判数据间隐含的关联性，实现舆情数据的价值。舆情事件的有效引导与处置也是在对舆情数据的科学分析与研判的基础之上才得以实现。社会舆情收集是舆情处置的起点，基于舆情数据分析基础上的舆情研判则是舆情处置和社会治理的重要手段。

1.社会舆情的定点研究判断。舆情在演进过程中，意见领袖和网络大咖的作用不容小视，他们的意见在网上以各种途径遵照二八规律裂变式传播，像滚雪球一样迅速形成庞大的舆论范围，不到两成的小部分人裹挟着个人意愿有时会影响舆情走势，必须重点关注特定人群和特定舆情，做好舆情的定点研究判断工作。

2.社会舆情的定向研究判断。通过对公众的发帖、链接、跟帖等诸多参与形式进行定向挖掘，探知公众的翔实信息和心理诉求，依托大数据技术提供定向服务及时满足公众的诉求，有针对性地对公众进行情绪疏导，及早对舆情作出及时准确的定向研判，尽量避免舆情事件处置过程中出现不必要的冲突和过激的情绪反应。

3.社会舆情的定量研究判断。在实践层面，选取一系列可定量度量舆情传播的指标，诸如节点数、群集系数、聚集程度、子话题嵌入度等指标参数，对网络舆情进行定量分析研究，构建舆情动态传播模型。“舆情事件中的不同个体或群体在网络中形成不同的节点，随着舆情的发展不断实现节点网络的扩大和延展，经过勾连和嵌套形成外延无限大的舆情空间”［3］。群集系数与紧密度可以反映网络节点之间的聚集程度，它们之间存在着一种映射关系，可以通过网络用户之间关系的变化间接地反映舆情的变化，紧密度反映的是与该节点相连的数目，若网络整体的紧密度高意味着该节点很活跃，说明存在很多活跃节点用户，通过计算节点用户的紧密度和平均群集系数反映话题热度和聚集程度，准确判断舆情演化周期。

4.社会舆情的定性研究判断。在大数据环境下，社会舆情的定点、定向和定量研究判断可以利用过滤软件实施常规监测或对重点时期的敏感阶段开展针对性研判，但社会舆情的定性研究判断仍需要人的智能干预。“社会舆情的定性研究判断本质上是通过人为干预实现信息由失衡到对冲，由失真到纠偏，最终真相逐步揭开的过程”［4］。社会舆情的研判分析机制则是通过对舆情的定点与定向研判、定量与定性研判得出趋向和价值判断的过程，利用数据挖掘技术对舆情信息进行科学采集、上报、整理、归并、分析、研判和汇总，从而建立有效、快速的研判分析机制。

三、分层管理，着力构建社会舆情的有效处置机制

大数据时代，多元节点互动主导了舆情演进的深度和广度，舆情节点间的异质性导致舆情层次更加复杂，成为制约舆情有效处置的瓶颈。因此，要实行分层管理，着力构建社会舆情的有效处置机制。

1.构建全方位齐抓保障机制。有效落实社会舆情的研判结果必须建立与之相匹配的全方位的保障运行机制。第一，建立明晰的工作流程。流程包括数据信息的采集、分析和结论生成等环节，在工作流程的制定上必须明确信息采集的范围，根据近期发生的热点事件情况，由政府宣传部门以督导提示的形式明确舆情信息采集的标准，提升信息采集的针对性和有效性。第二，生成规范的结论格式。为了使舆情分析更加准确、结论更有说服力，通常以报告加图表的形式生成舆情研判结果。舆情研判结论报告要包含必备的要素组成、翔实的分析内容和统一的结论格式。大数据有着极强的联动分析能力，在社会舆情的管理中运用这种能力可以把网上网下相关的舆情大数据进行整合，形成一个图表加报告的关联立方体，通过数据挖掘技术将舆情大数据关联立方体应用到日常的舆情管理中，加强对各个社会平台的监管。第三，制定明确的监督反馈程序。反馈程序是舆情预警的重要参照，也是监督舆情结果和指令落地的重要手段。最终生成的舆情结论以指令的形式下发到相关部门，大数据时代对舆情处置的时效性提出了更高的要求，舆情监督反馈程序必须明确规定内容要求及处置时间。大数据技术的发展为传统的社会舆情反馈程序拓宽了视野，对信息数据的传播和舆情动态进行实时监控和及时反馈，从瞬息万变的舆情信息中捕捉重点，合理分配有限资源，提高社会舆情管理效率。

2.构建全员化参与协同机制。舆情治理要激发民众参与舆情治理的热情，充分调动公众个体及其他社会组织参与舆情治理的积极性，形成舆情大数据协同治理的崭新局面。通过数据之间的关联分析识别社会舆情应对过程中各级舆情导控部门间的依赖关系，有针对性地设计各方协调规则，降低社会舆情应对过程中的冲突，最大限度地提升参与部门的行动协调性，将数据仓库、数据挖掘、联机分析处理、模型库、数据库结合起来形成智能化的、综合的决策系统，并提供一整套行之有效的社会舆情处置与导控的决策方案，包括媒体沟通渠道、社会舆情处置预案、社会舆情处置与导控工具等。在协调各个层面社会关系的同时，充分发挥公众个体及其他社会组织在舆情治理中的积极作用，建立舆情大数据的协同治理。

3.构建多层级关联分析机制。通过建立大数据平台和利用数据挖掘技术充分整合舆情大数据信息，形成信息采集、决策预警、评估研判的多层次关联分析体系。大多数舆情流向蕴藏于不易察觉的复杂社会关系之中而不是以明显的公众关联行动为标志，因此有必要建立多层次的社会舆情大数据关联分析机制。基于网站间通过链接实现公众话语与社会议题的线上传播，可以把公众意见的参与形式映射为不同类型的向量函数模型，通过大数据中心建立数学模型进一步强化这种复杂关系的维度，借助云计算、物联网等一系列技术手段，用数学模型间的关联性映射客观世界中社会关系的复杂性。舆情结构的多层次化和关联性为探讨社会舆情的新型线上关系创造了更多空间和可能性，利用大数据技术可以挖掘除却意见领袖之外其他有可能存在影响力的潜在人群，迅速计算出公众该如何分配其话语文本，使得社会舆情治理变得更加具有整体性与系统性。在实际操作层面，借助大数据平台实现个体链接及社会资本的线上互动，但在认知层面，舆情走向的反映往往局限于空间范畴或特定个例，大多难以获取跨地域的舆情知识图景，仅侧重于某种地方性信息。近年来，舆情压力指数居高不下，舆情危机不仅仅是小概率事件，“而是环境、秩序、规则或契约的系统性破坏或错位，是一种社会常态化存在”［5］。因此，要把握社会情绪基调，凝聚社会共识，多层次分析社会舆情大数据，提高公众的理性认知能力，摒弃非黑即白、简单粗暴的思维模式，及时准确地进行舆情研究判断，顺利开展社会舆情大数据在公共领域、政治传播、公众意见、集体行动、社会影响等方面的舆情引导和管控工作。

4.构建全景式信息交流机制。数据挖掘技术从大体量的数据信息中模拟舆情的演进过程，通过全景式的舆情大数据信息精确描绘社会关系及公民肖像，让舆情信息实现良性交流与沟通，真正实现分析过去、研判当下和预测未来舆情走势的功能。“新的舆情观测手段无疑在相当程度上弥补了过去舆情认知的方法缺陷，通过不同的数据采集渠道，公共政治生活中的每个细节均能够被纳入考量，从而勾勒出全景式的舆情生态”［6］。大数据时代的舆情治理必须建立持续的采集、认知、反馈及决策的沟通过程，必须纳入一套全景式信息交流机制，不能靠单纯的控制手段来实现。全景式信息交流机制利用数据挖掘可以全天候掌控舆情动态，实时跟踪公共生活中不同类型的文化子群，分析提取出那些信息度高、与公众利益密切的部分，信息交流不再是嘈杂、琐碎的个人意见的集合，进而形成良性的舆情判断，为政府决策提供科学依据。

5.构建舆情生态治理机制。社会舆情个体之间存在一种相互制约、相互依存的关系，舆情生态场是一个无法拆解的多元成分盘根错节纠缠在一起有着内在关联的有机体。在这个生态系统中，社会舆情中的每个元素彼此关联、共生共荣，通过不断的自我调节、自我发展以及与各元素间的信息交流最终形成了保留一定自由度和活动空间的生物群落与生态环境，在意见对冲、抗衡和妥协中达到舆情生态系统的平衡与可持续发展。社会舆情既可以有自身的发展，也可以为其他舆情提供生存的环境，舆情的共生性和多样性就是在这样一个共同的生态环境里共处与兼容。

［1］郭秀静，王玉琼，胡娟.突发性群体性事件管理问题探讨［J］.国际护理学杂志，2007，（5）.

［2］梁雪云.网络舆情的分析与研判机制研究［J］.今传媒杂志，2016，（5）.

［3］姜鑫.收集、判断与沟通：突发性群体事件的网络舆情研究［J］.学术交流杂志，2014，（7）.

［4］KITCHIN R.Big data and human geography：Opportunities，challenges and risks［J］.Dialogues in Human Geography，2013，（3）.

［5］喻国明.大数据分析下的中国社会舆情：总体态势与结构性特征——基于百度热搜词（2009-2012）的舆情模型构建［J］.中国人民大学学报，2013，（5）.

［6］邵培仁，王钧.触碰隐匿之声：舆情认知、大数据治理及经验反思［J］.编辑之友杂志，2016，（12）.