AI 算法赋能网络文化安全风险预警机制的策略

◎朱 艳 刘铭宸

(东北农业大学，黑龙江 哈尔滨 150006)

一、AI出现前的传统网络文化安全监测方法

“网络文化安全是国家文化安全的最主要形态之一，是国家安全诸多变量中的最重要因素[1]。”在AI 出现之前，传统的网络文化监测主要通过计算机数据挖掘技术，运用特定的计算机程序搜集互联网上的信息，经过文本分析技术，提取文本中的关键信息，并与数据库中的信息进行匹配，来判断是否存在网络文化安全问题。

这一种监测模式依赖于存有已知威胁和相关关键词的数据库。把抓取的数据与存有已知威胁和相关关键词的数据库进行对比。当找到匹配项时，系统会触发警报。虽然这种方法对已知威胁有效，但对新的和未知的威胁不适用。此外，这一种模式还可能会产生大量误报，一旦合法流量恰好与已知威胁具有相似的特征，就可能被标记为恶意的，很多时候需要依赖于人工判断，由专职或兼职人员承担起网络文化安全问题的巡查与监测的责任，通过对重点网站、重点论坛进行日常监测，及时发现网络文化安全问题。

随着我国互联网产业的快速发展，网络空间的信息数量呈现爆发态势。目前，我国网民数量位居世界第一，而且每年以千万级的数目增长。网络空间公众意见数量与密度的爆发式增长，使得通过传统方法来监测网络文化安全的模式越来越难以为继。

二、AI介入网络文化安全风险预警后优势明显

当下，AI 算法介入网络文化安全风险预警主要体现在借助数据挖掘、聚合与清洗，通过技术模型计算风险概率和发生路径，分析判断网络文化安全风险是否出现。相比传统的网络文化预警方法，基于AI 的解决方案在网络文化预警中具有明显优势。

(一)实时监测是AI 算法的主要优势

人工智能不仅具备精密计算能力和强悍算法，更是可以24 小时持续提供网络信息的核查、定位、追踪、监管和治理，彻底改变了网络安全问题的处理方式。例如在网络意识形态风险防控中，人工智能技术能够全天候收集、整理、归类数据，并借助语义、语音和视觉识别技术对内容进行有效识别，通过数据模型深度分析，精准得出反主流意识形态的话语、图像及视频的特征，从而在第一时间防止日益隐喻化的反主流意识内容扩散和传播，利用算法实时监测识别出潜在网络违法者的应用不胜枚举。

(二)效率高、准确性强是AI 算法另一优势

首先，AI 算法技术的运用有效提高了分析网络信息的效率。传统的网络文化安全监测中，安全分析师经常面临着筛选大量日志、警报和报告以识别潜在威胁的挑战的问题。面对当前的互联网规模，传统的网络监管模式显得费力耗时。相比之下，AI 算法可以快速处理和分析大量数据，有效地识别和优先处理潜在风险。例如监测网络文化安全事件时，通过“不良网络文化形成模型”可以对不良网络文化类型进行有效识别，并通过对网络内容的情感分析与流量变化，追踪舆情变化，利用大数据模型来判断群体情感，来判断某一网络群体的情感倾向，及时对相关内容进行限流、删帖，减少相关信息在网络上传播，阻绝不良网络文化的扩散与蔓延，减轻甚至避免不良网络文化对于现实的影响。

其次，在准确性方面，AI 利用先进的机器学习算法构建语料模型，可以更准确识别出网络文化安全威胁。传统的网络文化安全监测依赖存有已知威胁信息和关键词数据库来识别威胁，很难识别隐喻化的威胁信息和新兴网络文化安全信息，AI 则显著提高了准确性。例如2021 年，日本学者用机器学习的方法，对一款社交类游戏进行分析，在不监测聊天内容的情况下，仅基于聊天次数、聊天对象、聊天时间等基本信息，就能较为精准地识别出潜在网络违法者，并预测出违法行为的大概时间[2]。

(三)AI 算法适用场景广泛

随着数字化程度不断加深，网络文化安全已经不再只包含网络空间内的“言论”，更包含更广意义上的文化概念、文化现象与文化安全。

近年来，随着大数据和人工智能的发展，国内外有不少研究人员利用文本分析法进行用户身心健康评估。如Meta的自杀预警系统使用人工智能技术对海量数据进行梳理，寻找有自杀倾向的人。

在国内，仅2023 年第二季度，抖音就利用人工智能技术，发现并报警救助安抚用户773 人，处理怂恿、教唆他人实施极端行为的不当视频2.7 万条。在弱势群体方面，日均对未成年用户过滤内容20 万条，处置80 多万条对中老年人用户骗取互动的违规视频，发出近7 万次风险提醒。知乎平台的算法机器人“瓦力”能在0.3 秒内识别判断内容是否为不友善、答非所问、阴阳怪气等多种需被折叠的答案[3]。

在网络文学领域，AI 技术已经深度嵌入网络文学生态，不仅在内容审核方面深度运用于网络文化安全的监测，在文本审校上，AI 技术可以辅助编辑迅速检索文本，实现网络文学文稿的批量审核、修改和冗余章节的删除等任务，有效提升了网络文学的作品质量。

除了可以预测网络攻击威胁、提高危机事件的预测与管理能力，AI 算法在保障金融安全、提高金融监管有效性和精准度、推进社会治理智能化建设、提供有效网络安全防护手段等方面均有不俗建树。

三、AI算法赋能我国网络文化安全风险预警机制的建议

尽管目前AI 大模型在网络安全领域的应用面临在很多挑战，但毋庸置疑的是，AI 助力网络文化安全风险预警迈向智能化安全的新阶段已经开启。未来5 至10 年，网络安全市场将成为技术创新的战场，智能化、数据隐私保护、多维度防御等趋势将推动网络文化安全预警领域向更高的水平迈进，为数字世界的安全提供更加坚实的保障。

2021 年12 月31 日，中央网信办印发《互联网信息服务算法推荐管理规定》，文中明确提出了算法推荐服务机制对于网络文化安全的责任。任何技术的应用都有其运营的必要场景，随着治理客体、治理对象发生变化，在法律赋权的情况下，AI 算法干预和介入网络文化风险预警的技术条件已经成熟。笔者认为，若要更好地发挥AI 算法在网络文化安全预警领域的作用，需要在监管主体、监管内容、监管方式三方面进行发力。

(一)建设跨平台、跨部门的统一预警平台

实践证明，水平再高的硬件技术也不敌机构重叠、职能交叉的管理“盲区”。近年来，我国不断推动网络文化安全治理工作，目前具有网络文化安全监管职责的部门就有十几家之多，但是职责交叉和重叠问题依旧突出，这大大降低了网络文化安全治理的效率。建设跨平台、跨部门的统一预警平台，可以在很大程度上填补这一漏洞，更好地发挥人工智能技术的治理效能。

当下，国内网络文化安全监测数据孤岛问题较为突出，表现在各网络文化安全监管平台之间数据互通不畅，跨平台数据流动流程繁琐。作为网络信息传播监管的绝对主体，相关部门应努力推动建立能够促进人工智能正向效能释放的跨平台、跨部门的统一预警平台，这不仅有利于各部门掌握涉及部门本身的网络文化安全信息，有利于更好地掌握涉及本部门的网络安全问题情况，还可以避免各部门各自为战，为进一步加强治理提供大数据支持。以文化产品审批为例，如能构建涉及多部门的全国统一的审批平台，不仅能建立权力清单，加快审批流程，持续推进文化领域“放管服”改革，大大减少文化产品审批时间，更有利于网络文化的繁荣。

网络安全问题发展快、影响范围广，要想充分发挥人工智能技术赋能网络安全预警的作用，需要各主体共同参与。不妨借鉴西方国家的做法，建立政府、企业、公民多方参与的行业自律协会，对于新变化、新问题，及时通过行会公约进行约束，充分发挥行业自律协会的作用，建立起沟通政府、互联网企业、个人三方的桥梁。构建相关主体相互配合、协同联动的有效运行机制，及时处理网络文化安全领域的新问题、新变化，保障人工智能赋能网络文化安全预警的平稳、有序、长效发展。

(二)完善法律法规，明确治理标准

2020 年3 月1 日，《互联网信息内容生态治理规定》正式实施，我国初步确立了党委领导、政府管理、企业履责、社会监督、网民自律的多主体协同参与网络安全治理体系。《国家网络空间安全战略》《互联网信息服务管理办法》等法律法规不断出台，网络安全法律体系逐渐完善[4]。与此同时，立法质量上仍显不足，并存在一定程度上的滞后性。有学者认为，2021 年颁布的《个人信息保护法》虽然因日趋严重的个人信息泄露而产生，然而它更多着力于规制信息服务者对用户索要信息公开许可的情况，对人工智能领域产生的问题缺乏进一步的研究[5]。这在一定程度上反映出网络安全法规滞后的现实缩影。

此外，由于多部门分别具有管理网络文化安全问题的职责，制定相关政策的背景与目的存在较大差异，这使得部分法律法规的标准存在一定差异，甚至出现了自相矛盾的情况，影响了立法效能的有效释放。网络文化安全的相关标准特别是事先审查标准的不一致和界定模糊，不仅导致同一款产品需要重复审查、修改，更有甚者一些平台为了免责，审查时层层加码，从重从严，导致大量网络文化内容无法通过审查，这种情况在医疗科普等领域尤为明显。这不仅打击了网民创作积极性，更极大地制约了网络文化的生产和繁荣。

在具体实践中，审查标准的不一致和界定模糊的问题在敏感词设置方面表现较为突出。虽然对于敏感内容的界定有总体的指导精神，但涉及的具体词语词汇需要从上至下的各级平台自行掌握。为了免责，各类平台纷纷采取了更加严苛的监管方式，一封了之，一禁了之，矫枉过正的情况屡见不鲜。因此，作为监管主体，政府部门要在现有网络信息传播领域法律法规的基础上，根据形势发展需要，研究出台人工智能技术应用于网络信息传播领域的专项法规、规章，明确边界和规范，从而切实引导网络平台正确使用人工智能技术。

(三)坚持以人为本，优化算法推荐模式

人工智能在网络安全治理方面拥有广阔发展前景，但同时也存在技术风险，如可生成文本技术带来的虚假信息泛滥、算法推荐技术加剧认知偏倚、信息茧房等问题日益得到关注。近年来，个人信息泄漏事故频发更是引发社会不安，让人们对人工智能的信任度大打折扣。算法偏见是影响网络文化安全治理的重要问题，有学者认为：“算法并非完全价值中立的技术，算法偏见是社会偏见在人工智能时代的产物。算法偏见不仅背离了公平公正的新闻职业规范、挑战了用户知情权和信息选择权，还会解构社会共识，引发舆论风险等[5]。”

算法推荐技术具有一定的意识形态属性，影响着网络空间内的信息把关机制、信息传播秩序和舆论场格局，加剧了传播学理论视角下的“把关人离场”效应、“信息茧房”效应和“沉默的螺旋”效应，导致网络主流意识形态面临主导力式微、凝聚力式微和引领力式微的风险。

从个体权利看，算法技术可能侵犯个体的话语权利，形成技术对主体社会生活的僭越。从技术监管看，“算法推荐的利用若不受监管，将会对主流意识形态传播、网络信息环境和用户的价值观念带来冲击”[6]。从信息把关出发，算法推荐下，把关人缺位，使得信息的客观真实性、价值导向性无法得到保证。从舆论导向看，算法推荐缺乏对信息内容的适宜度和尺度的严格规范，导致缺乏正确价值导向的垃圾资讯充斥网络空间，破坏网络舆论生态。

为了化解算法偏见下的传播壁垒，一方面，需要优化算法推荐技术本身，改进单一化的信息模型，丰富算法模型信息挑选的维度，在满足个性化需求的同时，增加多样信息和公共议题的供给，以促进社会多元主体之间的对话。加强主流价值观对技术的牵引，反对在技术把关上单向度地遵循“唯热度”论的资本逻辑，注重加强鉴定内容的专业性、权威性和真实性等，凸显技术把关的公共性、价值性。创新应用人工智能、云计算、大数据等多样化的信息技术，精准溯源用户个性“信息茧房”的成因，发掘当下用户“茧房”中缺失但又十分重要的信息内容。

另一方面，要建立“人机协同”的把关机制，要防范单向度技术把关模式下的风险，在优化技术把关的基础上，加强人工审核信息，尤其加强对信息内容意识形态导向性审核，发挥人工把关的价值纠偏作用，保证信息分发的真实性、有效性和导向性，强化主流价值守望。以人为本，优化算法推荐模式，建构“人机共融”的预警体系，会带来以往无法实现的网络防御的新水平。

AI 无法轻松搞定所有网络风险，但在有效提高现有网络安全和数据保护程序方面潜力无限。根据Marketsand Markets的报告，全球网络安全中的AI 市场规模预计将从2020 年的88 亿美元增长到2026 年的382 亿美元，预测期间的复合年增长率为23.3%。2023 年10 月，人工智能国际治理领域发生的最重要事件之一，是在第三届“一带一路”国际合作高峰论坛上，习近平主席宣布中方《全球人工智能治理倡议》提出的以人为本、智能向善等原则。在推动人工智能技术服务于网络文化安全治理的实践中，只有坚持以人为本，充分尊重个人信息知情权、同意权，保护个人隐私权，保障充分自主决策权等，才能更好地发挥人工智能的技术优势，以管理工具的变革推动网络文化安全的提效，使公众充分享受到数字化与人工智能带来的便利。

未来，随着社会数字化程度进一步加深，人工智能技术效能在网络空间中进一步释放，美国等西方国家进一步升级对我国技术封锁，如何应对“技术边缘化”带来的国家网络文化安全风险，以及敌对势力滥用通用人工智能技术对我国展开渗透等安全风险，成为整个国家和社会深入研究的新课题。为此，需要更加重视人工智能赋能文化安全的基础理论研究，强化研判人工智能发展趋势，以供决策者完善国家网络文化安全新防护机制的顶层设计。只有如此，才能在国际竞争中掌握主动权，加强对不断演变的网络安全威胁的防御能力。