加快建立人工智能安全监管制度

本课对象

广大党员干部和群众。

本课时间

3小时（讲课2小时，讨论1小时）。

本课目的

广大党员干部和群众通过对本课的学习，充分认识人工智能“火爆”背后的风险点，深入理解加快建立人工智能安全监管制度的意义，准确把握加快建立人工智能安全监管制度的着力点，进而不断提高人工智能技术的可靠性和可控性，为中国式现代化提供坚实的安全保障。

习近平总书记指出：“人工智能是新一轮科技革命和产业变革的重要驱动力量，将对全球经济社会发展和人类文明进步产生深远影响。”党的二十届三中全会审议通过的《中共中央关于进一步全面深化改革、推进中国式现代化的决定》明确提出，“建立人工智能安全监管制度”和“完善生成式人工智能发展和管理机制”，为推动人工智能领域的技术进步、产业发展与安全保障指明了前进方向。国家安全是安邦定国的重要基石，加快建立人工智能安全监管制度对于维护国家安全至关重要。这不仅涉及技术层面的风险评估和管控，还关乎法律法规的制定和执行，以及国际合作与交流等。新时代新征程，我们要充分发挥法律和政策的保障作用，有效防范化解人工智能发展带来的各类安全风险，对人工智能进行分级分类监管，逐步构建起具有中国特色的人工智能安全监管制度。

一、人工智能“火爆”背后的风险点

近年来，人工智能尤其是生成式人工智能的快速发展，对人类生产生活产生了深刻影响。生成式人工智能是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。在海量数据和强大算力的支撑下，听得懂、说得出、能互动的生成式人工智能快速迭代升级，呈现出良好互动性、高度通用性、智能生成性等特征，正与各行各业形成更加刚性、高频、泛在、深度的联结，但也存在一定潜在风险。

（一）数据安全与隐私保护方面的风险

为充分理解特定情境中的显性和隐性信息，并精确识别人类的意图，人工智能系统从单一的文本信息扩展到了包含文本、图像和声音在内的多模态感知领域。虽然这种扩展增强了人工智能系统的决策力，但也可能带来数据安全与隐私保护方面的风险。

一是数据质量和可用性方面。人工智能大模型依靠海量数据进行训练和推理，因此，数据的规模、数据结构的均衡程度以及数据内容的准确性都会直接影响人工智能大模型的安全性和输出内容的质量。高质量的数据能够显著提升模型的准确性和可靠性，反之则可能导致决策错误甚至人工智能系统失效。目前，生成式人工智能在实际操作中可能会输出不真实的信息，这一问题被业界称为人工智能的“幻觉”或“事实编造”。例如，一些医疗人工智能诊断系统因信息偏差，增加了医疗误诊风险。此外，数据的可用性问题也不容忽视，尤其在公共数据共享和跨境数据传输过程中，存在一定的技术障碍和安全隐患。

二是数据隐私与保护方面。数据隐私问题在人工智能的应用中显得尤为突出。隐私是自然人不愿为他人知晓的私密空间、私密活动、私密信息。自然人享有隐私权，任何组织和个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。隐私权是人格权的核心要素，其核心诉求是不被公开。随着大数据分析技术的广泛应用，收集和处理个人数据变得更加便捷。人工智能为了改善服务质量，有时倾向于过度收集和使用个人信息，从而带来隐私泄露的风险。例如，为改善用户体验，某些网络个性化推荐系统会过度采集用户数据，这些数据一旦被非法获取或滥用，将对用户隐私造成严重侵害。某些平台利用个人信息进行“大数据杀熟”，实行“价格歧视”，使用户承受不必要的损失。更有不法分子利用个人信息进行深度伪造，通过声音仿真、AI换脸等手段，实施诈骗等违法犯罪行为。这说明，侵害隐私权不仅侵犯了公民的人格尊严，而且可能引发其他严重的社会后果。

（二）算法方面的风险

人工智能的内在逻辑之一是算法。数字时代的机器设备在算法的驱动下实现智能化运行，正推动人类社会生产方式发生翻天覆地的变化。但是，算法可能带来多种风险，这需要我们高度警惕。一方面，存在算法偏见风险。算法偏见是指由于人工智能系统训练出的数据存在偏差，导致算法在进行决策时存在一定的不公平现象。研究表明，相关数据中存在的性别、种族、年龄等方面的偏差会反映到算法的结果中，导致特定群体受到不公平对待。另一方面，缺乏足够的算法透明度与可解释性。当前，算法的复杂性容易使人工智能的决策过程缺乏透明度和可解释性。大语言模型越来越成为全知全能但难以掌控的机器，其在自主学习和自我编程的过程中可能会出现“算法黑箱”现象，这不仅增加了人工智能应用的风险，也影响了用户对人工智能系统的信任度。

（三）其他潜在的安全隐患

首先是极端言论与虚假信息传播问题。生成式人工智能技术的开放性和便捷性使其容易成为极端言论和虚假信息的传播工具。不法分子可能利用生成式人工智能生成虚假新闻、制造谣言，从而扰乱社会秩序。例如，一些深度伪造技术被用于制作虚假视频和音频，误导公众舆论。其次是真实与虚拟的界限容易模糊化。随着虚拟现实（VR）和增强现实（AR）技术的发展，真实世界与虚拟世界的界限变得越来越模糊。虽然这些技术带来了新的应用场景和商业机会，但过度依赖虚拟现实可能导致人们出现社会隔离和心理健康问题。再次是人工智能大模型的“价值对齐”问题。人工智能的“价值对齐”是让人工智能系统的行为符合人类的偏好或伦理原则。如果人工智能系统生成的信息与人类的真实目的、意图、价值观不一致，那么将会给人类造成灾难性后果。最后是数据污染与“投毒”攻击。数据污染是指在数据中故意插入虚假或有害数据，从而破坏模型性能和完整性的行为。“投毒”攻击则是利用数据“投毒”来误导模型输出错误结果。这种攻击方式不仅影响模型的准确性，还可能引发重大安全风险。例如，在自动驾驶系统中，“投毒”攻击可能导致交通事故。

二、加快建立人工智能安全监管制度的意义

建立人工智能安全监管制度的理论基础涉及多个学科领域，包括计算机科学、伦理学、法学等。确保人工智能安全、可靠、可控，有利于人类文明进步，是我们推动人工智能发展必须解决的重要课题。因此，建立一套多层次、多维度的人工智能安全监管制度十分重要。

（一）技术和应用快速发展的需要

目前，我国虽然在人工智能领域取得显著进展，但在安全监管方面仍面临诸多挑战。比如，相关法律法规滞后于实践发展，现行的法律体系未能全面解决人工智能带来的新问题；技术标准和伦理规范尚不完善；个人隐私泄露事件时有发生。只有加快建立系统完备的人工智能安全监管制度，才能确保人工智能技术可持续发展，从而维护社会的整体利益和安全。

（二）实现高质量发展的必然要求

由于人工智能涉及的算法较为复杂，数据处理量较大，我国对人工智能的监管存在一定缺位。如果监管长期缺位，那么可能导致技术失控，甚至触发社会伦理危机。人工智能作为推动高质量发展的重要工具，其安全性直接影响着经济增长、社会进步和文化发展。我们必须汲取历史经验和教训，摒弃“先发展、后治理”的盲目思维，在推动技术创新的过程中防范人工智能无序发展带来的安全隐患。为此，建设一套能够实时监控技术进展、及时发现并解决安全问题的人工智能安全监管体系，对于保障人工智能技术的健康发展至关重要。只有这样，人工智能才能真正推动各项工作高质量发展。

（三）人工智能进行国际竞争和合作的需要

近年来，世界各国纷纷意识到人工智能安全监管工作的重要性，并在人工智能领域不断加快战略布局。然而，各国在人工智能监管工作的理念和实践上存在差异，这种差异可能导致国际合作出现数字壁垒和各国人工智能安全监管相互矛盾甚至相互对立。此外，由于人工智能技术的传播不受国界限制，人工智能模型一经发布便无处不在，现有的监管方式必然产生漏洞，因此，建立全球范围的人工智能监管框架势在必行。我国作为全球最大的人工智能应用市场，有责任也有能力在人工智能领域的全球治理中发挥积极作用，建立符合国际标准且具有中国特色的人工智能安全监管制度，从而推进国际合作与交流。

三、加快建立人工智能安全监管制度的着力点

面对人工智能技术带来的风险隐患，从法律、技术、伦理、国际合作等多个方面综合施策，建立一套有效的人工智能安全监管制度，是我们当前的一项紧迫任务。

（一）完善法律法规

人工智能技术既关系数据安全、算法公正和算力保障等议题，又牵涉网络谣言、网络暴力和虚假信息的治理等。现有的法律法规体系亟须从技术层面健全完善相关监管体系。

一方面，要加快立法进程。面对人工智能发展的迅猛势头，加快立法进程至关重要。目前，我国已经出台《中华人民共和国网络安全法》《中华人民共和国数据安全法》等基础性法律，但针对人工智能的专门性法律尚未完善。2023年5月23日，国家互联网信息办公室2023年第12次室务会会议审议通过《生成式人工智能服务管理暂行办法》。这是一个积极的信号，显示出我国对人工智能安全监管工作的重视。接下来，我们应进一步细化相关法律法规，形成系统完备的法律体系。例如，要明确人工智能的研发、应用、数据管理、算法公开等方面的法律责任和义务，为行业发展提供明确的法律指引。

另一方面，要建立完善的配套措施和执行机制。为确保法律法规得到有效实施，必须建立完善的配套措施和执行机制。这包括设置专门的监管机构或部门，让其负责相关法律的执行和监督工作；建立举报和申诉机制，为公众和企业提供反馈渠道；设立定期审查机制，对法律法规进行动态调整。此外，应加大执法力度，确保各项规定得到严格执行。例如，设立由行业专家、法律顾问和技术人员组成的人工智能安全监管机构，让其定期对相关法律法规的执行情况进行检查和评估。

（二）优化技术标准

人工智能技术在快速迭代升级的同时，引发了一系列问题。解决这些问题的重要思路就是完善技术手段，确保“智能向善”。以人工智能侵犯隐私问题为例，在处理个人数据时，收集、保存、应用等环节都可能引发个人隐私和数据安全等方面的问题。为在各个环节有效保护个人数据隐私，我们要采取有针对性的技术性措施。在个人数据的收集环节，要应用和推广匿名化技术。在收集个人数据时，要通过匿名化处理，使数据与个人身份“脱钩”，从而有效避免人工智能侵犯个人隐私权。在个人数据的保存环节，要积极运用加密技术。目前，数据存储主要依赖本地存储和云存储两种形式。无论是外部攻击窃取数据，还是内部人员未经授权进行访问、使用或泄露数据，都是数据在保存过程中存在的主要风险。因此，必须采取有效的数据加密措施，严格控制数据的访问权限。在个人数据的应用环节，应加强对非法使用个人数据行为的实时监控、干预和阻断，以加大对数据隐私权和个人数据安全的保护力度。

一方面，要建立标准化体系。技术标准是确保人工智能产品和服务质量的关键。应建立全面的标准化体系，涵盖数据采集、数据处理、算法设计、系统开发等各个环节。可以参考有关人工智能管理体系要求、人工智能管理体系审核和认证机构要求等方面的国际标准，并结合我国的实际情况，制定符合我国国情的标准规范。要制定关于人工智能算法透明度的相关指南，明确算法的开发流程、性能评估方法和透明度要求；出台数据质量管理的具体规范，确保数据收集的准确性和可靠性。

另一方面，要制定关键技术标准。现阶段，关于人工智能特别是生成式人工智能的监管模式，我们将监管重点放在了监管组织建设、责任分配和违法责任追究等方面，在数据版权、算法透明度和备案规则等方面仍存在一定欠缺。我们应优先制定关键技术标准，以保证人工智能技术安全可靠。例如，在自动驾驶领域，相关安全技术标准要涵盖环境感知、决策控制、紧急处置等内容；在医疗人工智能领域，相关安全标准要提升诊断、治疗等环节的安全性和有效性。此外，应制定区块链技术在数据存证、版权保护方面的应用标准，以增强数据的透明度和不可篡改性。

（三）遵循人工智能伦理

人工智能伦理是指在人工智能技术的设计、开发、应用和管理过程中，相关人员应遵循的道德规范和原则。这些伦理规范和原则旨在确保人工智能技术的应用符合社会的公共利益。

一方面，要完善伦理准则。要规范人工智能技术的发展，就要持续完善并推广人工智能伦理准则。可以参考国家新一代人工智能治理专业委员会制定的《新一代人工智能伦理规范》，明确人工智能在研发和应用中的伦理要求。例如，制定人工智能研发人员应遵守的职业道德规范，强调研发人员的技术责任和社会责任，指导企业在人工智能产品设计和应用中遵循公平、透明和非歧视原则。

另一方面，要建立伦理审查机制。建立伦理审查机制是确保人工智能伦理规范落地见效的重要措施。要在高校、科研机构、企业中设立伦理审查机构，对人工智能项目进行全面审查。例如，成立由伦理学家、法律顾问和技术专家组成的审查小组，让其对敏感项目进行评估；引入第三方评估机构，让其对人工智能产品进行定期检查和评估，确保人工智能产品符合伦理规范和法律要求；鼓励企业设立伦理专员岗位，加强企业内部伦理事务的管理和培训工作。

（四）加强国际合作与经验借鉴

人工智能作为一项全球性技术，其安全监管涉及多个国家和地区，需要国际社会共同努力。通过国际合作，可以更好维护各国国家利益，共同防范人工智能可能带来的安全风险。

一方面，要对标国际标准。在国际竞争日益激烈的背景下，对标国际标准尤为重要。我国应积极参与制定关于人工智能技术的国际标准，借鉴和吸收国际先进经验。例如，积极参与ISO、IEC等国际标准化组织的相关工作，推动我国在人工智能优势领域的标准成为国际标准；引进国际领先的人工智能安全检测认证体系，从而提升我国人工智能产品的国际竞争力。

另一方面，要加强跨国协作与信息共享。跨国协作与信息共享是应对全球性人工智能风险挑战的重要途径。要通过签订双边或多边合作协议，加强在技术研发、法规制定和执法监督等方面的协作；建立国际人工智能安全联盟，定期召开会议，交流最新的研究成果和监管经验；联合推进研究项目，共同攻克技术难题；设立信息共享平台，及时通报风险事件和应对措施；举办人工智能领域的国际性论坛，促进全球范围内的信息交流与合作。