智慧警务视域下的人工智能安全问题研究

张传浩，胡传平

（1.铁道警察学院 图像与网络侦查系，河南 郑州450053；2.公安部第三研究所，上海200000；3.郑州大学 公共安全研究院，河南 郑州450001）

一、智慧警务的特征

2003 年9 月2 日至3 日，公安部组织召开了全国“金盾”工程工作会议，会后“金盾”工程建设正式启动，目的是增强公安系统统一指挥、快速反应、协调作战、打击犯罪的能力，提高公安工作效率和侦查破案水平。自此，公安信息化建设成为我国公安重点工作之一。随着近年来以“雪亮工程”“平安城市”为代表的安防工程建设成果不断深化，传统警务工作与时俱进，我国提出了“智慧警务”战略。智慧警务主要采用云计算、大数据、泛在网络、数据挖掘、人工智能等新一代信息技术，将公安工作信息技术基础设施、物理设施与人际环境等高度融合，通过机器对数据进行感知、分析、研判，对以社会服务、风险治理、治安防控、应急处置等预防、控制、处置为主的传统警务工作提供智能化决策与技术支撑。网络化、数据驱动、智能处理已经成为以智慧警务为代表的“智慧+业务”模式的典型特征。

（一）网络化与移动化

智慧警务要求能够对社会各层面的态势信息进行有效感知。信息感知是以多种信息网络的有效互联为基础，实现公安信息资源的一体化和立体化［1］。“智慧警务”也需要充分利用“警务云”数据、“云计算”服务和关联分析技术来体现其智慧性、先进性和高效性［2］。当前警务工作越来越呈现出紧迫性、强移动、高突发性的特点，基层民警经常面临不同情况下的采集、记录等信息处理工作，移动警务终端不但是公安大数据信息采集源，而且是一线警务人员警务工作最重要的助手。当前4G LTE 技术以其大带宽、稳定性好、功能拓展丰富等优势构筑公安无线专网，满足音频、图像实时传输、数据交互，为公安部门在重大安保、应急处突、巡逻防控、案件侦办等工作中的扁平化指挥调度需求提供可靠通信保障。随着下一代的无线移动通信技术（5G）正式部署，将构建一个低延时、自组织、高度互联的警用终端与信息系统，一大批新技术和装备将实战化，如警用巡逻机器人、增强现实（AR）眼镜、4K 高清视频监控、警用无人机编队等，移动警务随着网络数据带宽的增长将迎来从技术设备到战术战法，甚至是执法理念的重大变革，从而打造空地一体的立体智慧警务新模式。

（二）大数据驱动

大数据已经成为国家重要的基础性战略资源、重塑国家竞争优势的新方法、提升社会治理能力的新途径。公安部门也认识到了数据的重要性和大数据技术对我国公安工作的重要性。警务大数据是一种特殊的资源，将驱动警务工作从事后处置向事前预防演进。2018 年1 月24 日赵克志部长在全国公安厅局长会议上指出，大数据是公安工作创新发展的大引擎、培育战斗力生成的新增长点。要把握时代发展大势，大力实施公安大数据战略，着力打造数据警务、建设智慧公安，全面推动公安工作质量变革、效率变革、动力变革，努力实现公安机关战斗力的跨越式发展。

（三）人工智能应用

无论是智能移动前端设备，还是警务云平台，采集数据的价值实现都离不开人工智能技术的融合应用。2017年7月，国务院发布《新一代人工智能发展规划》，从国家层面制定未来10 年人工智能的战略部署，该规划提出“围绕社会综合治理、新型犯罪侦查、反恐等迫切需求，研发集成多种探测传感技术、视频图像信息分析识别技术、生物特征识别技术的智能安防与警用产品，建立智能化监测平台。加强对重点公共区域安防设备的智能化改造升级，支持有条件的社区或城市开展基于人工智能的公共安防区域示范”，从国家战略的高度为公安信息化的发展指明了方向。

人工智能为科学发展和社会发展的方方面面带来了很多有益的应用，特别是在智慧警务领域，已经开辟一条新的路径；人工智能正在改变国家、机构和个人安全远景，包括人工智能自身存在的各种安全问题以及人工智能被滥用而引出的安全问题［3］。

二、人工智能安全问题的研究进展

人工智能目前已经成为最重要的全球性问题之一，人类的未来将很大程度上受到我们对待人工智能安全所采取措施的影响，如何对人工智能的发展进行规范，目前在世界范围内还没有形成共识。正如网络应用与网络安全的关系一样，人工智能技术的发展与人工智能安全也是伴生关系。近年来，从政府到行业再到学术界，全球掀起了一股研究人工智能安全问题的热潮。

（一）国外研究进展

2018年，美国来自14家业界、学术界机构的26名人工智能专家撰写了《人工智能的恶意使用：预测、预防和缓解》报告［4］。这份长达100页的报告指出人工智能技术是一把“双刃剑”，具有“双重用途”，报告指出现存的或可能在未来五年内出现的人工智能的恶意用例，及其所带来的潜在安全威胁，并将其分成数字威胁、物理威胁和政治威胁。2019 年1 月，美国国会咨询机构——国会研究服务部（CRS）更新《人工智能与国家安全》报告［5］，分析了人工智能在军事上的应用、挑战及其风险：2019年2 月，美国加州大学伯克利分校网络安全中心的《面向AI安全：更健全的未来全球愿景》报告指出未来人工智能安全主要包括四个方面：数字/物理安全、政治安全、经济安全和社会安全，无论是从政治、经济和社会安全还是从数字安全角度考虑，人工智能已经成为影响国家安全的重要因素，这一因素的重要性已经受到各国政府包括国防部门的密切重视：2019年4月，欧盟人工智能高级专家组正式发布《人工智能伦理指南》［6］探讨了“可信赖人工智能”的3 个关键条件，4 项伦理原则和7 项可以落地的伦理要求，探索搭建自上而下的人工智能伦理治理框架；2017 年日本发布《人工智能技术战略》、2018 年韩国发布《人工智能研发战略》以及2019 年新加坡发布《人工智能治理框架》等，更多是将人工智能安全的战略重点放在促进产业健康发展以及公共安全、国家安全的应用上，并对人工智能的一些安全问题、伦理问题作出原则性规定［7］。

（二）国内研究进展

中国在人工智能领域的发展一直在世界上保持着领先态势［8］，学界和产业界也同样非常关注对人工智能安全问题的研究。2018年9月中国信息通信研究院发布《人工智能安全白皮书》［9］，将人工智能的安全风险分为网络安全风险、数据安全风险、算法安全风险、信息安全风险、社会安全风险和国家安全风险：基于对人工智能安全内涵的理解，覆盖安全风险、安全应用、安全管理三个维度的人工智能安全体系架构，这三个维度彼此独立又相互依存。2019世界人工智能安全高端对话联合“2019世界人工智能大会法治论坛”于8 月30 日发布《人工智能安全与法治导则（2019）》［10］，该导则从算法安全、数据安全、知识产权、社会就业和法律责任等五大方面，对人工智能发展的安全风险作出科学预判，提出安全与法治应对策略，守卫人工智能发展的“安全基因”。

可以看出，国内外对人工智能安全领域的关注点基本都在于如何促进产业发展以及如何利用人工智能保障国家公共安全，提高竞争力方面。关于人工智能安全问题的规定也大多停留在原则、倡议层面，对具体的应用场景和技术的安全规定也仅限在算法、自动驾驶以及智能机器人等领域。在人工智能安全问题的政策制定上还处于探索阶段，所制定的政策法规也带有浓厚的国家色彩和战略考虑。如何在安全可控的基础上利用人工智能在国际舞台上占据有利地位，已成为产业界、政府必做的功课。

（三）智慧警务的人工智能基因

党的十九大提出将“提高社会治理社会化、法治化、智能化、专业化水平”作为加强和创新社会治理的目标。国务委员、公安部部长赵克志在2018年全国公安厅局长会议上也提出了“积极构建以大数据智能应用为核心的智慧警务新模式”目标要求。从第一部分对智慧警务的特征分析中可以看出，大数据、云计算和人工智能已经成为智慧警务的“标配”，特别是人工智能技术是实现智慧警务新模式的重要发力点，为智慧警务的发展注入了人工智能基因。人工智能在公安业务领域的核心问题是基于公安大数据，利用现代计算手段仿真业务专业群体的智慧，通过技术与业务的高度融合解决应用问题。技术研究者和方案提供商需要将蕴含在公安业务流程、业务数据和应用经验中的专门知识转化为智能算法，开发出具有智慧化应用功能的装备和系统［11］。

经过30多年的努力，我国公安信息化建设和应用已经初具规模。建成了专用的业务网络和业务数据库，公安部及各业务局、全国县级以上公安机关都建立了情报中心等业务部门，为人工智能的应用提供了网络和数据保障。但数据效能的提升需要对数据进行有效的治理，智慧警务中的数据治理通过建立基础库，全量视图库，知识图谱视图库，重构所有警务数据，将情报要素、研判基础要素、视频要素等多种信息以实体、关系的方式构建，完成特定人员关系分析、涉案团伙挖掘、串并案分析挖掘等功能。同时，智慧警务数据治理还需要智能平台和系统的支撑，比如数据中心、人口管理平台、人像卡口系统、道路监控系统等，通过边界安全系统获取社会管理和社会公开数据资源，实现公安管控数据资源、视频警务数据资源和社会数据资源的本地化汇聚，借助人工智能中的数据挖掘、计算机视觉、自然语言处理、知识图谱等特定研究领域内的算法和模型来完成数据资源的清洗、加工、整合和融合，为情报研判、办案侦查等提供高效的数据支撑与决策依据。

通过上述分析可以看出，人工智能的深度应用是智慧警务的必由之路。但在数据治理、智能算法、系统建设这三个方面都存在着安全隐患，可以归结为安全风险、安全应用和安全管理三个维度。其中，安全风险关注人工智能技术与产业对网络空间安全及个人隐私等方面造成的负面影响。安全应用关注人工智能技术在网络信息安全领域和社会公共安全领域中的具体应用方向。安全管理则从有效管控人工智能安全风险和积极促进人工智能技术在安全领域应用的角度，构建智慧警务人工智能安全管理体系。

三、智慧警务中的人工智能安全

（一）安全风险

人工智能的安全风险主要源自其功能日益强大、应用日益广泛。人工智能系统的使用预计将导致安全格局的变化。主要体现在以下三个方面：

第一，扩大现有的安全威胁。原来需要人力、智力和专业知识的任务，现如今可利用人工智能系统来完成，攻击成本将大大降低。其结果是攻击者数量更多，攻击速度更快，能攻击的潜在目标更多。

第二，引入新的安全威胁。使用人工智能系统可以完成人类攻击者做不到的攻击任务。并且，人工智能系统本身的安全漏洞也会被恶意攻击者所利用。

第三，改变安全威胁的典型特征。随着人工智能应用越来越多，安全攻击效率更高，针对性更强，难以归因。针对人工智能系统漏洞的攻击也会成为典型安全威胁。

根据影响对象的不同，人工智能的安全风险可以分为四种：

1.网络安全风险

网络安全风险涉及网络设施和机器学习框架的漏洞、后门安全问题，以及人工智能技术恶意应用导致的系统网络安全风险。人工智能技术提升了网络攻击效率，加剧了网络攻击破坏程度。以物联网为例，2018年Fortinet在其全球威胁态势预测［12］中提出，智能联网设备可以被控制对脆弱系统进行规模化、智能化的主动攻击。智能安防设备的部署是智慧警务的一大特征，现阶段发展主要存在设备数量众多、设备种类繁杂、体系结构宽泛、操作系统各异、接入方式多样等复杂性，也面临着同样的网络攻击风险。例如，2015年国内某知名安防厂商的视频监控设备大面积感染病毒，变成了僵尸网络的一部分，智能视频探头成为发动网络攻击的“肉鸡”。

2.数据安全风险

人工智能技术的快速发展得益于大量个人信息的深度挖掘。数据安全风险是指人工智能系统在数据采集、分析及流转过程中产生的各类安全风险，包括数据隐私、数据控制和数据质量等。同时，人工智能技术可加强数据挖掘分析能力，容易加大隐私泄露风险。在大数据和移动互联网时代，公安部门掌握了大量公民的身份、出行、支付、人像等信息，并能够通过数据的深度挖掘获取更多人员轨迹、同行人等隐私信息。例如，2019 年某国内连锁酒店发生用户个人信息数据泄露，成为近5 年国内最大最严重的个人信息泄露事件。

3.算法安全风险

算法安全风险是指由于人工智能算法设计、程序运行导致的各类安全风险，主要包括：设计缺陷、算法歧视、算法黑箱、开源软件、联合训练迁移学习等。以算法歧视为例，一方面，由于数据来源的偏差或是歧视性数据的存在，可能导致相应偏差或歧视性的决策结论；另一方面，由于人为设计上的目的或训练技术、算法设计失误也可能导致这一结果［13］。例如，在警务工作中经常会对人群进行异常行为或是犯罪可能性的预测，使用Northpointe 公司开发的犯罪风险评估算法COMPAS时，黑人被错误地评估为具有高犯罪风险的概率两倍于白人。

4.信息安全风险

信息安全风险指人工智能技术应用于信息传播，以及人工智能产品和应用输出的信息内容安全问题。例如，智能推荐算法利用分析大量用户的上网浏览行为记录，可以加速不良信息的传播，也有犯罪分子利用语音合成技术，假扮受害者亲属进行诈骗的案件。英国剑桥大学等发布研究报告［14］预测，未来通过合成语音和视频及多轮次对话的诈骗技术成为可能，基于人工智能的精准诈骗将使人们防不胜防。

（二）安全应用

人工智能技术能够对关键信息基础设施和经济社会安全运行的重大态势进行感知、预测、预警，能够及时把握群体认知及心理变化，主动决策反应，对保障网络空间安全、有效维护社会稳定具有不可替代的作用。因此，人工智能在安全领域的应用是当前国内外企业技术和应用创新的重点。

1.安防领域应用

目前在国内安防领域，人工智能技术得到了广泛的应用，创造了巨大的市场。人工智能是安防从事后追查升级到事前预防、人工监控到自动监控的重要技术。人工智能可以将安防系统从“看得见、看得清”，向“看得懂”发展，并通过内容识别技术，实现目标辨别、行为判断等功能，实现智能化飞跃。

2.网络安全应用

基于人工智能的网络安全防护应用已成为网络安全产业发展的重点方向，据美国网络安全研究公司Cybersecurity Ventures 发布的《2019 年度网络犯罪官方报告》预计，到2021年，网络犯罪数量将增加三倍，市场将缺少350万名网络安全从业人员［15］。巨大的网安人才缺口为人工智能解决方案创造了机遇，人工智能将有助于威胁检测和响应的自动化，人工智能还可以自动执行重复、繁琐的任务。人工智能以其对网络安全威胁的快速识别、反应和自主学习的巨大潜力，成为推进网络安全技术创新的重要引擎，网络安全向动态防御和主动防御演进。人工智能已从初期的恶意软件监测广泛应用到入侵检测、态势分析、云防御、反欺诈、物联网安全、移动终端安全、安全运维等诸多领域［16］。

3.信息安全应用

近年来，在国内外对信息内容安全管理日趋加强的背景下，随着人工智能技术对文本、图像和视频内容识别功能的日益成熟，面向垃圾邮件、假账户、色情、暴力内容等违法信息的内容安全审查成为人工智能在安全领域的新应用。美国Facebook的首席技术官Mike Schroepfer 在2019 年举办的Facebook F8开发者大会上表示，人工智能已经能够大规模检测不适当的内容［17］。在我国目前以快手、今日头条、抖音等为代表的用户原创短视频平台上，首先应用智能化视频分析快速识别视频中人脸、声音、文字、物品、行为、场景等信息，将视频、直播内容转化为人工智能可以判断的图片和文字，然后通过图片识别、语音语义识别等人工智能技术对特殊物体如人体、刀具、枪支等做判断［18］。同时，也应该看到人工智能审核内容的局限性，机器审核的前提是有大量多样化标注的训练样本，并且用于实际监管的数据与训练样本有一定的相似性，然而被监管的视频内容场景多样、内容多样，机器学习目前的技术水平达不到百分百的敏感内容审核准确率和召回率。

（三）安全管理

人工智能安全管理是人工智能得到的合理合法的应用保障。目前，世界主要国家的人工智能安全管理体系均处于构建初期，主要以思路和建议的形式体现在战略规划和报告中，落地实施的法律法规和管理政策相对较少。针对人工智能四类安全风险，目前我国只有对应网络安全风险和信息安全风险的《网络安全法》和八部信息安全法律法规［19］。针对数据与算法安全，国家还没有出台相应的法律法规和管理条例，而数据与算法安全是人工智能安全的核心。人工智能的安全管理应从伦理规范和法律法规两个层面加强建设，科学预判和管控人工智能安全风险。首先，要加强人工智能相关法律、伦理和社会问题的研究，尤其要关注人工智能模仿人类传播错误信息或将商业设备转化为目标武器攻击人类，建立和优化保障人工智能健康发展的法律法规和伦理道德框架。其次，法律研究领域要开展与人工智能应用相关的民事与刑事责任确认、隐私和产权保护、机器伦理与破坏力评价等伦理与法律问题的交叉研究，建立人工智能的可追溯和问责制度，明确人工智能的设计者、控制者、使用者等相关法律主体的权利、义务和责任［20］。

针对算法安全，应开展算法安全的技术评估，构建人工智能软件质量评估体系，加强智能算法的透明监督。针对人工智能重点应用，开展人工智能算法安全的评估检测［21］；同时，推动技术伦理算法的导入；在算法设计时，要求增强算法的可解释性，促进人工智能算法逻辑符合人类社会的价值规范。

针对数据安全，应加强数据立法和执法，制定数据安全分类分级管理体系和标准，对采集和使用个人数据的人工智能企业或行业主体加强法律和行政监管；同时，丰富人工智能技术发展路径，支持多样化的人工智能技术发展；再者，提升人工智能数据资源的管理水平，促进社会各行业和部门的数据资源共享，降低数据获取成本，提升人工智能行业的数据质量。以公安大数据为例，在脱敏脱密后，在一定程度和范围内，是可以公开给社会共享使用的。

四、总结与展望

复杂的国际国内形势使网络空间成为前沿战场，使得在人工智能背景下的信息网络安全以及人工智能自身安全的研究、开发和应用的社会学属性更加凸显。人工智能技术的应用将对传统的信息安全产品的安全性评价以及系统的安全评估提出挑战。安全智能与智能安全的研究不仅涉及技术领域，还涉及社会学相关属性。相关法律条文及法律体系的制定与完善将伴随始终。公安部门应将大数据作为创新发展的大引擎、培育战斗力生成的新增长点，大力实施公安大数据战略，着力打造数据警务、建设智慧公安，同时，还应着力解决人工智能的安全风险、安全应用和安全管理，全面推动公安工作质量变革、效率变革、动力变革、安全变革，实现公安机关战斗力的跨越式发展。