人工智能在移动警务终端上的伦理风险及应对策略

寇建波

(甘肃省公安厅, 甘肃 兰州 730000)

公安历史既是一部科技应用进步史，也是一部科技应用批判史，从新中国成立之初“一穷二白”的技术手段到现在人工智能、“智慧+”“互联网+”的科技应用层出不穷，几十年间，公安科技化水平有了革命性的变化。伴随着近年来人工智能(Artificial Intelligence)的飞速发展，新一代公安科技变革也随之而来，带来了整个系统的生态进步、部门重组、结构优化等一系列改变，但同时一些问题也随之显现，其中最令人担忧的就是人工智能在移动警务终端上的伦理风险。

之所以将探讨范围限定在移动警务终端，是因为在“互联网+”概念不断发展的今天，公安机关为了提高执勤办公效率，为我国警察配发了移动警务终端，移动警务终端成了办案、办公的必备工具，且智能化水平越来越高。最初的单一警务终端，一切日常办公学习、执法执勤活动都是基于事先储存的内容、程序来运行，其缺点在于诸如刚发生的案件或者新上网的各级通缉逃犯等内容，无法做到及时更新，极易导致失控漏查。而现在基于人工智能“警务云”下的移动警务终端，完全可以实现适时现场采录核、终端布控预警、移动业务办理等功能，有效将警务移动终端从单人时代转变为共享时代。但问题也随之而来，人工智能具有自主决策属性，在某种可能下，人工智能可以在移动警务终端上自主决策警务活动的开始或者结束，这将远远超出我们对警务运行方式的理解，换句话说就是，究竟谁在主导警务运行？这时或许就像剑桥大学物理学家斯蒂文·霍金教授说的那样，“在我的一生中，见证了许多社会深刻变化，其中最深刻的，同时也是对人类影响与日俱增的变化，就是人工智能的崛起”。因此，对人工智能在移动警务终端上的伦理审视就显得格外必要。

一、移动警务终端对人工智能的必要性需求

在对人工智能在移动警务终端进行伦理反思之前，首先需要确认移动警务终端对人工智能是否具有必要性需求。本人认为，只有当人工智能能够帮助移动警务终端建构场景模型、重组现场影响、收集资源情报、提供判断依据时，才属移动警务终端对人工智能的必要性需求。从价值上看，人工智能应以辅助警察作出必要性判断为基本价值。从过程上看，人工智能应以能够在移动警务终端上为警务活动提供帮助为基本手段。从结果上看，人工智能应以使移动警务终端功能最优、价值最大为基本目标。人工智能应是警务移动终端深度拓展后的必然产物。

(一)是警务工作的迫切需要

人工智能环境下的移动警务终端整合了各类业务系统，融合了5G通信技术、警务数据库同步、人员信息认证以及VPN多种前沿技术，一个终端就能够执行所有任务，改变了过去民警执法执勤必须通过对讲机向指挥中心询问身份信息，后台人工查询录入等方式，实现了即时采、即时问、即时核的功能。并且，人工智能可以实现警务数据自我学习，并利用学习成果灵活适应特定目标和任务的能力，为人工智能在警务技术实践中成长提供了无限可能性。同时，移动警务终端中拥有警务微信、警务动态圈、警务公众号等功能，极大地方便了各地、各部门、各警种之间的信息交流、工作往来、业务合作。

(二)是执法办案的现实需要

传统警务活动中，一切行动以当值警务人员为主，这样做的不利之处在于，警务人员只能通过自我判断来避免执法风险，尤其是在人数众多的现场处置中，很难对现场状态进行合理预判，但人工智能可以根据移动警务终端反馈的现场态势，给出几人出警、携带什么样的装备、是否需要支援力量等建议，与传统警务活动相比，人工智能更能了解、预测警务活动中出现的风险。同时，移动警务终端搭载有人像、语音、车牌、指纹、步态、虹膜智能识别和掌上视频监控、内网定位、350M集群对讲、NFC读卡读证、蓝牙打印等诸多功能，民警只需一点就能完成信息比对、图像核实、即时打印等工作。

(三)是警务主体的客观需要

移动警务终端中的人工智能可以打破警务活动中的时空限制，可以根据时空变换对警务活动及时进行干预，与此同时，警务活动主体与指挥中心的关系不再受限于指挥与被指挥之间，而是同步进行警务活动，无延迟、无差别地对待警务活动中出现的突发状况。这样做的好处在于，现场指挥官不会因指挥失误受到事后追究，指挥中心也能实时参与现场指挥形成最佳解决方案。同时，移动警务终端拥有个人生活和警务工作双系统，既可以使用公安专网完成工作，又可以通过个人系统保持信息畅通，一部终端就可以兼顾工作生活。

二、人工智能在移动警务终端中产生的伦理风险

“我们正在迈入开放性、异质性的智能社会，科技的威力更甚以往，有时候甚至超出了人类的想象”[2]，而人工智能因其具有的颠覆性特征，会让民警在使用移动警务终端时产生相应的伦理风险，具体如下：

(一)人工智能的算法“偏好”

人工智能存在“偏好”的根本原因在于算法，算法指的是为解决某个问题、完成某项任务、达到某种目的而采取的处理规则、运行指令、策略机制，被认为是人工智能设定的核心因素。虽然算法中的数据符号是绝对中立的，但算法设计者因其自身带有的偏见，有可能将“偏见”写入计算程序，从而影响人工智能。况且，当今社会已经进入一切皆可计算的时代，如果人类所特有的情感、思想、行为都能被量化处理，都可以通过算法进行，那么，“用算法来处理人类特有的一些活动，有可能使这些活动丧失最根本的人性”[3]。更何况，一旦人类决定把属于自身的权利、决策都让渡给算法，那么就会形成一个“算法为王”的世界，这“无疑会引发人类身份认知的危机”[4]，从而产生相关伦理风险。

我们现在暂时在移动警务终端的应用中还没有发现算法“偏好”，一个原因是移动警务终端对人工智能的应用还处在弱人工智能时代(1)一般来讲，人工智能分为三个阶段：弱人工智能时代、强人工智能时代和超人工智能时代。弱人工智能时代的产品只能对人为设定做出反应，目前大多数人工智能产品属于弱人工智能产品。例如,语音控制系统，导航等。，技术应用还远未达到。但人工智能在警务移动终端应用上预测的基本原理是以过去的数据预测未来的数据，其本质是一种建立在大数据上的自我学习，然而，要想获得警务领域的大数据，就需要获得社会各个方面的数据，比如街面视频、银行交易、物流信息等数据信息，在海量的警务数据面前，算法怎么样选择数据将会是“偏好”产生的原因。比如，我们在办理案件时需要个人信息全要素录入，如果我们将算法设置为某个群体犯罪率高而去个别关注，那么依据这个算法，人工智能就会自动收集这个群体的整体信息，并根据算法作出是否有犯罪风险的判断。我们不否认这样可以提前预防犯罪，降低犯罪率，但这样就可能出现对某个特定群体的整体偏见，造成身份歧视。而这还是建立在明确算法规则上的，最棘手的问题是我们的警务工程师即使主观上并没有偏见倾向，而人工智能在自我学习中也会出现“偏好”。在实践过程中科研人员发现，人工智能在学习大量数据后竟然会产生“个人偏好”，显著的例子是微软公司的聊天机器人TAY，在学习完成后产生种族歧视和厌恶女性的“个人偏好”，这是人工智能在应用过程中始料未及的。人工智能最令人兴奋的可能性之一就是搭建一个没有人类偏见的世界，但现在它自身却出现“个人偏好”，这其中颇具讽刺意味。随着将来我们进入强人工智能时代甚至超人工时代，难免不发生人工智能因其“偏好”来决策警务活动的现象，而现阶段，其中的技术鸿沟不是公安一家可以解决的，需要全社会参与，这就决定了人工智能在移动警务终端方面依然存在缺陷。

(二)对数字隐私权的侵犯

这二十多年来，随着移动互联网的蓬勃发展，每个人都逐渐习惯了一个现象，就是大型互联网公司在获取个人数据时我们只能同意，一旦选择拒绝，就意味着我们无法使用该公司的产品。而事实上，这些公司索要的是什么数据我们一无所知，而一旦得到数据，电话、地址、年龄、身份证号码、快递、出行、喜好等一切将不再是秘密，在这些公司眼中我们基本上是“透明”的，传统语境下的隐私权已不再成立，取而代之的将是数字隐私权。不同于互联网APP有严格的法律法规限制，各大公司需要用户授权才能收集数据，移动警务终端上的警用APP一般都没有用户授权这一步，其应用内核一般情况下执行的是无差别信息采集，但问题也随之而来，如果警员信息被滥用，将构成对警员这个使用主体数字隐私权的侵犯。如何最大程度上保护警员信息，最低程度上减少对警用APP的限制，笔者认为最主要的就是要尊重警员对自己个人身份认证信息的掌握。

个人身份认证信息必须由用户本人绝对控制，任何公司不经本人允许不能随意使用，这应是人工智能时代保护数字隐私权的一项铁律。如果个人身份认证信息内容必须让渡，那么也要坚持一个原则，即数字统计结果归政府或者公司，但个人数字信息所有权必须归个人所有。举例来说，“我”在淘宝上购买的商品信息经过统计后形成的大数据，具有巨大的商业价值，这一部分信息归淘宝公司所有无可厚非，但“我”夫人利用“我”的淘宝购买了内衣以后，“我”只要打开浏览器，第一时间就有淘宝推送给“我”内衣图片，而且还特别标注是“我”感兴趣的商品，这就会使“我”在使用公共电脑的时候很尴尬，这其实就是一种侵犯个人身份认证信息的典型案例，即未经用户授权，公司不应将个人爱好习惯作为精准营销的手段，这既违反了个人身份信息未经授权不得滥用的原则，也是一种人工智能对数字隐私权的侵犯。强调个人身份信息未经授权不得滥用，是因为在互联网时代，警员的个人身份认证信息一旦泄露或者被境外势力利用造成的后果将不可想象。

技术层面的数字隐私权保护可以通过提高技术门槛、加强公司监管来改善，但有时候移动警务终端使用主体的主动泄密问题也屡禁不止。人手一部警务移动终端意味着警察人手一部公安网，可以随时随地查询信息，虽然公安机关会以级别权限的形式进行限制，但基本的个人信息依然属于全警都可查到的内容。某省就曾出现过在朋友聚会时，一民警为炫耀移动警务终端强大功能，现场查询朋友开房信息，导致朋友气急败坏大打出手的事件。还有就是移动警务终端具有获取公安敏感数据的功能[5]，始终处于公安网状态下，若终端丢失后，将会面临着非法终端接入、非法人员接入、通信人员信息丢失等一系列问题。可见，是否需要使用主体尽到更高保密义务，是需要关注的问题。

(三)监管不完善的隐患

一方面是法律法规不健全。随着人工智能在移动警务终端中的深度应用，必然会伴随着出现一些传统警务中从未出现的法律问题，而且由于人工智能发展速度较快，一些新出现的法律问题是与现行法律法规相冲突的。比如，人工智能在警务应用中最重要的功能就是预测，但基于人工智能“大数据预测的深层次逻辑其实就是有罪推定”(2)大数据预测出来的犯罪，是根据犯罪分子以前的行为来判断，有时候甚至只是一个举动，就判断犯罪分子有犯罪动机，这时候采取行动的法理依据就是“有罪推定”。，人工智能作为大数据应用的金字塔，在预测犯罪时必然也面临着先“有罪推定”的尴尬。比如，一个人在公共场所拿起一把玩具刀挥舞了一下，根据人工智能预测——“这个人要杀人”，但现实中我们都知道这不过是个平常行为，是无法杀人的。如何看待人工智能的预测将是一个法律问题。更为现实的是，当人工智能触发法律后果时，究竟应该追究谁的责任，怎么进行处罚？这些都是需要研究的问题。此外，人工智能经过深层学习后会产生“自主行为”，能够思考自己的目标并进行适时调整，“当你命令一个机器人去工作的时候，它却决定去海边玩”。换言之，“当机器人变得足够复杂的时候，它们既不是人类的仆人，也不是人类的主人，而是人类的伙伴”[6]，对这个看不见摸不着的“伙伴”我们应该怎样进行处罚，是处罚应用者还是设计者？法律的滞后性要求法律法规一般不对实践中没有定型的经验、社会中没有成熟的关系进行调整，而这种滞后性容易导致对人工智能约束不足，一旦出现任何问题，大量法律灰色地带便给人工智能公司推卸责任带来便利。

另一方面是事后责任归属难。人工智能一旦在移动警务终端上出现安全问题，划分责任将可能异常复杂。首先，人工智能通常借助虚拟社区进行开发者协同研发，在其过程中可能用到数量庞大的开发者组件，如果出现问题就会给责任划分带来困难。其次，现阶段大多数人工智能产品的内部运作架构并不透明，多数支持移动警务终端的科技企业并未公开源代码、训练数据及测试信息等，这给监管部门增加了监管难度。再者，随着人工智能计算能力的不断攀升，它可以计算数以兆计的“可能性”，并且其可选择的空间广度往往大于人类，它们能够轻而易举地解决和尝试人类之前从未考虑过的方案[7]。换句话说就是，研发者有时也无法预判人工智能产生的实际效果，一旦出现问题，将责任归于法律意义上没有“故意”的研发者，也实属不公。但好消息是联合国犯罪和司法研究所已决定在海牙法庭成立第一个联合国人工智能和机器人中心，这或许可以成为我国在规范人工智能方面的借鉴。

三、人工智能在移动警务终端中伦理风险的应对策略

麻省理工学院教授Rosalind Plcard说：“机器的自动化程度越高，就越需要道德标准。”[8]人工智能带来了人像、虹膜、步态等一系列识别技术，为警察抓捕罪犯提供了原先难以想象的便利，但同时也带来了一系列伦理问题。因此，认识人工智能技术在移动警务终端应用中的伦理问题，密切关注它的发展，建立相应伦理风险应对路径，才能更好地让人工智能为我们服务。

(一)正确处理人工智能与移动警务终端的关系

目前，人工智能与移动警务终端是一种镶嵌式的发展关系，人工智能需要移动警务终端进行表达，而移动警务终端需要人工智能来发展。但随着时间推移，镶嵌式的发展关系必然跟不上技术发展的节奏，随之而来的将会是一体式发展模式。目前，我们预测人工智能与移动警务终端的发展将会走向两条道路：一是移动警务终端“依附”于人工智能，二是“以人为本”。如果出现第一种情况，必然伴随着移动警务的全面失守，甚至于消亡，人工智能将全面接手移动警务，而移动警务的使用主体也将面临被替代。“人工智能的发展使得人类许多岗位被人工智能所替代”[9]，简单性、重复性的人力劳动将面临取代。仅以“一标三实”(3)一标是指“标准地址”，三实是指“实有人口、实有房屋、实有单位”。其中，标准地址是基础，“三实”信息必须录入在标准地址上。“一标三实”是这些年派出所的主要工作，也是最为耗费人力物力的一项工作。工作为例，现在我们的民警需要上门采集信息，但在可预测的未来，完全可以实现自主采集，这确实节约了我们的警力，但这也将使众多基层警察变成“无用”的警察，现行警察体系将随之产生解体的风险，目前看起来，这还是属于不能被接受的范畴。

我们更倾向于建立第二种关系，即“以人为本”。人工智能的本质是服务人类社会，而人类社会的核心价值就是“以人为本”。在主体地位上，要坚持以人为本的最高标准，即所有的技术发展都是为人服务，体现人的思维价值，实现人的全面自由。因此，在改进移动警务终端时，我们要注意树立正确的科技观、价值观，要注意不是所有为使用者主体省时省力的改进都是必需的，也要适当的保留一些人工操作，只发挥人工智能的工具价值，以此体现执法者的主观价值取舍和法律修养，确保警察执法权威不被人工智能过度侵犯，而事实上许多人工智能科学家“都有意选择了‘以人为本’的设计”[10]。

(二)加强应用中的监督管理

人工智能之所以在移动警务终端应用中产生伦理风险问题，与监管不严或者没有监管有很大关系，而要保障其更好地为使用主体服务，建立一个全方位、多层次的监管系统势在必行。一要发挥民警对人工智能的监督。我们在开发移动警务应用时，应明确告知民警是否包含人工智能，是否存在使用风险。这样一来，我们的民警在使用时会相应注意到人工智能带来的问题，为以后改进提供坚实的基础，这也符合我国现阶段的法律法规[11]。二要建立相应的部门规范。对人工智能的开发要进行政府干预，不能任由科技公司以技术至上论、技术中立论为借口反对政府干预[12]。目前，我国对人工智能更多是从产业扶持的角度提供政策支持[13]，而非监管，如2017年国务院发布的《新一代人工智能发展规划》就反映了这一思路。但我们不应该对人工智能放松监管，通过“北大法宝”网站查询，有关人工智能的法律法规主要有行政法规1篇、部门规章47篇、行业规定7篇，其中《数据安全管理办法》对算法进行了相应的规制，《关于规范金融机构资产管理业务的指导意见》对人工智能在金融领域进行了规制，但这些都是个别条款分散涉及，并没有一部专门法律法规对人工智能进行规制。非常遗憾的是公安部也没有出台任何有关人工智能的部门规范。这倒也不难理解，毕竟现阶段人工智能在移动警务终端中只是小范围应用，考虑到目前公安实际情况，大规模推广还有待时日，但我们千万不可掉以轻心，技术推广的速度远比我们想象的要快[14]。三要进行算法审计。“制定标准、制造硬件、编写代码的人拥有相当程度的控制力量”[15]，人工智能带不带“偏见”，有没有非法收集用户资料、留取后门，对不对使用主体产生伦理风险，存不存在歧视问题，算法审计至关重要。与人类拥有情感不同，算法是种客观工具，不能撒谎也不会撒谎。因此，如果人工智能出现的结果是有“偏见”的，一定是和人类采用的数据有关，而非算法，人类可以去撒谎掩饰某个问题，但算法不行。通常情况下，只有人工智能在实际运行算法后，才可能发现内在的“偏见”，因为这些设计中的“偏见”在实际运行当中会被放大，采用算法审计后就有可能知道什么时候出现“偏见”，然后相应地对其进行调整，以便将来不出现“偏见”。此外，相关从业公司不应把算法审计看作一种威胁，不应将算法审计理解为一种枷锁，而是要创造解决任何“偏见”问题的机会，并能在必要的时候加以纠正，毕竟在一定规则下运行的人工智能才不至于失控。因此进行算法审计很有必要。这里介绍的一种算法审计方法即“贝叶斯”(Bayesian)定律。其简单来说就是确定算法规则的一个参考集来定义什么是正确算法，然后使用参考集中的特定点来判定出现的算法是正确算法还是带有“偏见”的算法，如果在判定结果中发现“偏见”，这个新的算法会更新最初参考集中的资源信息，以便将来在判定算法正确与否时结果更为精确。

总之，人工智能的“偏见”最终还是来源于设计者——人类。而能解决这个问题的关键因素是那些技术公司、工程师和算法编写者，他们应该采取更为有效的措施来防止有意无意间的算法“偏见”。同时，公安机关要做好移动警务终端算法开发者的资格审核，规范移动警务终端的开发层级。现阶段有的地市，甚至有实力的县都组织开发警用APP,这样看起来一片繁荣，但长远来看，算法“偏见”、源代码泄露、组织架构破坏、冗余信息的占用都会对移动警务终端带来灾难性的后果。

(三)构建安全管理机制

根据美国CSIS(国际战略研究中心)的报告显示，“安全可靠的技术基础是搭建良性人工智能技术发展的生态系统不可或缺的一部分”，因此减少移动警务中人工智能的风险在于安全意识的强化以及安全管理机制的建立。为此，我们应该在综合考虑人工智能技术伦理风险的基础上，加强对数据垄断、算法歧视、隐私保护以及伦理价值等问题的预判，为人工智能在警务应用上制定相应的行业规范，着手建立诸如技术风险评估机制、灾难性风险管理机制、技术错误纠正机制等一系列可管理、可操作、可验证的安全管理机制。同时，还应提高人工智能的可检验性来验证技术应用中的透明度和信任度，即人工智能中的算法和数据在一定条件下，应当被完整保存和查验，相关企业也应为了公共安全，放弃自身保密性的请求，转而与公安机关签订保密协议来获取技术秘密的不被泄露。当然，也要积极发展其他技术弥补人工智能所带来的缺陷。比如，区块链技术就能很好地避免人工智能中出现的技术隐私、安全保障问题。

此外，还要注重数字隐私权的保护。数字隐私权是随着科技发展近几年才提出来的概念，但它依然符合隐私权的基本特征，即是人类的基本权利。人工智能的发展不能以牺牲人类的数字隐私权为代价，恰恰相反，人工智能应该要很好地保护数字隐私权，这才是人工智能发展的方向。同理，保护民警的数字隐私权也至关重要。我们认为，保护民警的数字隐私权应遵循和履行合法、正当、必要原则。在合法原则要求下，警用人工智能收集民警个人信息应符合网络安全法、民法典、电信条例等相关法律法规，以及相关主管部门和一些地方性行政规章。对于法律未规定的，也应遵守公序良俗和行业规范。在正当原则的要求下，警用人工智能在收集民警个人信息时，也要获得用户授权，不能以默认授权、捆绑服务、强制停止使用等手段进行用户信息收集。在必要原则要求下，收集民警个人信息时不能过于宽泛，只有那些影响警务人工智能使用，非收集不可或者不收集就无法开展工作的必要信息，才应该被允许收集。

四、结语

事实上，人工智能作为国家科技发展的全新框架性技术，对于原先搭建的公共安全治理体系具有结构性挑战，而伴随着人工智能技术的快速发展，一些新风险、新困境将不断出现。与此同时，公安机关作为公共安全治理体系中最为重要的一个环节，同样面临人工智能技术上挑战、伦理上的困境。但是，我们不能拒绝科技的进步，反而要主动拥抱前沿科技，只有掌握科学技术的发展，把握好科技安全的尺度，才是公安机关履行保护国家和人民财产安全最为重要的任务。