大数据时代算法技术被控制和滥用的风险防范

□ 文 靳岳明 王晓萌

0 引言

算法技术目前被广泛应用于医疗、卫生、公共交通等领域，在提供便利的同时也产生了诸多风险。市场力量借助其技术优势、数据优势和资本优势，利用算法技术窃取用户个人数据信息、对数据信息进行篡改和伪造、通过定向的算法技术实行各类歧视等等，大有“通过算法控制社会”之势。这是国家法律所不能容忍的，必须防范其对国家、社会和个人带来的重大安全风险，逐步将其从野蛮发展引向正轨方向。

1 大数据时代算法技术被控制和滥用将带来重大安全风险

1.1 市场力量利用算法技术私自监控获取用户个人信息与上网数据

目前各大购物软件、搜索引擎统计推荐算法，搜集与处理了海量的用户信息、浏览痕迹等个人隐私数据，但算法并非全部基于合法途径获取用户信息数据。2020年中央网信办、工信部、公安部、市场监管总局组成的App专项治理工作组发布通告，曝光了81款App违规搜集儿童信息、人脸识别信息，甚至使用“监听麦克风”、“监控个人输入”等方式窃取用户个人信息以获取市场竞争优势，如果不同意App搜集个人信息的用户使用协议，就无法使用App的霸王条款更成为了业界惯例。而目前算法App对于数据的加工处理缺乏相应的技术和法律规范，以至于App泄露、贩卖用户个人数据的行为屡禁不止，危及公民人身和财产安全。根据《2018网络黑灰产业治理研究报告》我国的网络黑灰产业已达千亿元规模，我国公安机关在2018-2020三年的“净网”专项行动中，共侦破侵犯公民个人信息案件1.7万余起，而这也许只是网络黑灰产业犯罪数量的冰山一角。算法擅自搜集用户隐私信息，不仅侵犯了用户的隐私权，更可能造成公民信息数据被泄露和滥用。

1.2 市场力量通过特定的算法技术对用户实行隐蔽的歧视和控制

算法定向推荐机制存在歧视倾向，往往根据用户个人兴趣与偏好，有针对性地向用户推送信息。2020年10月19日，浙江省消保委点名美团、飞猪等网络订房平台存在大数据“杀熟”情况。不仅酒店房间定价混乱，同样的产品在同一平台报价不同，而且针对新老用户群体，酒店推送的优惠信息也有区别。各大算法平台根据用户的个人喜好、消费记录等信息，有针对性地推荐捆绑产品、标注不同价格，不仅侵犯了消费者的合法权利，也利用算法机制对客户的消费习惯与方式进行了控制。

1.3 新型算法网络犯罪成为网络信息安全隐患

AI换脸等新型算法逐渐浮现，伴随数据自身流动快、难辨别的特征，导致算法犯罪已经逐渐成为社会信息安全的风险漏洞之一。用户对于算法平台搜集脸部特征等生物识别信息缺乏警惕性，不法分子可能利用算法技术窃取人脸数据等，将其应用于色情片段、假新闻、诈骗活动之中。这种“深度伪造”行为，不仅造成公民个人身心财产的损害，还可能导致社会的动荡与不稳定。当算法平台通过特殊算法机制，伪造有影响力人物、事件的内容，可能会在短时间内引发社会动荡。由于目前各大算法公司以商业秘密为由，拒绝算法的公开，也就意味着算法监管的国家力量缺失，算法的失控可能会给社会造成极大安全隐患。

1.4 算法平台运营缺乏强有力的法律监管

算法目前已经逐渐融入公民生活，但由于缺乏监管与责任机制，算法平台仍普遍以“完全逐利”作为算法运作的价值导向，存在侵害公民权益的风险与追责真空。同时，人工智能算法广泛应用于交通执法、犯罪预测、风险管理等多个公共领域，但如果算法决策的结果错误，算法平台是否需要承担责任、公民是否有足够的救济路径都存在立法真空。另外，对于算法公司搜集到的公民个人数据信息，是否有完善的储存监管机制，确保公民个人信息存储和使用的准确性，都有待国家通过算法监管与责任机制进一步规范算法的伦理导向与行为模式。

2 加强大数据时代算法技术法律监管的若干建议

2.1 制定算法技术国家标准和行业标准

平台之间的算法设计决策标准不同会导致算法运行结果的错乱和失序，应当确定算法决策的国家标准和行业标准，为平台的算法设计和决策程序提供相对统一的参考和依据。同时应规范算法采集个人信息的标准，遵循收集范围有限原则，严格限制App通过“前置协议”收集并使用超出经营目标和范围的信息，不同类别App只能根据该类别标准规定的信息收集权限启动运行，并在用户使用协议中予以明确。互联网企业可以根据国家和行业标准，在企业规章制度中制定细化的算法设计标准，对算法决策运行中的实际问题、突发状况等采取更具针对性的规范措施。企业应积极组织算法标准和技术伦理培训，增强算法设计工作人员的科技伦理意识，引导其遵循算法技术应用标准和伦理准则。此外，建议实行算法标准适用报备机制，由互联网企业向相关主管部门书面报告算法标准的适用情况，优化算法决策程序，减少因决策结果明显不合理造成的损害。企业应积极组织算法标准和技术伦理培训，增强算法设计工作人员的科技伦理意识，引导其遵循算法技术应用标准和伦理准则。

2.2 明确算法技术各应用主体责任归属

明确算法设计者、应用者的责任，实施设计问责和应用监督的双重规制方式。算法设计是算法应用中不可或缺的重要环节，但是决策结果的实施会更直接地作用于网络平台用户和消费者，因此需要侧重于对算法应用者的规制，规范其决策结果适用的对象、标准、范围和限度，防止错误决策的滥用。地方性法规和政府规章可以根据特定区域内不同企业的经营模式、算法决策的适用以及违法程度，在《行政处罚法》规定的处罚种类和幅度内，制定更为细化和可操作的处罚措施，例如罚款的区间范围、行政拘留的期限、责令停产停业的适用情形等。相关主管部门应定期开展执法检查工作，督促互联网企业分析处理个人信息数据库时，采取加密保护措施防止信息泄露；为公共利益需要公开个人信息，对涉及个人隐私的部分应作匿名化处理。数据存储平台应及时更新数据信息，保证信息的准确性，防止不法分子利用算法技术伪造、篡改数据，侵犯公民权利和社会公共利益。

2.3 实施算法运行影响后果预防性审查

当下我国更倾向于对算法运行已产生的负面结果予以规制和处罚，但这种“事后”监管方式会产生两种极端化的负面影响：一是损害后果已经发生且受害人难以寻求救济；二是互联网企业违规成本低，对于算法决策程序的优化将采取更加消极的态度。针对算法运行可能产生的不利后果，建议网络行政管理部门采取“事前审查”的方式，设立专门的算法监管机构，邀请人工智能和法律领域的专家开展研讨分析，及时对算法运行的决策结果进行判断和预估，特别是在算法决策涉及公众切身利益，或者可能产生严重社会危害风险的情况下，还应当予以重点监测和关注。以算法歧视的审查方式为例，不仅要对含有明显价格歧视、性别歧视和种族歧视等字段进行筛查，还应当进一步检测数据库中是否存在隐含的歧视信息。

2.4 加强算法技术数据处理源头控制

算法歧视产生的根源在于算法自动化学习的基础性数据本身存在偏见，而这些歧视性观念往往产生于人类社会中既存的不平等和错误认知，例如亚马逊公司在招聘时使用的算法筛选系统往往会给予男性应聘者“特别优待”。因此算法技术应用主体在编写算法程序指令时，就应当将隐私保护、信息安全、决策透明等价值理念嵌入算法设计、发展和决策系统，使得算法在初始数据的收集和处理阶段就具有客观性和公平性，保证算法在自主学习的过程中免受异化，才能作出公正合理的决策结果，从根本上解决算法歧视问题。

3 结束语

算法作为国家数字生态建设基础性要素之一，广泛应用在深度学习、基因工程、搜索引擎和交通运输、食品加工、智能监控等领域，关系着国家数据安全与社会安全稳定。进入人工智能时代，算法的自主学习功能使其超越了传统的工具化范畴，在应用过程中以更加隐晦的方式作出带有偏向性和歧视性的推送，不仅侵害了公民基本权利，还严重挑战了社会基本伦理道德准则。防范算法技术滥用的重大风险业已成为算法治理研究领域的核心议题，基于此，法律、制度和伦理应主动介入对算法技术的控制，实现算法应用价值的最优化。一方面应加强人工智能算法知识的普及，让社会群体客观地认知算法技术，提高隐私保护意识，规避潜在安全风险；另一方面，需要推动数据平台企业、相关主管部门、社会群体公众共同参与，建立算法技术应用问责机制，实施算法决策影响性评估，加强算法源头控制，从而防范、消除算法技术不当应用对公共秩序、劳动权益及公民隐私等领域造成的社会安全隐患。