ChatGPT应用于电信网络诈骗的风险预防

□ 文 张 彦 刘宏斌

0 引言

当前科技飞速发展，人工智能产品的“智能化”、“拟人化”特征更加突出，随着第一代生成式人工智能产品ChatGPT出现，相关智能产品Youchat、Rytr等也随之出现。ChatGPT作为新兴人工智能产品，是美国openAI公司发布的强大人工智能产品，全称为Chat Generative Pre-trained Transformer（生成式语音预训转换模型）。ChatGPT使用Transformer结构与自回归+Prompting的训练模式，拥有广阔数据库、成熟运算模型、具备精确定位用户需求和快速分析输出信息的强大能力。

在促进生产效率提高、激励社会创新的同时，ChatGPT 存在帮助电信网络诈骗的可能性，例如：非法窃取及利用用户信息、输出虚假信息、更新诈骗手段。电信网络诈骗具有高科技性，且往往将智能性、科技性产品技术应用于电信网络诈骗。以ChatGPT 为代表的人工智能技术更是提升了诈骗犯罪的智能化和识别难度，使诈骗犯罪更易获得潜在受害人的信任，为电信网络诈骗犯罪滋生新的发展环境、提供新的实施手段。2023 年5月，包头市公安局电信网络犯罪侦查局发布一起使用智能AI 技术进行电信网络诈骗的案件。为此，应重视研究ChatGPT 被应用于电信网络诈骗的可能，进而有效预防和消除潜在风险。

1 ChatGPT在应用过程中的风险漏洞

ChatGPT的出现代表着人工智能技术从行业专用发展至社会通用，应用领域前所未有的广阔。其在收录信息、语言训练、生成内容等方面的优良表现在为社会活动提供便利的同时，也暴露其存在的风险与弊端。

1.1 存在泄露用户隐私的漏洞

ChatGPT 的内容生成是通过学习大量的文本语料库实现模型训练，最终生成最优文本。在生成信息之前，其学习数据来源于广阔的互联网。在互联网信息池当中，信息种类繁多，良莠不齐，ChatGPT无法保证其学习数据的质量，也就无法保证其信息来源的安全性。2023 年3月24号，openAI官网发布通知表明ChatGPT 泄露用户隐私。这表明ChatGPT 在用户信息、隐私保护方面也存在风险，存在隐私漏洞，并未有效保护其数据库内信息。

此外，2023年5月，北京市通信管理局官网最新公开通报了27款未整改或整改不到位的应用软件。此类应用软件代表互联网应用中存在“违反必要原则收集个人信息”以及“未明示收集使用个人信息的目的、方式和范围”等侵害用户权益和安全隐患类问题。

1.2 存在恶意使用或滥用风险

ChatGPT通过预训练语言模型生成信息，其输出的信息具有一定的可信度，但是无法完全避免输出错误信息。在使用ChatGPT的过程中，使用者与ChatGPT进行的沟通对话也会被作为训练素材纳入ChatGPT的信息库。如若使用者具有恶意倾向，则会通过ChatGPT输出虚假、恶意信息，随着这些虚假、恶意信息生成比例逐渐上升，则会加剧公众对于社会中传播的信息的不信任，影响正常的社会交流。

目前ChatGPT的普遍应用场景为学生使用ChatGPT输出课程作业或者在考试中作弊、研究人员使用ChatGPT实施学术不端行为。ChatGPT在这些场景中的应用已经对教育、医疗、科研等领域构成威胁与破坏，在学术诚信、数据真实性、以及个人学术独创性等方面存在社会风险。

2 利用ChatGPT实施电信网络诈骗的主要诱因

ChatGPT本质上是一种对话型机器人模型，作为一种内容生成式AI产品（AIGC Products），可以智能生成如代码、文字、图像等内容，具有超强的信息检索、自然语音处理、文本生成等能力。目前已经出现利用人工智能技术进行电信网络诈骗的案例，从风险预防的角度出发，需要对利用ChatGPT 进行电信网络诈骗的诱因进行分析，为进而开展针对性的防控工作提供必要基础。

2.1 便于诈骗团体收集信息

在信息高度共享、快速传播的互联网时代，社会公众在使用网络媒体过程中的进行搜索、注册登录、交流沟通、输出信息等行为，均会在互联网中“留痕”，使自己的身份、财产及社会关系等信息散落在互联网广阔的信息池当中。对于公众无意泄露的自身信息，诈骗团体在进行诈骗之前需要对其进行收集，完成犯罪预备。传统电信网络诈骗犯罪主要通过人工搜索以及购买的方式来非法收集公众信息，ChatGPT的出现为诈骗团体非法收集公众信息提供便利。

2.2 便于诈骗团体“虚构事实”

“虚构事实”是电信网络诈骗犯罪的关键环节，指的是诈骗团体获取潜在受害人信任的方法。“虚构事实”的能力水平直接影响着电信网络诈骗犯罪的辨别与打击难度。传统的电信网络诈骗中受害人对诈骗团体产生信任的基础是双方处于不见面、不交谈的非接触状态，此种信任是在真实性不高的状态下的信任。以ChatGPT 为代表的人工智能技术能够“消除”诈骗团体与受害人的距离和不真实感，编造出“真实”的诈骗环境，帮助诈骗团体操纵受害人的心理，从而获取被害人的信任。

2.3 便于诈骗团体输出虚假信息

精准定位受害人的特定需求，是成功实施电信网络诈骗的必要条件。ChatGPT可根据诈骗团体向其提供的受害人的生活环境、身份信息以及社会关系，经过运算对受害人的具体特征进行画像，进而精准定位其心理或物质需求，针对特定需求开展针对性诈骗。

3 对利用ChatGPT进行电信网络诈骗的防控措施

电信网络诈骗擅于应用新型人工智能产品、数据处理技术，ChatGPT的出现提示着我们对于电信网络诈骗的防控，需要采取新的应对措施。可以结合ChatGPT在电信网络诈骗中应用的角度，从法律法规、应用监管、规范使用、保护受害人等角度来思考防控对策。

3.1 严格执行国家法律

为防止ChatGPT 等新兴生成类人工智能产品在当前社会中的滥用，必须严格落实《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》。此外，2022 年11月，国家互联网信息办公室、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》，在法规制度方面对人工智能产品进行规范，从基础上避免人工智能产品被滥用。只有严格落实国家有关人工智能产品使用、信息保护等法律法规，确保法律的适用性、可执行性和惩罚力度，才能从宏观层面为ChatGPT 等生成式人工智能产品提供健康、广阔的应用环境，保证其发展的良好网络生态。

3.2 从源头规范ChatGPT的应用

ChatGPT的开发者与服务提供商应当提升对于用户个人信息的保护力度，建立严格的数据隐私保护措施，采用加密技术保护用户数据，并且在用户数据的收集、存储、传输等环节设置安全措施来防止泄露用户隐私或被诈骗团体滥用；其次，应当严格审查数据来源，依法、严格、规范的对数据进行分析预判，坚决杜绝在数据库中产生问题信息；进入语言信息库的个人信息数据必须合法；互联网时代，用户信息处于公开透明状态，在信息传播的过程中需要相关部门严格核查网络数据的真伪性，以便于更好地从源头遏制虚假信息的传播。最后，对ChatGPT 输出的内容应当严格监管，建立人工与机器的双重监管机制，对于其中违反法律或伦理道德、破坏公序良俗的信息进行及时的识别与拦截。

3.3 加强个人信息保护

个人信息泄露是电信网络诈骗犯罪的高发点，做好个人信息保护是防范电信网络诈骗的重要基础手段。ChatGPT的用户必须提高个人信息安全意识，认真了解已发生的利用人工智能技术施行诈骗案例，提高其保护隐私信息、辨别网络信息、合法使用网络的安全意识，从预防的角度降低受骗风险。对于目前出现的AI 换脸、AI 换声等电信诈骗案件，应当仔细辨别，包括查找声纹和面部信息的原始来源或可信任来源、检验声纹与面部信息的真实性等。

3.4 完善风险研判与防控机制

针对当前电信网络诈骗犯罪猖獗、被害人财产损失巨大的状况以及人工智能技术在电信网络诈骗犯罪中的应用趋势，应当从风险预防的角度建立对电信网络诈骗犯罪的打击与长远性预防机制，提升政府与公安机关应对的主动性、提升打击犯罪的成功率。

3.4.1 公安机关利用人工智能技术进行犯罪分析研判

为提升公安机关应对电信网络诈骗犯罪新趋势的主动性，公安机关可以利用人工智能技术来帮助鉴别与预测诈骗行为。

进行犯罪数据收集与分析。收集大量的电信网络诈骗案例，总结包括诈骗模式、应用人工智能技术的类型与程度、受害者信息、诈骗金额等在内的数据，对此类数据进行分析和挖掘，识别诈骗模式及其关联程度。

进行特征提取。通过自然语言处理（NLP）技术对欺诈邮件、短信或社交媒体消息进行文本分析和特征提取，对其中的关键词、语法结构、情感进行分析和辨别，确立诈骗行为指标，为建立训练模型做准备。

建立模型训练并进行分类。利用决策树、逻辑回归、支持向量机（SVM）等机器学习算法来对提取的特征进行训练与分类，进而结合诈骗行为指标，建立分类模型，从而预测未来电信网络诈骗案例发生的可能性及其风险等级。

运用模型进行实时监测和反馈。将建立的AI 模型应用于实时数据流，及时检测和识别可能的电信网络诈骗行为。在这个过程中，可以利用异常检测算法，识别电信网络交易中异常的交易金额、频率或地理位置等信息，从而发现潜在的诈骗行为；在涉及图像的诈骗案例中，可以利用计算机视觉技术检测图像的真实性和修改痕迹。例如，基于AI的图像分析可以识别出AI 换脸等技术所生成的虚假图像。通过这些持续的检测和分析，可以及时发现新的诈骗模式和趋势，并及时采取反制措施。

进行强化学习。在电信网络诈骗犯罪研判中，可以利用强化学习来模拟诈骗团体的策略，并预测诈骗团体可能采取的行动。

3.4.2 建立对电信网络诈骗犯罪的防控机制

针对应用人工智能技术的电信网络诈骗犯罪，公安机关与相关部门机构应当加强协作、开展信息共享，并且不断进行技术创新。对于涉及境外诈骗团体的案件，还应加强境外合作。

坚持技术创新。开发基于机器学习和人工智能的模型和算法，实时检测可能发生的电信网络诈骗行为并及时进行技术阻拦。

坚持数据共享与分析。建立安全数据共享平台，让各部门可以共享电信网络诈骗的相关数据，如诈骗模式、受害者信息和诈骗者行为等。通过数据分析和挖掘，发现新的诈骗模式和趋势，并及时采取反制措施。

加强国际合作与刑事司法协助。对于处于境外的诈骗团体，在尊重国家主权的前提下，建立以双边多边协议为基础建立电信网络诈骗案件管辖权协商机制，建立更高效的国际警务合作机制。从而促进信息共享、证据收集和嫌疑犯引渡，加大对境外诈骗团体的打击力度。

4 结束语

随着社会经济及通信技术的高速发展，电信网络诈骗犯罪已经呈现了专业化、团队化现象，并且存在与人工智能等科技产品结合的趋势。ChatGPT 在电信网络诈骗犯罪中的应用将会扩大此类犯罪规模和影响范围，其对现有社会治理、公共秩序、价值观念、伦理道德也将带来一系列的冲击与挑战。因此，应当加强风险预防，从而最大程度减少ChatGPT 对社会发展的不利影响。针对此类人工智能技术，需要全社会的支持、帮助和包容，各地方、各部门、各行业均应展现出对ChatGPT的接纳和承受力，助力ChatGPT内在技术的革新发展和在实践中的积极应用，为其营造良好的发展生态。■