文/阿诺·卢瓦(Arno Louw)
ChatGPT 及其文本生成人工智能在南非大学和世界各地引起了轩然大波。人们普遍认为,学生可能会滥用人工智能来撰写书面作业,教师则难以验证作业的真实性。然而,作为协同评估者,ChatGPT 实际上可以进一步确保学术诚信。
ChatGPT 是OpenAI 研发的大型语言模型,使用深度学习算法来生成类似人工的文本以回应提示或问题。虽然先进的人工智能语言生成器对学术和专业写作很有用,但如果学生不小心或恶意地使用这些工具,可能引发学术诚信问题。令人担忧的是,ChatGPT 可能会颠覆传统的评估方法,因为它可以生成高质量的书面作业,而这些作业很难被识别为是机器创作的,从而更难以确保学术诚信。随着预测文本和语言生成器复杂性的增加,教育机构领导必须保持警惕,要采取策略以防止出现学术不端行为。那么,如何有效利用ChatGPT 来改进学术评估呢?
预测文本技术已广泛应用于各种设备和应用程序,它利用机器学习来推荐常用的单词和短语,以加快文本输入的过程。OpenAI 最初是一家专注于强化学习研究和元学习机器人的非营利组织,于2019 年发布了GPT-2,后于2020 年发布了GPT-3,并于2023 年3 月发布了GPT-4。这些语言模型展示了前所未有的自然语言处理能力。GPT-3 拥有超过1750 亿个机器学习参数,可以生成各种格式的文本并执行复杂的任务。
“有效利用ChatGPT,能够进一步改进学术评估并维护学术诚信”
尽管越来越先进,但预测文本软件仍然容易出错。模仿人脑结构的神经网络是一种机器学习模型。GPT-3 使用的架构通过注意力机制概括序列,从而避免了以前循环神经网络架构的顺序局限性。ChatGPT 采用深度学习算法生成与人工写作极为相似的文本,这样的人工智能语言生成器为学术和专业写作带来了潜在的好处。ChatGPT 是一种备受期待的写作和语言交流的工具,有可能彻底改变我们交流和学习的方式。
然而,人们担心ChatGPT 可能会通过生成高质量的文本挑战传统的评估方法,从而使学术工作的真实性受到质疑。这种担忧是基于这样一种假设:学术评估在过去几十年中保持不变,只强调写作风格和学术趋势,而忽视了经过验证的研究和逻辑对支持论点的重要性。若是因此而忽视ChatGPT,就忽略了该技术在教育环境中的潜在优势和应用。为了确保学术作品的真实性,一种有效策略是调查一篇学术文章是否与另一篇已知作者的文章有相同作者。在这种情况下,ChatGPT 可以成为一个有用的工具。
当被要求列出十种确定学术文本真实性的方法时,ChatGPT 提供了一系列方式,包括抄袭检测、风格分析、主题分析、时限分析、句法分析、词汇分析、抄袭对比、语法分析、内容分析和语义分析。此外,ChatGPT 提出了一套评估标准,包括论点清晰度、原创性和抄袭、语言熟练程度、凝聚力和连贯性以及是否符合学术规范等。每个标准都可以用1 到5 的等级来评估,通过计算总分,可以确定论文的整体质量。
虽然ChatGPT 是帮助确定真实性的重要工具,但它应该与其他评估方法相结合,以确保学术诚信。教育工作者也是学术评估者,他们有责任维护学术诚信。技术使学术评估更加高效和有效,但人类智慧在确保评估的公平性和准确性方面仍然至关重要。因此,评估者在评估学术工作的质量和有效性时应保持警惕。
相似性检查器是一种工具,用于将提交的文本与已知内容进行比较,以检测抄袭情况。许多机构已经制定了包括相似性检查在内的政策和协议。然而,相似性报告不应作为确定抄袭的唯一标准,因为它们有时会产生争议。ChatGPT 也可以充当相似性检查器。作为一种语言模型,ChatGPT 能够超越精确的文本匹配,发现内容的相似性,从而有效识别潜在抄袭。它能够对文本进行更深层次的分析和评估,这增强了其作为高效和准确的相似性检查器的能力,为教育机构维护学术诚信提供了有价值的见解。
语法检查器是功能强大的写作助手,可以检查文章的拼写、语法、标点符号、风格和语气。它们可以帮助识别句子结构和语法错误,并提出修改建议,以提高文章的清晰度和可读性。语法检查器是校对和提高整体写作质量的绝佳工具。作为一种可以对各种查询生成类似于人类回复的语言模型,ChatGPT 能够就各种主题(从基础知识到复杂想法)提供见解。它可以帮助你进行头脑风暴、研究和构思。ChatGPT 还可以指导文章内容,建议替代方法,并提供例子来帮助阐明观点。在检查学术论文时,ChatGPT 和语法检查器都很有帮助,但它们的作用和优势各不相同。语法检查器可以帮忙找出可能影响文章清晰度和连贯性的错误。而ChatGPT 可以提供见解和建议,帮助你发展和完善论点。将ChatGPT 作为检查抄袭和语法的额外工具进行协同使用,可以助力学术评估。
将相似性和语法检查器、ChatGPT 与人工评审员的能力结合使用,可以更彻底地审查文本的真实性。首先,ChatGPT 可以高效扫描大量文本,识别潜在相似之处,提供改进写作风格的建议,并标出可能存在问题的地方。其次,ChatGPT 具备深入分析语言的能力,能够检测意义和意图的相似性,从而对文本进行更细致的评估。此外,ChatGPT 可以提供关于写作质量、语法和连贯性的宝贵反馈,从而加快整体评估过程。人工评审员则将其专业技能、知识和对主题的理解引入评估,他们能够整合ChatGPT 和其他相似性检查器提供的信息,解释结果,并对学术工作的质量和原创性做出明智的判断。人工评审员可以识别逐字复制或近似转述之外的抄袭情况,利用他们的批判性思维来检测ChatGPT 可能遗漏的更微妙的抄袭形式。此外,他们还能评估作品所用资源的相关性和适当性,以及文章的整体连贯性和凝聚力。
将人类智慧与诸如ChatGPT 等人工智能相结合,可以对学术工作进行更全面、更准确的评估。虽然技术工具可以加快相似性检查并提供有价值的见解,但人工评审员可以运用批判性思维、专业知识和道德判断,以确保评估公平透明,同时维护学术诚信。在学术环境中,ChatGPT 和类似的人工智能技术共同构成了一种协作的实用方式,来维护学术诚信。
可以通过创造性的教学法和互动来充分利用ChatGPT 改进评估流程。例如,从视频生成的文本中提取文字并使用ChatGPT 设计实验,就是一种评估学生对学习内容理解程度的实用策略。另一个例子是要求学生重新阅读和修改他们的作业,添加引用注释和参考文献并明确指出论点的来源。这种机制可以从学习的第一年开始引入,以确保学生了解正确的引用规范。此外,在书面作业中添加幻灯片摘要也可以加强理解和逻辑性。对于持续评估来说,更好的做法是通过一系列作业完成最终作业,并提供明确的预期说明。应在处理学术不端行为和充分利用ChatGPT的功能这二者中寻求平衡。
ChatGPT 还能发现写作中可以改进的地方。传统的相似性检查器可能只专注于检测文本相似度,但ChatGPT 可以分析写作的整体质量,并就写作质量、语法和连贯性提供反馈。它能对写作风格、措辞和句子结构提出改进建议,有助于提高文章的清晰度,能极大帮助希望提高写作技能和学术成果质量的学生。这对于写作母语非英语的学生和希望对学生的写作提供更全面反馈的教师来说也尤为有用。
此外,ChatGPT 还能提供改进文本清晰度和连贯性的建议,这对于要求高精度和清晰度的学术写作很有价值。它还可以分析文章的结构和组织,帮助作者改进思路和结构。ChatGPT 生成类人回复的能力还能促进互动式学习体验。学生可以把它视为写作伙伴,激发创造力并促进原创性。ChatGPT 不仅可以标记潜在的问题,还可以充当合著者,鼓励学生在提交之前重新阅读和完善自己的作品。
ChatGPT 可以在写作质量、抄袭和真实性方面提供更详尽和全面的反馈,从而彻底改变学术作品的评估方式。但值得注意的是,应将ChatGPT 与道德准则和问责措施结合,以确保其得到负责任和公平的使用。
尽管ChatGPT、相似性检查器和语法检查器等技术和工具不断进步,但在确保学术论文和作业评估的准确性和公平性方面,人类智慧仍然发挥着关键作用。技术工具在理解人类感知语言的细微差别和复杂性方面存在局限性,而人工评审员能对这些工具提供的信息进行语境分析和解读,这对于对书面工作的质量做出明智判断至关重要。此外,要识别这些工具可能遗漏的剽窃情况,人类智慧也是必要的。
我使用了两种策略来验证ChatGPT 的评估真实性。第一种策略是要求ChatGPT将学生提交的书面作业与已知由该学生撰写的另一篇文章进行比较。第二种策略则是要求ChatGPT 将学生提交的作业与已知由他人撰写的另一篇文章进行比较。在每种情况下,ChatGPT 都会分析被审查文件的写作风格,并就两者由同一个人撰写的可能性提供反馈,同时提供支持分析的具体证据。
这个策略是询问ChatGPT 两个文本是否为同一个作者所写。学生需要在完成正式作业之前提交一份书面作业。传记文本就是此类书面文本的一个例子。若发现后来提交的作业有可疑之处,教师可以使用ChatGPT将作业文本与传记文本进行比较。当我进行这个实验时,ChatGPT 给出了以下回答:
这两段很可能是同一个人写的。这两段讨论了同一个机构——约翰内斯堡大学(UJ),并涉及教育和技术。此外,第一段提到了作者在约翰内斯堡大学学术技术中心(CAT)的工作,而第二段描述了信息和通信技术(ICTs)对约翰内斯堡大学评估工作的影响。另外,第一段还提到了作者的名字【作者】,并介绍了他在CAT 担任教学和电子学习高级专家的情况。这些细节表明,这两段的作者很可能是同一个人。
为了进一步测试,我提交了第三个文本,并让ChatGPT 将其与另外两篇文章进行比较。
ChatGPT 的回答如下:
这有可能是【作者】写的。它讨论了约翰内斯堡大学如何利用信息和通信技术来提升学生的参与度,这与【作者】在约翰内斯堡大学学术技术中心担任教学顾问(教学设计)的专业领域相关。本段还使用了与前几段类似的术语,如“信息和通信技术”和“在线调查”。然而,如果没有进一步的信息,就无法确定【作者】是该段落的作者。
在第二个实验中,我在网上搜索了关于学生作业中某个特定主题的文章,选择了一些由可信作者撰写的文本,并复制粘贴到ChatGPT 中。然后,我又粘贴了一名学生就该主题创作的文章,并让ChatGPT比较两篇文章的写作风格。同样,评审员也可以将学生的写作与其他学生的写作进行比较,以发现可疑的相似之处。
结果如下:
这两段不太可能是同一作者所写。第一段讨论了学生需要完成的具体练习,以比较他们的写作风格,这与教学设计和学习有关,而第二段讨论了信息和通信技术对学生的好处,这与教育和技术有关。此外,第一段使用了与电子投稿有关的技术语言和术语,而第二段使用了更笼统的语言,没有提到任何具体的技术或方法。这些差异表明,这些段落是由不同的作者撰写的,他们拥有不同的专业领域和写作风格。
作为人工智能语言模型,在没有进一步信息的情况下,我无法确认文本的作者身份。根据该段的内容以及它讨论的话题与【作者】的专业领域相关,他或她有可能是该段作者。然而,要确定文章的真正作者,还需要进一步的调查。
这些实验结果都表明了ChatGPT 可以得出可接受的结论和比较结果,有助于在评估过程中协助验证并确保学术文件的诚信。因此,最后一个关于真实性的问题应该是是否需要人工评审员。
ChatGPT 可以成为促进原创性和提高学术写作整体质量的重要工具。但是,只有道德和公正地使用它,才能更好地确保学术评估的诚信。学术机构在接受ChatGPT 的同时也要采取措施降低其相关风险。建议采用评估策略以提高抄袭检测的准确性,例如添加参考文献,并对写作质量进行更全面的分析。通过使用ChatGPT作为合著者,学生可以从中受益,从而提高其学术书面作品的完整性和真实性。
然而,值得注意的是,人类智慧在识别相似性检查器可能遗漏的抄袭情况中仍然发挥着至关重要的作用。人工评审员可以利用他们在评估主题方面的知识和专业技能来检测涉及文本改写或使用同义词的抄袭情况。此外,虽然语法检查器可以识别错误并提出修改建议,但最终判断应由人工评审员根据文本的上下文和预期含义来做出。
虽然ChatGPT 和其他人工智能技术有助于评估和提高学术写作,但它们应该作为辅助写作工具与人类智慧一同使用,如此可确保评估过程公平和透明。学生和学术机构有责任维护和促进学术诚信。通过道德和公正地使用ChatGPT,学术机构可以提高学术写作的质量,确保学术诚信。