文章主题：ChatGPT, 人工智能生成文本, 检测工具, 学生作弊
在ChatGPT刚面世的几周里，人们普遍担忧学生可能会借助这款聊天机器人迅速完成应付作业和考试的论文。为了缓解这种疑虑，许多初创公司纷纷开发出检测文本创作来源的工具，声称能够准确区分是人类所写还是机器生成的。
一个尚未经过同行评审的新研究指出，应对这一挑战的核心问题是，欺骗这些工具并通过检测并不困难。
（来源：Pixabay）德国柏林技术与经济应用科学大学的媒体和计算教授黛博拉 · 韦伯 · 伍尔夫（）与来自多所大学的一组研究人员合作，评估了包括 Turnitin、GPT Zero 和 Compilatio 在内的 14 种检测工具，它们都声称具备检测 OpenAI ChatGPT 编写的文本的能力。
在众多此类工具中，大部分是通过捕捉人工智能生成的文本特征来运作的，进而计算出该文本出自人工智能的概率。然而，这个研究团队却发现，所有参与测试的工具都难以识别出 ChatGPT 生成的文本，原因在于这些文本都被人类重新整理并进行了转述，工具经过处理后的效果使得其难度大增。这就意味着，学生们只需稍作的人工智能生成的文章的调整，就能够轻易地绕过这些检测工具。
” 这些工具不起作用，”韦伯 · 伍尔夫说，” 它们无法实现它们被创造出来的目的，也不是人工智能的探测器。”
为了全面评估这些工具的效果，研究人员采用了多元化的研究方法，撰写了包括土木工程、计算机科学、经济学、历史学、语言学和文学等多个学科的本科生论文。这样的举措旨在确保所涉及的文本不会在网上被轻易找到，从而避免被拿去训练ChatGPT等人工智能模型。
然后，每位研究人员用波斯尼亚语、捷克语、德语、拉脱维亚语、斯洛伐克语、西班牙语或瑞典语又写了一篇。这些文本会通过人工智能翻译工具 DeepL 或谷歌翻译翻译成英语。
在接下来的步骤中，该团队利用 ChatGPT 生成了两篇经过适度调整的文本，以确保其人工智能 origin 的特征得以掩盖。其中一组文本由研究人员精心编排句子和词汇，而另一组则采用名为 Quillbot 的人工智能转述工具进行重写。最终，他们总共收集了 54 个文件以供检测工具的测试使用。
在研究中发现，尽管这些工具在识别人类书写的文本方面表现出色，平均准确率高达96%，但在识别人工智能生成的文本，特别是经过编辑的文本时，它们的性能明显下降。
尽管工具能够识别 ChatGPT 生成的文本的准确率高达 74%,但是当这些文本经过轻微调整后,其准确率便下降至了 42%。
南澳大利亚大学构建机器学习和人工智能模型的高级讲师维托米尔 · 科瓦诺维奇（Vitomir Kovanovi ）表示，这类研究也突显了大学目前评估学生学业的方法是多么过时。他没有参与该项目。
谷歌专门研究自然语言生成的高级研究科学家达芙妮 · 伊波利托（Daphne Ippolito）也没有参与该项目，她提出了另一个担忧。
她说：” 如果要在教育环境中使用自动检测系统，了解其误报率至关重要，因为错误地指责学生作弊可能会对他们的学术生涯产生可怕的后果。假阴性率也很重要，因为如果太多人工智能生成的文本被识别为人类撰写的，检测系统就没有用处了。”
Compilatio 是研究人员测试的工具之一。该工具的开发者称，重要的是要记住该系统只会指出可疑段落，也就是将其归类为潜在的剽窃或可能由人工智能生成的内容。
Compilatio 的一位发言人表示：” 文本的作者（学生）是否真正学到了知识，取决于学校和评分的老师，他们可以采取额外的验证手段，比如口头提问、在受控的课堂环境中提出额外的问题等等。”
发言人补充道：” 通过这种方式，Compilatio 工具可以成为教学方法的一部分，鼓励学生学习好的研究、写作和引用实践。Compilatio 软件是一种纠正辅助工具，而不是纠正者。”Turnitin 和 GPT Zero 没有立即回应置评请求。
我们早就知道，用于检测人工智能生成文本的工具并不总能按照预期的方式工作。2023 年早些时候，OpenAI 推出了一款旨在检测 ChatGPT 生成的文本的工具，但承认它只能将 26% 的人工智能文本标记为 ” 可能是人工智能书写的 “。它警告说，旨在检测人工智能生成内容的工具 ” 远非万无一失 “。
然而，马里兰大学助理教授汤姆 · 戈尔茨坦（Tom Goldstein）表示，这些失败并没有阻止公司推出号称能胜任这项工作的产品。他没有参与这项研究。
他补充道：” 其中许多工具都不是特别准确的，但也不意味着完全的灾难。” 他指出，Turnitin 以相当低的假阳性率成功地实现了一定程度的检测准确性。人工智能初创公司 Hugging Face 的研究员萨沙 · 卢西奥尼（Sasha Luccioni）表示，尽管揭示所谓人工智能文本检测系统缺点的研究非常重要，但将这项研究的范围扩大到 ChatGPT 之外的人工智能工具将更有帮助。
对于科瓦诺维奇来说，试图分辨人工智能生成内容的这个想法本身是有缺陷的。他说：” 不要试图检测人工智能，要做出一些改变，从而让人工智能的使用变得不再是问题。”
支持：Ren
运营 / 排版：何晨龙
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号AIGC666aigc999或上边扫码，即可拥有个人AI助手！
