文章主题:ChatGPT, AI/GPT检测器, 非母语作者, 误判率
ChatGPT的火爆程度无需赘述,它所基于的生成语言模型为数字通信领域带来了显著的突破。然而,随着这种技术的发展,人们也开始关注到人工智能生成内容可能会被滥用的风险。为了应对这一挑战,人类研发出了各种 AI/GPT检测器,旨在识别區分人工智能和人类生成的内容。尽管这些检测器的出现提供了某种程度的保障,但它们的性能仍需进一步的探索和验证。
近期有研究表明:常用的AI/GPT检测器对非英语母语作者表现出偏见!
a:纵坐标:7款AI检测器;横坐标是AI的误判率
在本次研究中,我们选用了两个样本进行深入分析。首先,我们从全球范围内收集了91篇由非母语作者撰写的托福学术论文,这些论文的作者均来自我国。其次,我们在美国找到了88篇由母语为英语的八年级学生撰写的托福作文,以对比分析美国的学生的写作风格。
结果显示:
在七个检测器中,母语作者的作文误判率最高仅为12%,而另外两个GPT的作者也出现了误判。相比之下,非母语作者的论文误判率普遍较高,平均值为61.22%,甚至最高可达76%。这表明,在语言检测方面,母语作者和非母语作者之间存在显著差异。
b: 在众多论文中,一致被错误地归类为人工智能生成的论文,其复杂性相对较低。这可能暗示着 GPT 检测器对于语言表达有限制的作者有一定的惩罚作用。
在运用 ChatGPT 优化托福作文时,我们注意到正确率有所提高。然而,在使用 ChatGPT 精简美国八年级作文的词汇选择时(Prompt:“非原生语言者的写作风格”,意在简化词汇选择),却发现错误分类现象明显增多。这提示我们在处理不同级别的英语写作任务时,需谨慎对待词汇选择的复杂性,避免过度简化导致误判。
d:简化后,文本复杂度降低。
……其他数据也间接证实:
在语言学领域,地道的表达和非地道的表达之间的差别是至关重要的。对于非母语者所写的内容,其地道程度往往存在一定的差距,这可能会导致其在复杂度上的表现较为单一,进而增加了被错误判断的风险。这一现象不仅仅适用于学术界或期刊出版商,也适用于所有追求精确性和严谨性的行业。因此,我们需要对非母语者的学术论文进行更为细致的审查,尤其是要关注那些使用了ChatGPT等人工智能技术的内容检测器的作品。在这篇文章中,我们将详细探讨非母语者在学术写作中的挑战,并提出一些建议来提高他们的写作质量。
改写自:新智元和文章本身
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号AIGC666aigc999或上边扫码,即可拥有个人AI助手!