ChatGPT检测器频繁冤枉无辜学生,竟有210万教师在用
编辑:桃子 【新智元导读】被AI冤枉的你,还好吗? 当你被AI无辜扣上「作弊」的帽子,作何感想? 这件事恰恰发生在了一位高三学生Lucy Goetz身上。原本她写的一篇社会主义原创论文得了最高分。 但是,Turnitin公司的AI写作检测器竟说,Goetz论文结尾是用ChatGPT生成的。 Goetz震惊道,「我很高兴能和老师们保持良好的关系」。 简言之,还好老师了解我,不然跳进黄河都洗不清了。 而更令人惊讶的是,这个ChatGPT检测器现在已经被210万名教师使用。 AI无法打败AI Goetz的论文中被标记出的部分属于异常情况,但这表明检测器有时会出错。 显然,AI是无法打败AI的。这对许多学生来说可能产生灾难性的后果。 为了测试Turnitin的检测器,华盛顿时报的记者Geoffrey A. Fowler对Goetz在内的5名高中生进行了测试。 他们创作了16篇涵盖真实、AI生成,以及混合来源的论文样本。 结果如何呢? Turnitin的检测器至少在一半以上的样本中出现错误,仅是准确识别出了其中6篇,但在3篇上的检测都失败了。其中就包括对Goetz原创论文中8%内容的标记错误。 对于剩下的7篇,Fowler称,「我只会给它部分分数,因为它的判断大致正确,但错误识别了一些ChatGPT生成或混合来源的写作部分。」 然而,Turnitin声称其检测器的整体准确率达到98%。该公司还表示,在其自身测试中,类似Goetz论文的情况(即假阳性)发生的概率不到1%。 Turnitin的AI检测器详细页面会分配一个总分,并突出显示疑似AI生成的句子。该公司表示,它故意用蓝色而非红色标记疑似AI生成的段落,并在得分下方链接教师资源。 加州康科德市Goetz的AP英语课老师Rebecca Dell表示,Turnitin标记AI文本的系统并不总是有效,这令人担忧。 与抄袭指控不同,AI作弊没有源文件作为证据,这最容易让老师对学生带有偏见。 或许并不是每个人都像Goetz那么幸运。 Goetz表示,「对于学生来说,被指控AI作弊尤其令人恐惧。除非你的老师了解你的写作风格,或者对你非常信任,否则没有办法证明你没有作弊」。 AI检测为何如此困难 自ChatGPT面世以来,已经被许多高校的学生和老师用在日常的作业和教学中。 然而,如果不加以限制,ChatGPT将会变成史上最强大的作弊工具,可以帮助学生们写作业,甚至是完成考试论文。 为了反侦察,一款简单易用的检测器成为老师期盼的东西。一位22岁普林斯顿大学的学生Edward Tian,就自行开发了一款检测器——GPTZero。 甚至,OpenAI官宣推出一个新工具,名为AI Text Classifier的文件检测器。 但是,这些检测器的表现并不如人意。 检测出AI创作的内容听起来很简单。但当给你一封手写邮件和ChatGPT生成的邮件后,我们几乎无法辨别。 Turnitin的人工智能副总裁Eric Wang称,用软件检测人工智能写作涉及统计学。从统计学的角度来看,人工智能与人类的区别在于它极其稳定地处于平均水平。 直白点讲,AI水平很稳定。然而,实际上并非这样一个道理。 「像ChatGPT这样的系统就像是自动补全的高级版本,寻找下一个最可能要写的单词。这实际上就是它为什么读起来如此自然的原因。AI写作是人类写作中最可能的子集。」 Turnitin的检测器便会「识别出书写过于一致的平均情况」。挑战就在于,有时候有时人类的写作可能确实看起来处于平均水平。 在经济学、数学和实验室报告中,学生倾向于遵循固定的写作风格,这意味着他们更有可能被误认为是AI写作。 这可能就是为什么Turnitin错误地标记了Goetz的论文,因为它的内容涉及到经济学。 Wang表示,Turnitin努力调整其系统,在标记某个句子为AI生成之前需要更高的置信度,以便在这方面犯错。 并称,自己家的软件已经有了很大的进展。「我首次在1月下旬测试Goetz的论文时,该软件识别出其中大约50%是AI生成的。Turnitin在3月下旬再次通过其系统运行我的样本,那时只标记了Goetz论文中的8%为AI生成的。」 Turnitin的检测器也面临其他重要的技术限制。...