文章主题:学生, Edward Tian, GPTZero, 人工智能
在过去的一年中,全球的 students 对一位名叫 Edward Tian 的年轻人产生了强烈的负面情绪。他年仅 22 岁,目前就读于美国普林斯顿大学的计算机专业,即将完成大学学业。
Tian 在 X 上发的个人照丨@edward_the6
恨意来自他的作品——去年底放假时熬夜敲代码,Tian 写出了一个叫“GPTZero”的软件。而 GPTZero ,就是个检测“一段文本是否是 AI 生成”的应用。
https://gptzero.me/|应用页面
GPT-Zero发布后的第二天,Tian的手机突然发生了故障,电池突然爆炸,导致他无法继续使用该设备。这引起了广泛的关注,并迅速引发了大量负面评论。许多人开始指责Tian,称他为“打小报告”的“狗腿子”。原因在于,老师们已经开始使用GPT-Zero来检查学生的作业是否由AI生成。
让人更恨的是,Tian 还因此拿到了 350 万美元的风投基金,创办同名的公司 GPTZero。
高校是什么态度?
去年这个时候,ChatGPT一亮相,全球范围内迅速掀起了一场AI热潮。只需短短几秒钟,它就能生成一篇看似精心制作的文章。有时候,你甚至难以判断,电脑另一端是AI程序还是真实的人类。
对于没什么“人味儿”的八股文作业,“AI 写的”和“人写的”,差距可能就更小了。
在我国的一些学校中,部分聪明的学生迅速掌握了这种新型智能工具——ChatGPT,并开始利用它应对学业挑战。尽管无法精确统计已有多少学生正在使用ChatGPT,但我们可以肯定的是,这一数字正在持续增长。
美国在线教育网站 Study.com 调查了 1000 多名 18 岁以上的学生,结果显示,高达 89% 的学生会用 ChatGPT 写作业,53% 的学生甚至会用它写论文。但调查问卷总是不准确的,因为填写者会撒谎。以 ChatGPT 的便利性来说,真实的数字可能会高得多。
在ChatGPT应用于教育领域的同时,也引发了一些争议。部分教师认为这种人工智能工具可能被视为“作弊”手段,担忧学生可能会借助此类工具来获取不正当的优势。更为极端的是,一些教师甚至限制学生在课堂内使用电子设备,要求学生仅用手写方式完成作业,以此来确保学生充分理解和掌握所学知识。
有些教师对ChatGPT的态度相对较为开放,将其视为比搜索引擎更为优秀的学习资源。然而,他们也关注到ChatGPT可能被学生滥用的问题。
纽约市作为美国最大的公立教育体系,已的规定禁止学生在校园内网络访问ChatGPT。此规定不仅适用于纽约市的学生,还包括牛津大学、巴黎政治学院、香港大学等一系列知名学府。
有些大学对于这种方法的有效性提出了质疑。毕竟,学生能够轻易地获取到 ChatGPT,那么禁用 ChatGPT 是否限制了学术自由,这是一个有待商榷的问题。
无论如何,ChatGPT 的介入意味着,人们的教学方式正在改变。
做 GPTZero 前,他没想到会火
Tian 在普林斯顿大学主修计算机,在写出 GPTZero 前,他在自然语言处理实验室研究了如何检测人工智能生成的文本。同时,他还辅修了新闻。在 BBC 实习时,他工作中的很大一部分就是核实新闻的真实性——假新闻一直都是存在的,但 AI 能力的大幅提升,已经让假新闻越发泛滥。
Tian 说,以上这些经历都是他研发 GPTZero 的动力:“实际上,这个工具的目标受众是我自己,因为我们对互联网上的虚假信息进行了大量调查,这个工具是非常理想的。”
图源:Unsplash
GPTZero 的受欢迎程度有些让人出乎意料。Tian 最初以为最多只会有几十个人使用这款产品,但在几个小时之内,就有超过 2000 人注册了测试版,甚至导致了 GPTZero 所在的托管平台的崩溃。
发布一周后,就有超过 3 万人使用了 GPTZero。截止到 2023 年 5 月,这个数字扩展到了 120 万。
Tian 并非反对 AI:“这项技术令人难以置信,我相信这就是未来。但与此同时,我们就像打开了潘多拉魔盒。我们需要采取安全措施,以负责任的方式应用它。”实际上,以他目前取得的成就来说,他也是 AI 风潮的受益者。
GPTZero 本身就是一种人工智能;在开发过程中,Tian 也借助了基于 GPT-3 的编程辅助软件 GitHub Copilot 的帮助。
GPTZero 啥原理?
GPTZero 宣称对 AI 文本的准确率为 85%,对人类文本的准确率高达 99%。
如果从原理来理解 GPTZero 的话,“困惑性”(Perplexity)和“突发性”(Burstiness)是两项关键指标。
从统计学的角度来说,人类文本和 AI 文本会呈现不同的统计特征。GPTZero 会根据这种统计特征为文本打分,分数越低,就越有可能是 AI 生成的文本。
具体而言,困惑性指的是文本中语句的随机程度。毕竟相比混乱的人类而言,接受过大量文本训练的 AI 已经形成了产生文本的范式。假如 GPTZero 接收到了它不熟悉的文本,产生“困惑”的 GPTZero 就更有可能判定这是人类生成的。
举个例子,“你好,我是一个 AI __”,如果这个句子后面接的是“助手”,那 GPTZero 就不会产生困惑。但如果接的是“土豆”,GPTZero 就会更有可能判定,这个句子是人类写的。
以数百字的文本长度来说,GPTZero 会分别计算出“文字总困惑度”“所有句子的平均困惑度”和“每个句子的困惑度”,计算出一个综合分数。
当这个分数大于 85 时,那这段文本就很有可能是人类写的。
另一个关键指标突发性,则指的是某个句子、词在文本中突然出现的现象。这是一个衡量文本全文句子长度和结构变化的参数。人类往往会有比较动态的写作风格,由此产生的文本结构相对参差。另一方面,AI 会更倾向于使用更加一致的结构生成文本。同时,大模型也会使用相同的规则来预测下一次单词,由此导致低突发性。
不过,Tian 也承认,GPTZero 会出现错误。就比如说,对于经过人工编辑的 AI 文本,GPTZero 还不具备检测能力。
7 月,开发 ChatGPT 的 OpenAI 就关停了旗下检测 AI 生成文本的 AI Text Classifier。根据官方 Blog,它只能正确识别 26% 的 AI 生成文本。
与其纠结于检测学生是否抄袭,提供文本的“可信度”可能是一个效率更高的方法。
GPTZero 最新的产品 Origin,就是一个集成到 Word 和浏览器中的插件。它可以跟踪学生写作过程、生成全周期的写作报告,以向老师证明,学生是独立完成写作的。
今年春天,GPTZero 募集到了 350 万美元的种子资金。有消息说,GPTZero 本来也在著名的风投基金 a16z 的关注名单中,但 a16z 并未参与此轮融资。比较微妙的是,这两家公司的创始人对于 AI 有着相反的立场。
a16z 的创始人 Marc Adreessen 曾经在 X 上发帖称:“如果你写不出比机器更好的东西,那你还写什么呢?”。
而 Tian 相信:“人类的文章中蕴含着一些美妙的东西,计算机永远无法做到这一点。”
在监管范围内拥抱?
Tian 在 X 上说:“任何学生都不应该因为使用 AI 而受到老师的惩罚……直到政策得到全面制定前。”
这种态度与最近多家香港大学的转变有些不谋而合——既然无法禁止,不如在监管范围内拥抱。
曾经禁止 ChatGPT 的香港大学已经宣布,在 9 月份的新学年中为师生免费提供多个 AIGC 工具,包括 ChatGPT 和 AI 绘画软件 DALL·E。
香港科技大学、香港理工大学、岭南大学、香港城市大学等高校拥抱了 AI。
当然,这种免费福利是有前提的,学生必须注明哪些内容是由 AI 生成的。
故事也还没完。有做 AI 检测的,就有人做反 AI 检测的。
在 GPTZero 发出后,就有一些狡猾的学生把攻略放在网上去,比如,用西里尔字母替换掉英文字母,就骗过了 AI 检测……Tian 之后修补了漏洞。
比如,一个叫 Joseph Semrai 的斯坦福大学新生就做了一个 app——WorkNinja。这个 app 可以生成文本,你拿去 GPTZero 检测后如果发现被判定为“AI 生成”,就再返回去按“Rephrase (修改措辞)” 按键,文本会被改写(比如同义词替换)。
AI 的背后是人类,只要人类还存在,这场猫鼠游戏就不会停止。
参考文献:
[1] https://www.youtube.com/watch?v=0GrS3Edsm-4
[2] https://news.gptzero.me/perplexity-and-burstiness-what-is-it/
[3] https://www.youtube.com/watch?v=JGYQg2snF34
[4] https://www.npr.org/2023/01/09/1147549845/gptzero-ai-chatgpt-edward-tian-plagiarism?utm_source=twitter.com&utm_medium=social&utm_campaign=npr&utm_term=nprnews
[5] https://www.washingtonpost.com/technology/2023/08/14/prove-false-positive-ai-detection-turnitin-gptzero/?utm_campaign=wp_main&utm_source=twitter&utm_medium=social
[6] https://www.wired.com/story/ai-detection-chat-gpt-college-students/
本文来自微信公众号:果壳(ID:Guokr42),作者:ttt,编辑:malt
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!