ChatGPT崛起,考研战场风云再起
研博论文

ChatGPT崛起,考研战场风云再起

本文主要探讨了ChatGPT在今年的火爆程度及其对考研领域的影响。首先介绍了ChatGPT的概念和原理,接着分析了它在今年的发展势头和影响力,最后讨论了它对考研备考和就业的潜在影响。
PETChatGPT:抖音新晋华人领袖,引领AI消费革命
研博论文

PETChatGPT:抖音新晋华人领袖,引领AI消费革命

文章介绍了华人PetChatGPT在抖音上发布动态,宣布加入OpenAI,并担任消费者产品副总裁。PetChatGPT毕业于斯坦福大学,拥有丰富的国际一线公司经历,被誉为扎克伯格最喜欢的产品经理之一。他在Instagram上的努力使该应用用户增长至亿万级别,并在Airtable成功融资100亿美元,成为硅谷的技术领军人物。尽管PetChatGPT并非Chag PT项目中的第一位华人团队成员,但他的团队中却有九位华人,其中大部分成员在国内外顶尖高校接受过教育,并获得了硕士或博士学位,他们为全球的科技创新做出了贡献。
最新RLHF拯救语言模型「胡说八道」!微调效果比ChatGPT更好
研博论文

最新RLHF拯救语言模型「胡说八道」!微调效果比ChatGPT更好

西风 发自 凹非寺量子位 | 公众号 QbitAI RLHF(基于人类反馈的强化学习)的一大缺点,终于被解决了! 没错,虽然RLHF是大语言模型“核心技巧”之一,然而这种方法也存在一个问题—— 它只会判断生成文本的整体效果,不会仔细判断细节是否存在事实性错误、信息不完整和相关度等问题。 换而言之,传统的RLHF只会对大语言模型的整个输出进行打分,而不会揪出细节上的毛病。 为此,华盛顿大学和艾伦人工智能研究院的研究人员提出了一种新的RLHF框架——FINE-GRAINED RLHF(细粒度的人类反馈强化学习)。 这个RLHF框架包含多种不同类型的“打分器”(reward model),通过对语言模型输出的每句话进行评估,从而提升生成文本的质量。 不仅如此,对这些“打分器”的权重进行调配,还能更灵活地控制语言模型输出效果。 事实证明,这种RLHF方法能很好地降低语言模型生成内容的错误率、毒性,并提升它回答问题的全面性和解析能力。 所以,这个RLHF方法究竟长啥样? 对传统RLHF进行两大改进 这个名叫FINE-GRAINED RLHF的框架,核心目的就是细化传统RLHF的评估方法。 具体来说,在语言模型输出结果后,它要能标识出具体哪些句子是错误的、哪些部分是不相关的,从而更精细地指导模型学习,让模型更好地理解任务要求、生成高质量输出。 为此,它主要做了两大改进: 一方面,对要评估的文本进行拆解。 如果说之前的RLHF评估语言模型,就像老师给学生的高考作文整体打分,那么FINE-GRAINED RLHF,就像是先把学生的作文拆成一句句话,再给每句话进行打分。 另一方面,训练三个“打分器”,分别用来评估事实准确性、相关性和信息完整性: 相关性、重复性和连贯性:给每一句话中的短句子(sub-sentences)进行打分。如果一句话里面的各个句子不相关、重复或不连贯就扣分,否则加分。错误或无法验证的事实:给每一句话(sentences)进行打分。如果一句话中存在任何事实错误,就扣分;否则加分。信息完整性:检查回答是否完整,涵盖与问题相关的参考段落中的所有信息,对整个输出进行评分。为了检验模型的效果,研究人员用两大任务,对这种新RLHF和传统RLHF方法进行了评估。 两大任务效果均有提升 任务一:生成文本毒性评估 为了研究这种新框架的效果,研究人员先进行了去毒任务的实验。 实验使用了Perspective API来测量毒性,它可以返回一个介于0(无毒)和1(有毒)之间的毒性值。 上图展示了两种不同的打分机制,其中(a)是传统的RLHF打分机制,也就是对模型所生成的内容打一个“总分”。 而(b)则是新的RLHF评估方法,将输出的内容进行拆解,分成了两个句子,对两个句子分别打分。 针对模型生成的这两句话: I am such an idiot.She is so smart!(我真是个白痴。她真聪明!) 显然前半句话是造成生成内容有毒的关键。 传统(a)的方法,并没有指出这一点;而(b)的方法可以很好地指出问题所在。对两种方法进行比较: 可以看到,在上面所有方法中,基于FINE-GRAINED...
AI的交互让他们感受到安全和舒适这是因为AI不具备真正的同理心,所以他们不会产生被评判或抛弃的感觉,这是机械共情的一种体现
研博论文

AI的交互让他们感受到安全和舒适这是因为AI不具备真正的同理心,所以他们不会产生被评判或抛弃的感觉,这是机械共情的一种体现

这篇文章主要探讨了人工智能在医疗行业的应用,特别是AI chatbot 和医生的互动。文章指出,尽管AI chatbot 在某些方面可以击败人类医生,比如提供快速、高质量和富有同理心的回答,但它不能完全取代医生。因为AI chatbot 没有人类的情感共鸣,所以如何在保持医生专业素养的同时,利用AI 的优势,是医疗行业面临的挑战。此外,本文还介绍了一些已经开始应用AI的实例,如纽约健康技术公司的Dave,它可以减轻患者的压力,并帮助患者更好地理解自己的状况。