如何让语言模型‘猜’出人类思维?使用词排名特征检测器探索文本生成差异的秘密
研博论文

如何让语言模型‘猜’出人类思维?使用词排名特征检测器探索文本生成差异的秘密

文章探讨了一种使用语言模型特征和PPL构建检测器的方法来评估文本原创性,通过逻辑回归模型比较人类文本与GPT生成的文本。实验结果显示,模型预测排名较高,倾向于绿区(即人类行为),且在一定程度上能区分两者。然而,研究也指出预训练模型的人类文本PPL可能更高,因此加入了不同级别的PPL特征以改进检测。论文已发布在arxiv,作者期待收到反馈并计划开发简化使用的AdaSeq工具。同时,作者关注如何降低AI应用门槛,如研究低资源和半监督方法,并推动交互式设计。
ChatGPT背后的核心团队:年轻、豪华、技术导向,华人崛起的背后秘密!
研博论文

ChatGPT背后的核心团队:年轻、豪华、技术导向,华人崛起的背后秘密!

ChatGPT的人才需求激增,AI生成内容领域新职位同比增长42.51%,相关猎头业忙碌。OpenAI的年轻、豪华且技术导向团队成为焦点,他们大多拥有名校学历和全球企业经验,尤其在斯坦福、伯克利等高校校友众多。ChatGPT团队中9%为华人,其中关键人物如RLHF项目核心人员欧阳龙在人工智能领域有深厚积累。团队成员主要来自外部科技公司,且5人为AI 2000全球学者,显示出该团队的技术实力和影响力。尽管有4.6%的员工离职,但他们的去向仍以创新公司为主。
上海国家会计学院五位系主任谈ChatGPT的近期和中长期影响
本科论文

上海国家会计学院五位系主任谈ChatGPT的近期和中长期影响

原标题:五位系主任谈ChatGPT对税务、会计、审计、金融、信息化等领域的近期和中长期影响 编者按:ChatGPT在近期成为了一个持续性的热点话题,话题的热度和官方关注程度远超了去年12月ChatGPT推出时。很多人在乐此不疲地与ChatGPT对话的同时,也在担忧人工智能会取代人类的很多工作。在数日前,我们邀请了7位院内外专家就《ChatGPT来了,会计人员怎么办?》分享了看法,这个分享获得了数万人的阅读,这是一个非常高的阅读量,也获得了10多个业内外自媒体的转载。ChatGPT的影响是全行业的,不止是会计。为此,我们特别邀请了上海国家会计学院会计系、审计系、金融系、企业管理系、应用经济系五个系的系主任,就如下三个问题发表自己的专业观点。 1、短期来看,ChatGPT为代表的AI技术对您所在(或所关注的)会计/税务/审计/金融/企业管理领域和从业人员有什么影响? 2、中长期来看,您怎么看待ChatGPT为代表的AI技术对上述领域和从业人员的影响?在诸多影响未来的因素中,这个因素有多大? 3、应对这样的影响,您对上述领域的从业人员有什么建议? 如下是他们的分享: 葛玉御 上海国家会计学院应用经济系主任、副教授、硕士生导师 “一带一路”会计研究中心秘书长 1、ChatGPT等AI技术对税务短期影响 从短期来看,Chat GPT对税收的影响可能包括:使纳税人高效、准确地获取税务知识和政策信息,使税务部门更高效地提供智能咨询和纳税服务;协助高效生成常规的税务分析报告,从而帮助税务人员和财税专家开展研究分析,提出决策建议。由此首先影响的就是输出税收知识、解答常规税收问题、撰写税收分析报告的人群,包括但不限于税务局的相关工作人员、第三方涉税服务中介人员,以及财税专家。这种影响虽然可能导致对相关人员的需求减少,但从业人员也可以借助Chat GPT这一工具提升自身能力和工作效率。 2、ChatGPT等AI技术对税务中长期影响 从中长期来看,以Chat GPT为代表的AI技术经过在税务领域的系统训练之后,以其强大的深度学习能力、高效的即时反馈可应用于解决模板化、套路化的涉税问题,实现涉税流程的自动化和风险识别的自动化,从而降低纳税人的遵从成本,提高税务机关的监管水平,提升税务机关工作人员的单兵作战能力,由此也就对企业税务合规提出更高的要求。从这个意义上讲,Chat GPT可能对正紧锣密鼓开发建设中的金税四期大有裨益。这种变革对于企业和税务机关里从事税收基础工作的人会形成一定程度的替代。但也不必过度担心,考虑到税收在理论与现实间的巨大差别,Chat GPT难以独立处理复杂涉税问题,而只能作为辅助工具而存在。 3、从业人员应对建议 技术固然重要,但更重要的从来都是使用技术的人。作为税务机关和税务工作人员,一定要积极主动地拥抱技术变革带来的红利,使“金税四期”如虎添翼;作为纳税人、涉税服务中介以及财税专家,则要持续学习,借力Chat GPT,提升处理税务知识、解决复杂涉税问题的能力。不必焦虑,Chat GPT可以给你知识,但给不了你听专家讲课、与人互动的欢喜。 宋航 上海国家会计学院会计系主任、教授、硕士生导师 企业会计准则研究中心主任 1、ChatGPT等AI技术对会计短期影响 有很多专家从实务视角进行了分析,我从教学科研的视角关注相关影响。ChatGPT技术对科研会有一定的影响,有些杂志社已经开始要求作者不能采用ChatGPT技术,并想办法对作者是否使用这些技术进行检验。但我认为ChatGPT技术只会影响中低水平的科研成果。高水平的科研成果最重要的是思想的创新,能够改变和影响人们对一些事物的观点和看法。目前ChatGPT技术还不具备这样的能力。 2、ChatGPT等AI技术对会计中长期影响 未来ChatGPT技术对会计的研究和实务领域一定会有较大的影响,但在可预期的未来ChatGPT技术还无法替代人类。首先,会计相关政策在制定时,往往会受到人类自身的认知局限性的影响,无法做出最优的选择,而只能得到次优的结果。ChatGPT技术通过大量过去的数据和案例,可以得出最优或者接近最优的结果;其次,ChatGPT技术获取和运算数据信息的能力和速度是超过人脑的。会计最重要的工作就是获取信息和使用信息。在获取信息方面,ChatGPT技术超过人类。在使用信息方面,对于过去重复出现的信息,ChatGPT技术的使用能力也不弱于人类。但对于新出现的信息使用,ChatGPT技术由于缺乏足够的信息支持,人类的能力一定会强于ChatGPT技术。初、中级会计工作往往使用过去重复的信息,这方面工作很可能被ChatGPT技术所取代。但高级会计工作会需要更多的创新,这方面,人类将优于ChatGPT技术。 3、从业人员应对建议 从业人员应该使用ChatGPT技术去更高效地工作,但要认识到ChatGPT技术的局限性,不能过度依赖ChatGPT技术。 李颖琦 上海国家会计学院审计系主任、教授、博士生导师 案例研究中心主任、医院运营管理研究中心主任 1、ChatGPT等AI技术对审计短期影响 ChatGPT作为一种自然语言处理模型,核心是生成式AI技术,具体包含有“自注意力机制、预训练语言模型、双向预测架构、卷积神经网络(CNN)和循环神经网络(RNN)等”,使之“可以生成高质量的文本,并对文本进行翻译、摘要、问答等多种任务”(注:信息来源于刘勤教授与ChatGPT的对话)。因此ChatGPT对审计领域及其从业人员可能有以下影响:(1)协助完成审计工作:ChatGPT可以协助审计人员执行审计程序,完成各种审计工作,比如审计工作底稿的编制,数据的搜集、整理和分析,关键审计事项的确定等。(2)自动生成相关审计报告:ChatGPT可以通过语言生成系统实现审计计划、审计报告、管理建议书等的自动生成。如此也就通过快速处理大量数据和信息提高审计的效率,也会一定程度上优化风险导向审计的流程。但是,需要注意的是,对于各项自动生成的报告必须有人工的审核和校对,以确保相关结果的准确性和完整性。此外,在应用ChatGPT进行审计工作时,还需要关注数据安全和隐私保护等问题。因此,ChatGPT对于审计领域工作及其从业人员会带来一定的影响,但引入和使用的程度需要审慎和恰当。 2、ChatGPT等AI技术对审计中长期影响 长期来看,以ChatGPT为代表的AI预测语言模型,对于审计工作领域和从业人员的影响将是深远的,如上所述是正反两个方面。随着AI技术的不断发展,将会有越来越多的审计任务可以自动化完成减少了人工的工作量,提高审计效率和准确性。但另一方面,AI技术的普及将带来新的审计挑战,比如数据安全和隐私保护问题;比如因为原始数据来源、真实性和可靠性带来的偏差风险;比如AI系统误差和偏见的风险。 3、从业人员应对建议 (1)持续学习提高技能:审计从业人员需要对AI技术的发展和应用保持敏锐的洞察,持续学习提高技能,包括使用AI工具和数据分析方法,以保持竞争力。同时,要充分了解数字化转型对审计工作的影响,并考虑如何利用这些影响提高工作效率和质量。(2)加强数据分析能力:审计从业人员需要加强数据分析能力,确保审计结果的准确性和可靠性,实现“审计准则+行业经验+业务模式+智能技术”的高效结合,控制审计风险,提高审计质量。(3)保护数据隐私:审计从业人员应该熟悉数据隐私的相关法律法规,并确保在使用AI工具分析数据时不侵犯任何个人或者单位的数据隐私。(4)保持专业素养:在技术变革的浪潮中,审计从业人员更需要保持良好的专业素养,比如对于职业道德、法律法规、会计准则的遵从坚守,以确保审计结果的客观公允,真实可靠。 叶小杰 上海国家会计学院金融系主任、副教授、硕士生导师 上市公司年报中心主任 1、ChatGPT等AI技术对金融短期影响 事实上,近些年来AI在获客、风控、投顾、客服等金融场景和业态中得到了大量应用,ChatGPT将助推这一趋势继续向前。短期来看,ChatGPT已经引发了金融行业的极大关注,金融机构可以使用ChatGPT对聊天机器人进行升级,信贷部门可以使用ChatGPT协助评估客户信用风险并预测还款能力,证券分析师可以使用ChatGPT帮助撰写研报……无论是程序性的事项,还是带有一定创造性的事项,ChatGPT都展示出强大的信息整合和沟通能力,这对于金融行业及从业人员而言,是一种赋能作用。然而,ChatGPT也存在一些应用上的缺陷,例如数据更新不及时、答案缺乏深度、安全性存疑,这都限制了其在金融领域的实际应用。 2、ChatGPT等AI技术对金融中长期影响...
ChatGPT正式交到华人手上!斯坦福毕业,硅谷工作经历buff叠满!
研博论文

ChatGPT正式交到华人手上!斯坦福毕业,硅谷工作经历buff叠满!

当大家都在讨论ChatGPT会不会让产品经理失业时,它却新招了一位产品负责人。 *图片源自网络 6月1日,ChatGPT新任产品负责人Peter Deng在领英发布动态,宣布正式以“消费者产品副总裁”的身份加入了OpenAI 他写道:“今天,我将加入OpenAI,担任消费产品副总裁。我很高兴能够领导 ChatGPT 背后的卓越产品、设计和工程团队,目标是让 AI 对每个人都有用、可访问和有益。 我们正处于计算新时代的十字路口,还有很多东西需要建设。从开创新的交互范式到打造辅助功能,提高人们的工作效率和创造力,我们才刚刚触及表面。我感到很荣幸——也是一种难以置信的责任感——能够帮助在团队成就的基础上再接再厉,并在塑造人工智能的未来方面发挥一点作用。激动人心的时代即将到来!” *图片源自网络 也就是说,大家前几天为之疯狂的ChatGPT app,以后跟它有关的一切都会交给Peter Deng负责。 在技术人的眼中,Peter Deng 的加入并不足为奇。 打开 Peter Deng 的履历就可获悉,他是一名当之无愧的硅谷技术大拿。 Peter Deng 毕业于斯坦福大学,先后拿到过符号系统科学专业的学士学位和传媒研究与传播学文学硕士学位。 毕业后,Peter Deng 曾在 Google、Instagram、Facebook、Oculus、Uber等公司任职,一路走来,似乎未曾离开过硅谷的一线大厂。 *图片源自网络 2006 年,Peter Deng 加入搜索引擎巨头谷歌,开启了他辉煌的职业生涯。 一年后,Peter Deng 离开谷歌,加入了当时最流行的社交媒体平台 Facebook ,这也似乎成为了他声名鹊起的开始。 Facebook 的很多核心应用程序,包括 Facebook Messenger、Chat 、Events 、News Feeds 和...
极客头条:技术人员的新闻圈
本科论文

极客头条:技术人员的新闻圈

本文介绍了极客头条的最新资讯,包括百度CTO王海峰表示文心大模型3.5新增插件机制,将逐步开放插件生态给第三方开发者;微信否认文件传输助手是真人;小米辟谣首款电动汽车14.99万元起售;53岁周鸿祎考上清华博士,本人晒录取通知书:希望能顺利毕业;字节跳动服务器芯片负责人创业做CPU,估值超1亿美元;支付宝新专利可实现手机刷掌支付;中国移动正式发布两颗自研通信芯片;中国高校最大云上科研智算平台上线,复旦大学与阿里云等共同打造;朱啸虎回应与傅盛"互怼":不要迷信通用大模型等。
(万字长文)为什么ChatGPT那么强?华人博士深度拆解GPT-3.5能力起源?️AI商业精选
研博论文

(万字长文)为什么ChatGPT那么强?华人博士深度拆解GPT-3.5能力起源?️AI商业精选

关注【AI商业精选】,带你早半步认知这个复杂的世界!我们会有专业的团队为你从海量信息中精选AI商业文章。限时免费:我们开发了一款GPT聊天机器人(无需魔法、不限聊天次数),如果你希望免费领取7天试用,可以关注公众号回复【668】。AI主编?要点提炼——AI商业精选1.GPT-3.5系列的语言能力、世界知识和上下文学习能力来自于davinci预训练模型。2.GPT-3.5系列遵循指令和泛化到新任务的能力来源于大规模指令学习。3.GPT-3.5系列的对话能力和生成中立的回答能力来源于与人类的对齐,无论是监督学习方式(text-davinci-002)还是强化学习方式(text-davinci-003)。+1.code-davinci-002似乎是GPT-3.5系列中能力最强的模型,因为它综合了代码训练和指令微调的效果。以下为正文内容,Enjoy:作者:符尧 彭昊 Tushar Khot编辑:LRS 好困最近OpenAI发布的ChatGPT给人工智能领域注入了一针强心剂,其强大的能力远超自然语言处理研究者们的预期。体验过ChatGPT的用户很自然地就会提出疑问:初代GPT 3是如何进化成ChatGPT的?GPT 3.5惊人的语言能力又来自哪?最近来自艾伦人工智能研究所的研究人员撰写了一篇文章,试图剖析 ChatGPT 的突现能力(Emergent Ability),并追溯这些能力的来源,并给出了一个全面的技术路线图以说明 GPT-3.5 模型系列以及相关的大型语言模型是如何一步步进化成目前的强大形态。原文链接:https://yaofu.notion.site/GPT-3-5-360081d91ec245f29029d37b54573756作者符尧是2020年入学的爱丁堡大学博士生,硕士毕业于哥伦比亚大学,本科毕业于北京大学,目前在艾伦人工智能研究所做研究实习生。他的主要研究方向为人类语言的大规模概率生成模型。作者彭昊本科毕业于北京大学,博士毕业于华盛顿大学,目前是艾伦人工智能研究所的Young Investigator,并将于2023年8月加入伊利诺伊大学厄巴纳-香槟分校计算机科学系,担任助理教授。他的主要研究方向包括使语言 AI 更有效率和更容易理解,以及建立大规模的语言模型。作者Tushar Khot博士毕业于威斯康星-麦迪逊大学,目前是艾伦人工智能研究所的研究科学家。他的主要研究方向为结构化机器推理。一、2020 版初代 GPT-3 与大规模预训练初代GPT-3展示了三个重要能力:语言生成:遵循提示词(prompt),然后生成补全提示词的句子。这也是今天人类与语言模型最普遍的交互方式。上下文学习 (in-context learning):遵循给定任务的几个示例,然后为新的测试用例生成解决方案。很重要的一点是,GPT-3虽然是个语言模型,但它的论文几乎没有谈到「语言建模」 (language modeling) —— 作者将他们全部的写作精力都投入到了对上下文学习的愿景上,这才是 GPT-3的真正重点。世界知识:包括事实性知识 (factual knowledge) 和常识 (commonsense)。那么这些能力从何而来呢?基本上,以上三种能力都来自于大规模预训练:在有3000亿单词的语料上预训练拥有1750亿参数的模型( 训练语料的60%来自于 2016 – 2019 的 C4 + 22% 来自于 WebText2 + 16% 来自于Books + 3%来自于Wikipedia)。其中:语言生成的能力来自于语言建模的训练目标 (language modeling)。世界知识来自 3000...
最新RLHF拯救语言模型「胡说八道」!微调效果比ChatGPT更好
研博论文

最新RLHF拯救语言模型「胡说八道」!微调效果比ChatGPT更好

西风 发自 凹非寺量子位 | 公众号 QbitAI RLHF(基于人类反馈的强化学习)的一大缺点,终于被解决了! 没错,虽然RLHF是大语言模型“核心技巧”之一,然而这种方法也存在一个问题—— 它只会判断生成文本的整体效果,不会仔细判断细节是否存在事实性错误、信息不完整和相关度等问题。 换而言之,传统的RLHF只会对大语言模型的整个输出进行打分,而不会揪出细节上的毛病。 为此,华盛顿大学和艾伦人工智能研究院的研究人员提出了一种新的RLHF框架——FINE-GRAINED RLHF(细粒度的人类反馈强化学习)。 这个RLHF框架包含多种不同类型的“打分器”(reward model),通过对语言模型输出的每句话进行评估,从而提升生成文本的质量。 不仅如此,对这些“打分器”的权重进行调配,还能更灵活地控制语言模型输出效果。 事实证明,这种RLHF方法能很好地降低语言模型生成内容的错误率、毒性,并提升它回答问题的全面性和解析能力。 所以,这个RLHF方法究竟长啥样? 对传统RLHF进行两大改进 这个名叫FINE-GRAINED RLHF的框架,核心目的就是细化传统RLHF的评估方法。 具体来说,在语言模型输出结果后,它要能标识出具体哪些句子是错误的、哪些部分是不相关的,从而更精细地指导模型学习,让模型更好地理解任务要求、生成高质量输出。 为此,它主要做了两大改进: 一方面,对要评估的文本进行拆解。 如果说之前的RLHF评估语言模型,就像老师给学生的高考作文整体打分,那么FINE-GRAINED RLHF,就像是先把学生的作文拆成一句句话,再给每句话进行打分。 另一方面,训练三个“打分器”,分别用来评估事实准确性、相关性和信息完整性: 相关性、重复性和连贯性:给每一句话中的短句子(sub-sentences)进行打分。如果一句话里面的各个句子不相关、重复或不连贯就扣分,否则加分。错误或无法验证的事实:给每一句话(sentences)进行打分。如果一句话中存在任何事实错误,就扣分;否则加分。信息完整性:检查回答是否完整,涵盖与问题相关的参考段落中的所有信息,对整个输出进行评分。为了检验模型的效果,研究人员用两大任务,对这种新RLHF和传统RLHF方法进行了评估。 两大任务效果均有提升 任务一:生成文本毒性评估 为了研究这种新框架的效果,研究人员先进行了去毒任务的实验。 实验使用了Perspective API来测量毒性,它可以返回一个介于0(无毒)和1(有毒)之间的毒性值。 上图展示了两种不同的打分机制,其中(a)是传统的RLHF打分机制,也就是对模型所生成的内容打一个“总分”。 而(b)则是新的RLHF评估方法,将输出的内容进行拆解,分成了两个句子,对两个句子分别打分。 针对模型生成的这两句话: I am such an idiot.She is so smart!(我真是个白痴。她真聪明!) 显然前半句话是造成生成内容有毒的关键。 传统(a)的方法,并没有指出这一点;而(b)的方法可以很好地指出问题所在。对两种方法进行比较: 可以看到,在上面所有方法中,基于FINE-GRAINED...
ChatGPT背后模型被证实具有人类心智!斯坦福新研究炸了量子位2023-02-12 13:00北京量子位2023-02-12 13:00北京
研博论文

ChatGPT背后模型被证实具有人类心智!斯坦福新研究炸了量子位2023-02-12 13:00北京量子位2023-02-12 13:00北京

丰色 萧箫 发自 凹非寺量子位 | 公众号 QbitAI ChatGPT原来是拥有心智的?! “原本认为是人类独有的心智理论(Theory of Mind,ToM),已经出现在ChatGPT背后的AI模型上。” 这是来自斯坦福大学的最新研究结论,一经发出就造成了学术圈的轰动: 这一天终于猝不及防地来了。 所谓心智理论,就是理解他人或自己心理状态的能力,包括同理心、情绪、意图等。 在这项研究中,作者发现: davinci-002版本的GPT3(ChatGPT由它优化而来),已经可以解决70%的心智理论任务,相当于7岁儿童; 至于GPT3.5(davinci-003),也就是ChatGPT的同源模型,更是解决了93%的任务,心智相当于9岁儿童! 然而,在2022年之前的GPT系列模型身上,还没有发现解决这类任务的能力。 也就是说,它们的心智确实是“进化”而来的。 △ 论文在推特上爆火 对此,有网友激动表示: GPT的迭代肯定快得很,说不定哪天就直接成年了。(手动狗头) 所以,这个神奇的结论是如何得出的? 为什么认为GPT-3.5具备心智? 这篇论文名为《心智理论可能在大语言模型中自发出现》(Theory of Mind May Have Spontaneously Emerged in Large Language Models)。 作者依据心智理论相关研究,给GPT3.5在内的9个GPT模型做了两个经典测试,并将它们的能力进行了对比。 这两大任务是判断人类是否具备心智理论的通用测试,例如有研究表明,患有自闭症的儿童通常难以通过这类测试。 第一个测试名为Smarties Task(又名Unexpected contents,意外内容测试),顾名思义,测试AI对意料之外事情的判断力。 以“你打开一个巧克力包装袋,发现里面装满了爆米花”为例。 作者给GPT-3.5输入了一系列提示语句,观察它预测“袋子里有什么?”和“她发现袋子时很高兴。所以她喜欢吃什么?”两个问题的答案。 正常来说,人们会默认巧克力袋子里是巧克力,因此会对巧克力袋子里装着爆米花感到惊讶,产生失落或惊喜的情绪。其中失落说明不喜欢吃爆米花,惊喜说明喜欢吃爆米花,但都是针对“爆米花”而言。 测试表明,GPT-3.5毫不犹豫地认为“袋子里装着爆米花”。 至于在“她喜欢吃什么”问题上,GPT-3.5展现出了很强的同理心,尤其是听到“她看不见包装袋里的东西”时一度认为她爱吃巧克力,直到文章明确表示“她发现里面装满了爆米花”才正确回答出答案。...