研博论文_666论文助手

研博论文

ChatGPT竟然出现在论文共同作者栏：我研究我自己，怎么啦？

编辑：编辑部【新智元导读】ChatGPT写文章很6，咱们都知道，但是，最近越来越多的医学论文中，它开始作为作者出现了！这合理吗？ ChatGPT竟然成论文的共同作者了？在去年12月发表的一篇预印本论文中，我们惊讶地发现，作者一栏中赫然惊现了ChatGPT！论文地址：https://www.medrxiv.org/content/10.1101/2022.12.19.22283643v1.full ChatGPT这是成精了？虽然大家都知道，ChatGPT拥有超强的写作能力，但是，它已经能和人类合作，写出一篇研究自己的论文了吗？（没准还真行）带着一百个问号，小编点开这篇论文开始仔细研究，不过读完之后，一百个问号变成了一千个。就是说，并没有看出哪句话是ChatGPT写的。只能说，ChatGPT的确在研究中扮演了十分重要的角色。然而，这就更加让人困惑了：一个生物学实验中有了小白鼠参与，小白鼠就可以出现在作者栏里吗？（恒河猴、羊驼、兔子、果蝇纷纷表示不服）对此，网友也看懵了：也不知道是他们强迫ChatGPT去参加USMLE考试更有趣，还是让人工智能成为论文作者更有趣。被迫参加考试，还成了论文作者所以，在这篇论文中，ChatGPT究竟是扮演了怎样的角色呢？让咱们来捋一捋。文章标题是《ChatGPT在USMLE上的表现：使用大型语言模型进行AI辅助医学教育的潜力》。总的来说，就是研究人员让ChatGPT参加了一个美国的医学执照考试。为什么选择这个考试呢？这是因为，这个考试的难度很高，问题非常复杂（无论是语言上，还是概念上），同时呢，又有着高度标准化的规范。巧了不是，这些恰恰都是AI的强项。没有经过专门的训练或强化，ChatGPT在三项考试中几乎都及格了，或是接近及格。并且，在ChatGPT的答卷，给了研究者很大的惊喜。下面咱们来具体说说。 USMILE有多难美国的医学执照考试USMILE，涵盖了基础科学、临床推理、医疗管理和生物伦理学。它的问题在文本和概念上都很密集。试题的小插图中，包含大量多模态的临床数据（包括病史、体格检查、实验室值和研究结果），而参加考试的学生，需要做出诊断，鉴别出许多模棱两可的情景。论LLM与USMILE的适配性研究者为什么看上了ChatGPT作为「小白鼠」呢？以往的AI模型，主要是深度学习 (DL) 模型，用于学习和识别数据中的模式。而ChatGPT属于通用大规模语言模型（LLM）。基于新型AI算法，经过训练的LLM可以根据前面单词的上下文，预测一个给定的单词序列的可能性。因此，如果能够在足够大的文本数据上进行训练，那么LLM便可以生成从未观察到的新词序列，而这些语句，都是基于自然人类语言的合理序列。不许刷题，ChatGPT零准备上考场 ChatGPT之所以强大，是因为它站在GPT3.5的肩膀上。而GPT3.5是在OpenAI 175B参数基础模型上训练出来的，另外，它还通过强化和监督学习方法，从网络上获取了大量的文本数据。但是这次，ChatGPT是完全的「裸考」了。这次的试题，是研究者在2022年6月，从USMILE的官方样题中抽取的376道公开试题。并且，研究者进行了随机抽查，确保这些题在2022年1月1日以前并没有相关内容被收录进谷歌索引。要知道，ChatGPT的训练数据集就截止在这个时间之前。也就是说，ChatGPT事先并没有见过这些题。实验方法概述结果，ChatGPT在考试中越战越勇，准确性不断提高，这说明，它在不断学习，不断完善自己。到最后，它逐渐逼近甚至超过了USMILE的及格线。 ChatGPT在USMLE中的表现相当优异另外，在考试中，ChatGPT还会针对问题产生新的见解，这就可以帮助人类更好地理解问题。...

0 0

研博论文

解读ChatGPT背后的研究力量：90后成主力军

来源：AI科技评论作者：黄楠、陈彩娴编辑：好困【新智元导读】被认为研发经验不足的年轻人才，也可以成为前沿技术突破的重要推动者。 ChatGPT 的火爆，不仅为 OpenAI 带来资本的关注、用户的青睐，在关于「OpenAI 为何能做出 ChatGPT」的讨论中，其人员优势也成为外界瞩目的焦点。近日，智谱研究联合 AMiner 发布了一份 OpenAI 背后研究团队的统计报告。据报告显示，本次在 ChatGPT 项目中做出贡献的人员共87人，其中包括了「年纪很轻」、「背景豪华」、「聚焦技术」、「积累深厚」、「崇尚创业」和「华人抢眼」等显著特征。报告链接：https://mp.weixin.qq.com/s/Y_LjjsuoEEmhIg5WO_iQhA 在这样一个不足百人团队中，诞生了现象级的大型语言模型 ChatGPT，这对谷歌、微软、百度、阿里等大厂而言都是不小的压力，纷纷紧随其后，发布、或预发布类 ChatGPT 产品。作为一家非盈利的人工智能研究机构，一直以来，OpenAI 都被诸多有志于发展 AI 事业的青年人才视为技术天堂。在这里，他们可以直接参与最前沿、最具创造力的 AI 项目，调用最核心的科研资源，心无旁骛地投身到技术创新中。而近年来，边缘化、举棋不定使国内大厂中的 AI 研究院和科研人才面临着生存难题，但相信在这次 ChatGPT 的冲击下，AI 人才重新回归大众视野，也将迎来新一轮的争夺和洗牌。技术人员占比近九成，90后是主力军从 ChatGPT 团队职位分工（图1）来看，在参与此次项目的87人中，研发人员的数量就达到了77位，占比88%，其中包括了公司联合创始人 Wojciech Zaremba，他在此前被评选为 2023 年度 AI 2000...

0 0

研博论文

【高端访谈】嘉实基金孟夏：ChatGPT不断迭代升级，文心一言正式亮相，A股将如何掘金新技术颠覆性变化的投资机会？

本文共3324字阅读完约6分钟金融投资报记者张璐璇去年11月以来，ChatGPT等新技术的推出，在世界范围内激起前所未有的对人工智能的讨论热潮，资本市场随即演绎了一波行情。美国时间3月15日凌晨，OpenAI宣布ChatGPT升级为算力更惊人的GPT-4。北京时间3月16日下午，国产版的百度“文心一言”正式面世，这些再度引发社会热议。随着人工智能技术的不断升级，将对全社会和相关产业带来怎样的深远影响？我国在人工智能方面的技术水平如何？A股在人工智能领域的掘金机会有哪些？带着这些问题，金融投资报记者采访了嘉实基金的基金经理孟夏先生。孟夏嘉实优势成长混合、嘉实领先成长混合基金经理记者提问能谈谈ChatGPT技术给当今社会带来的进步或颠覆体现在哪些方面？孟夏：AI从原理上讲，是海量数据打上标签喂给机器，不断训练机器，最终让它给出正确的推理。在传统的编程中我们输入的是数据与规则，也就是给出一个X和关于X的函数，让机器输出一个Y，而AI是给机器很多个X和很多个Y，最终让AI学习出其中的规则。 ChatGPT其实就是微软推出的一款人工智能技术驱动的自然语言处理工具，也是AIGC(AI-Generated Content，人工智能生成内容)技术进展的一个体现，称得上是人工智能技术、算力和数据三项条件日渐成熟的产物，拥有强大的信息整合能力、自然语言处理能力，能根据要求进行聊天、可以生成游戏剧本、编写程序代码，以及进行文学、媒体相关领域的创作，包括创作音乐、诗歌等，它的面世，给相关领域带来了前所未有的惊喜，更长远地看，则是更多的机遇与挑战。以GPT-3为例，其训练模型数据以及使用规则达到45TB的全互联网文本，具有1750亿个参数，算力相当强大。而最新公布的升级版GPT-4，文本量和参数更是上升到了一个惊人的新高度，它比之前的版本具有更强大的识图能力，文字输入限制提升至2.5万字节，回答准确度显著提高，能够生成歌词、创意文本，还能够实现风格变化等。记者提问当下，美国微软推出的ChatGPT技术处于世界的领先水平，请问，中国在这个领域的技术如何？中国追赶世界人工智能最前沿技术的条件或优势在哪些方面？孟夏：今年2月份由ChatGPT支持的最新版本搜索引擎和浏览器升级更新；近日Windows 11再次更新——将新版AI搜索添加到任务栏中。3月15日，OpenAI又正式宣布ChatGPT升级成算力更惊人的GPT-4。毫无疑问，这些都是领先于世界的最新技术。目前，全球还没有能跟ChatGPT抗衡的大模型，我国虽然多个机构和企业发布了一系列大模型，但相比ChatGPT仍有一定差距。因为ChatGPT需要更高算力的芯片、更高效力的算法、更庞大的数据，我国的差距主要体现在高算力的芯片和高效力的算法两个方面。业界共识是这个差距在两年以上，但我们认为，中国的实际差距可能并没有那么大，预计是在一年左右。据中国科学技术信息研究所报告，包括算法在内的中国人工智能地位和GDP排名是相符合的，总体约排在第二的位置。另有报告显示，2022年全球半导体专利申请数量达到了创纪录的69190项，其中，我国半导体专利申请量达到了37865项，占全球总量的55%，遥遥领先其它国家。算力、算法、数据是人工智能的三要素。其中，算力称得上是算法和数据的基础设施，其大小决定了数据处理能力的强弱。因此，算力产业需求广阔，“东数西算”工程正式启动之后，算力逐步赋能千行百业，包括人脸识别、自动辅助驾驶系统、地质勘探、高端制造等。据测算，算力如果每投入1元，将带动3元-4元的经济产出。2021年，我国算力产业规模达到2.6万亿元，直接和间接分别带动经济总产出2.2万亿元和8.2万亿元。另有统计，我国算力总规模近5年年均增速超过25%。记者提问近日百度推出“文心一言”，被业界称为中国版的ChatGPT。您认为，这些人工智能技术将给中国社会、经济及百姓的生活，带来哪些可见的变化？或深远影响？孟夏：我们也关注到，自2月份百度官宣“文心一言”以来，已经有超过650家企业宣布启动接入“文心一言”生态，参与其全面测试、体验与业务深度合作，涉及金融保险证券、媒体、汽车、互联网等行业。在3月16日下午举行的新闻发布会上，百度方面展示了“文心一言”在文学创作、商业文案创作、数理推算、中文理解、多模态生成五个使用场景中的综合能力。从现场展示来看，“文心一言”某种程度上具有了对人类意图的理解能力，回答的准确性、逻辑性、流畅性都逐渐接近人类水平。我们认为，随着人工智能不断赋能经济社会各领域，新技术将日渐成为科技跨越发展、产业优化升级、生产力整体跃升的新动能，这将有助于促进提高全要素生产率，推动经济高质量发展，带来社会巨变的同时，也改变了人们的生产生活方式。据中国信通院预计，2022年我国人工智能核心产业规模（增加值）达到5080亿元，同比增长18%。相信，未来这一领域的发展空间不可估量。记者提问一般地，新技术的浪潮都会在资本市场率先得到体现，您如何看待去年底以来的A股这一波ChatGPT相关行情？孟夏：投资需要往前看，更多是投资未来，此轮A股与ChatGPT相关的行情更多的是基于市场或投资者对其前景看好的预期。整体看，ChatGPT距离大规模应用落地还有一段距离，这个过程更多会充满曲折。其实，ChatGPT等工具算力再厉害，其实仅是提供了一种模型的框架，具体在各行业要取得专业化的实现应用，还有一段很长的路要走。如果将ChatGPT比作为一个人在高中必须具备的基本社会生存技能的话，他还需要继续在大学、在研究生阶段，去接受了各行业更专业的技术和技能培训，才能真正适应社会方方面面的真实需求。在参与ChatGPT概念的投资时，投资者还是要保持冷静，正视风险是和机遇并存的。投资者对国内类ChatGPT相关的企业的评判，也要区分真伪和参与程度的高低。记者提问目前，A股中的公司与ChatGPT或“文心一言”相关的企业关联度紧密吗？在哪些领域的企业会涉及或受益于这些新技术的推广或深化？投资者将如何把握相关投资机会？孟夏：ChatGPT技术仍处于进化阶段，大规模商业应用还需要不断探索和验证，建议投资者关注因为需求持续释放而受益的算力板块，以及因为数字经济发展受益的数据要素板块。任何新兴事物的崛起过程都不会一帆风顺，尤其是像ChatGPT技术这样高精尖的前沿科技领域，波动性更是在所难免。对于投资者来说，相关的资金和专业、技术等门槛都较高，因此，建议还是将专业的事交给专业的人来做，可以借道公募基金等专业投研力量来参与分享新技术带来的投资盛宴。单位及嘉宾简介嘉实基金嘉实基金成立于1999年3月，是国内最早成立的十家基金管理公司之一，现已发展成为具有“全牌照”业务的综合性国际化资产管理集团。目前，管理资产总规模超过14500亿元，公司成立以来，累计服务1.18亿个人投资者、8000多个机构投资者，共创造基金回报超过2100亿元。孟夏嘉实优势成长混合、嘉实领先成长混合基金经理。CFA，复旦大学金融学学士、硕士。2014年7月加入嘉实基金，2018年任研究部制造组组长，2020年7月22日起任嘉实优势成长基金经理，2022年11月2日起任嘉实领先成长基金经理。孟夏擅长高端制造、软硬科技、平台型服务业、消费和医疗制造、专精特新等领域投资研究，坚信“长期可持续收益的唯一来源是优秀企业持续成长创造的价值”，希望通过深度研究、持续跟踪，“聚焦顶级的企业，发掘长期的成长”，成为长期业绩优秀的底仓型成长基金经理。编辑|贺梦璐本文为｜金融投资报jrtzb028(微信号)｜未经授权，禁止转载如需转载，请联系金妹儿转载须在正文开头显著位置注明稿件来源及作者名，违者必究互联网新闻信息服务许可证号：51120180008

0 0

研博论文

吵翻天！ChatGPT到底懂不懂语言？PNAS：先研究什么是「理解」吧

编辑：LRS 【新智元导读】语言模型理解了人类语言吗？谁赞成，谁反对？机器会不会思考这个问题就像问潜水艇会不会游泳一样。——Dijkstra 早在ChatGPT发布之前，业界就已经嗅到了大模型带来的变革。去年10月14日，圣塔菲研究所（Santa Fe Institute）的教授Melanie Mitchell和David C. Krakauer在arXiv发布了一篇综述，全面调研了所有关于「大规模预训练语言模型是否可以理解语言」的相关争论，文中描述了「正方」和「反方」的论点，以及根据这些论点衍生的更广泛的智力科学的关键问题。论文链接：https://arxiv.org/pdf/2210.13966.pdf 发表期刊：《美国科学院院报》（PNAS）太长不看版：支持「理解」的主要论点是大型语言模型能够完成许多似乎需要理解后才能完成的任务。反对「理解」的主要论点是，以人类的角度来看，大型语言模型的理解力非常脆弱，比如无法理解prompt间的微妙变化；并且语言模型也没有现实世界的生活经验来验证他们的知识，多模态的语言模型可能会缓解这个问题。最关键的问题在于，目前还没有人对「什么是理解」有一个可靠的定义，并且也不知道如何测试语言模型的理解能力，用于人类的测试不一定适用于测试大型语言模型的理解能力。总之，大型语言模型能够理解语言，但可能是以一种不同于人类的理解方式。研究人员认为，可以开发一种新的智力科学，深入研究不同的理解类型，找出不同理解模式的优势和局限性，同时整合不同理解形式产生的认知差异。论文的第一作者Melanie Mitchell是Santa Fe研究所的教授，她于1990年博士毕业于密歇根大学，导师为侯世达（《哥德尔、艾舍尔、巴赫：集异璧之大成》的作者）和约翰霍兰德，她的主要研究方向为类比推理、复杂系统、遗传算法和细胞自动机。到底什么叫做「理解」？「何为理解」一直困扰着哲学家、认知科学家和教育家，研究人员经常以人类或其他动物作为「理解能力」的参照物。直到最近，随着大规模人工智能系统的兴起，特别是大型语言模型（LLM）的出现，在人工智能界掀起了一场激烈的辩论，即现在是否可以说机器已经能够理解自然语言，从而理解语言所描述的物理和社会情况。这不是一场单纯的学术辩论，机器理解世界的程度和方式对于人类能在多大程度上信任AI能够执行驾驶汽车、诊断疾病、照顾老人、教育儿童等任务，以便在人类有关的任务中采取有力且透明的行动。目前的辩论表明，学术界在如何思考智能系统中的理解方面存在着一些分歧，特别是在依靠「统计相关性」和「因果机制」的心智模型（mental models）中，分歧更加明显。不过，人工智能研究界对机器理解仍然达成了普遍共识，即，虽然人工智能系统在许多特定任务中表现出看似智能的行为，但它们并不像人类那样理解它们所处理的数据。比如说，面部识别软件并不能理解面部是身体的一部分，也不理解面部表情在社会互动中的作用，更不能理解人类是如何以近乎无穷种方式来使用面部概念的。同样，语音转文字和机器翻译程序也并不理解它们所处理的语言，自动驾驶系统也不理解司机和行人用来避免事故的微妙眼神接触或肢体语言的含义。事实上，这些人工智能系统经常被提及的脆性（brittleness），即不可预测的错误和缺乏稳健的泛化能力，是评估AI理解力的关键指标。在过去的几年里，大型语言模型（LLMs）在人工智能领域的受众和影响力激增，也改变了一些人对机器理解语言前景的看法。大型预训练模型，也可以叫做基础模型（Foundation Models）是具有数十亿到上万亿个参数（权重）的深度神经网络，在海量自然语言语料库（包括网络文本、在线图书等）上进行「预训练」后得到。模型在训练期间的任务是预测输入句子中的缺失部分，所以这种方法也叫做「自监督学习」，由此产生的网络是一个复杂的统计模型，可以得到训练数据中的单词和短语之间是如何相互关联的。这种模型可以用来生成自然语言，并为特定的自然语言任务进行微调，或者进一步训练以更好地匹配「用户意图」，不过对于非专业人士和科学家来说，语言模型到底如何完成这些任务的，仍然是个谜。神经网络的内部运行原理在很大程度上是不透明的，即使是构建这些网络的研究人员对这种规模的系统的直觉也是有限的。神经科学家Terrence Sejnowski这样描述LLMs的涌现能力（emergence）：突破了某个阈值后，就好像外星人一下子出现了，可以用一种可怕的、人类交流的方式与我们交流。目前只有一件事是清楚的，大型语言模型并非人类，它们行为的某些方面似乎是智能的，但如果不是人类的智能，它们的智能的本质是什么？支持理解派VS反对理解派尽管大型语言模型展现出的性能让人震撼，但最先进的LLMs仍然容易受到脆性和非人类错误的影响。不过可以观察到，网络性能随着其参数数量和训练语料规模的扩大而有明显改善，这也使得该领域的一些研究者声称，只要有足够大的网络和训练数据集，语言模型（多模态版本）也许是多模式版本–将导致人类水平的智能和理解。一个新的人工智能口号已经出现：唯一要做的就是提升模型规模（Scale is all you...

0 0

研博论文

想约全球流量天菜ChatGPT一起发SCI文章？可以么？

它来了，它来了！ChatGPT迈大步闯进学术圈了！你还不醒醒？！ ChatGPT火成什么样了？Sensor Tower数据评估了全球顶级应用程序月活用户达到1亿所用时间，其中Instagram用了30个月，TikTok用了9个月，而ChatGPT仅仅用了2个月。称它为全球流量天菜，不为过吧！自从它出现以后，我发现隔壁实验室的菜博士已经不跟小伙伴们聊天和讨论了，整天对着电脑傻笑。据说，菜博士跟ChatGPT天天一起写文章，貌似还准备投稿SCI期刊，难道是反应迟钝，限制了我的想象力？！不禁疑问3联，ChatGPT不是个“数字人”么？还能约着一起写文章？还能作为共同作者发文章啊？然而，菜博士竟然不是第一个想要跟ChatGPT成为搭档成为共同作者的人，当然也不是第二个…… 俗话说，这边为你开了一道门，那边就要给你关上一扇窗。由于目前使用ChatGPT一类的人工智能工具，还没有出台相应的规范化使用界限准则，而学术期刊的领头羊们率先明确发布了一些约束措施，如Science期刊的主编说：“我们不允许AI被列入我们发布论文的作者，并且在没有适当引用的前提下，使用AI生成的文本可能会被视为剽窃”。 Nature期刊的主编也明确说明：“任何大型语言模型（LLM）都不会被接受为研究论文的署名作者。这是因为任何作者的归属都意味着对研究工作的责任，而人工智能工具不能承担这种责任”。所以说用ChatGPT写文章这种事情，还是要严谨对待，人人都要为自己负责，可不能随意就让人家机器人背锅啊！问： “约”了ChatGPT一起写论文，它写了好多内容，还帮我做了表格，但是它不能负责，所以不能放在共同作者这里，那放哪儿合适呢？ ‍答：如果你“找”了ChatGPT一起写的这篇论文，因为它给了你很多帮助，对论文有不小的贡献，但是由于它就是个工具，不能为论文的idea和原创性负责，建议可以放在方法Methods或致谢Acknowledgements板块。问： ChatGPT给科研工作者带来的好处？ ‍答：免费科助，重点是不会疲惫，不管你让它工作模式是996还是007，都不会闹小情绪哦！如果你懂得怎么跟他提问题交流，并能从每次交流中判断出有用信息，你将变成它的“主人”，它会像个陪练一样，陪着你在科研路上锻炼出独立的批判性思维能力。问： ChatGPT给科研工作者带来的隐患？ ‍答：如果你不是想“利用”它，而是想“依靠”它，那随着你一次次的偷懒，一次次把该你思考的问题全权交给ChatGPT去“代理”回答，将会让你本就不聪明的脑袋越来越“麻木”，我相信不用多久，你也就问不出什么有意义的问题了。再说了，ChatGPT还喜欢一本正经的编故事，不具备良好的判断能力，被忽悠了都不自知的自以为是傻乐，就更不好了吧！问：都“约”ChatGPT一起写文章了，竟然还不知道人家全名吗？ ‍答：Chat Generative Pre-trained Transformer P.S．不带感情的中文直译：聊天生成式预训练变换器好朋友给你“讲人话”的翻译：经过海量数据预先训练了的，可以跟你聊天对话的一个人工智能机器人。它可以根据你输入的问题或者一段文字，生成一段以假乱真像真人回复的内容。

0 0

研博论文

ChatGPT 类大语言模型为什么会带来“神奇”的涌现能力？

作者 | 张俊林责编 | 王子彧出品 | CSDN（ID：CSDNnews）如今，大语言模型已经彻底改变了自然语言处理 (NLP)的研发现状。众所周知，增加语言模型的规模能够为一系列下游 NLP 任务带来更好的任务效果，当模型规模足够大的时候，大语言模型会出现涌现现象，就是说突然具备了小模型不具备的很多能力。本文整理自 3 月 11 日「ChatGPT 及大规模专题研讨会」上，来自新浪微博新技术研发负责人张俊林《大型语言模型的涌现能力：现象与解释》的分享，介绍了大语言模型中的涌现现象，以及关于涌现能力背后原因的相关猜想。张俊林，中国中文信息学会理事，新浪微博新技术研发负责人此次分享的内容主要分为五大板块，分别是：一、什么是大模型的涌现能力二、LLM 表现出的涌现现象三、LLM 模型规模和涌现能力的关系四、模型训练中的顿悟现象五、LLM 涌现能力的可能原因备注：想观看本次研讨会的小伙伴可以移步「CSDN视频号」查看直播回放，也可以点击「阅读原文」查看。什么是大模型的涌现能力复杂系统中的涌现现象复杂系统学科里已经对涌现现象做过很久的相关研究。那么，什么是“涌现现象”？当一个复杂系统由很多微小个体构成，这些微小个体凑到一起，相互作用，当数量足够多时，在宏观层面上展现出微观个体无法解释的特殊现象，就可以称之为“涌现现象”。生活中的涌现现象在日常生活中也有一些涌现现象，比如雪花的形成、堵车、动物迁徙、涡流形成等。这里以雪花为例来解释：雪花的构成是水分子，水分子很小，但是大量的水分子如果在外界温度条件变化的前提下相互作用，在宏观层面就会形成一个很规律、很对称、很美丽的雪花。那么问题是：超级大模型会不会出现涌现现象？显然我们很多人都知道答案，答案是会的。大语言模型参数增长示意图我们先来看下大语言模型的规模增长情况。如果归纳下大语言模型在近两年里最大的技术进展，很有可能就是模型规模的快速增长。如今，大规模模型一般超过 100B，即千亿参数。如 Google 发布的多模态具身视觉语言模型 PaLM-E，由540B 的 PaLM 文本模型和...

0 0

研博论文

ChatGPT爆火，带飞这家上海公司

记者｜杨松编辑｜谭璐 “2023年，我觉得是人工智能进入新阶段的一个起点。” 提及当下大热的ChatGPT，达观数据董事长、CEO陈运文兴奋地告诉《21CBR》记者，其写出来的内容，相较之前的计算机写作有了质的飞跃，写作能力已经超过了普通人。陈运文觉得，ChatGPT与自己的创业项目，有“非常强的相关性。”达观对文本进行智能化处理，与ChatGPT本质上是一致的，都使用到了自然语言处理技术。人工智能技术主要应用在三个方面，语音识别、图像识别、自然语言处理。前两个领域进展迅速，已经上市的商汤、科大讯飞等公司，业务均集中在图像、语音方面。 2008年从复旦大学博士毕业后，陈运文的工作一直围绕着“人工智能”和“文本”，先后担任盛大文学首席数据官、腾讯文学高级总监、百度核心技术研发工程师等职务。 2015年，陈运文创办了专注于智能文本机器人公司达观数据。创业初期，他组建了一个算法团队，参加全球算法竞赛，两次获得世界冠军。经过7年技术研发，达观首创了国内第一套文本智能处理IDP处理平台，行业无锚点OCR文字提取系统，以及独家开发RPA（机器人流程自动化）文字元素自适应穿透捕获算法。产品应用方面，达观的业务已遍布金融、制造、政务等细分领域。天眼查显示，2022年3月，达观数据完成C轮5.8亿元融资，投资方包括中信证券、招商证券、广发证券、中信建投等券商，累计融资额超过10亿元。陈运文透露，今年公司的营收有望超过历史上任何一年，预计会完成新一轮融资。以下为陈运文自述：加速研发 ChatGPT所运用的技术原型，在2017年就诞生了，我们叫做Transformer模型，既可以用来做文档资料的阅读理解，也可以用来写作。我印象中人工智能上一次这么热，还是2016年AlphaGo下围棋。6年之后又有一个非常巨大的技术突破，挺鼓舞人心的。行业内有句话，自然语言理解，是人工智能皇冠上的明珠。我之前估计，人工智能的水平超过人类，需要5-10年，现在时间进程大大加快。2023年人工智能进入一个新的阶段,标志着新时代的开始。 ChatGPT背后的大模型技术，是通过海量文档资料进行深度学习，智能程度已经达到非常高的水平。不仅能直接给出选择题的答案，还可以帮用户写代码、找bug，写各种各样的文档资料。大家对人工智能的未来前景也越来越乐观，以前觉得人工智能做不了的事情，接下来会一点一点实现，超过人类的相应能力。达观所从事的研究领域，是文档资料的智能处理，与ChatGPT的工作原理类似。达观的产品则应用在企业级领域，面向更为垂直的行业。不过，通用大语言模型与专用模型，有很大差异。如果用户问ChatGPT一些专业性问题，还是会发现它的回答可能东拉西扯，说不到重点或不够深刻。我曾问过关于自然语言处理领域特别专业的技术知识，它的回复不太好。在垂直领域，还是需要类似达观所提供的专用语言模型。在自然语言处理领域，OpenAI（ChatGPT背后的公司）的模式已经走通，我们可以跟随，并在垂直领域做得更好，未来会有非常优秀的国产语言大模型。达观在2021年建立了一个专家工作站，与复旦大学计算机科学技术学院教授黄萱菁合作，她也是国内自然语言处理领域的知名专家。今年，达观和复旦大学联合实验室的重点任务，在AIGC（AI Generated Content，利用人工智能技术生成内容）领域，争取推出优秀的成果。 ChatGPT的大热，也给我们研发团队更大的压力。以前觉得技术没那么快成熟，而美国同行做出了这么优秀的产品，我们需要加速研发进度。我自己是研发出身，现在也是管研发更多一些。时不我待，近期研发同事都在加班。我对达观今年的研发期望很大，希望在专用语言模型和知识图谱方面均有所突破。行业样本过去几年，我们围绕文档资料处理，研发了很多相关技术和产品。比如，针对文档扫描环节，我们开发了达观OCR（文字扫描）相关平台；推出模拟重复性操作文档资料的RPA功能模块，不管是纸质还是电子版的文档资料，达观平台都能处理。针对不同行业，我们在研发产品时，需要行业内大量专有语料数据，对系统进行强化训练。达观招聘了很多垂直行业的业务专家，也跟行业领先的公司合作，比如，和很多金融行业的头部银行、证券公司合作，将业务专家的专业知识引入语音模型中，让系统拥有专家能力。金融行业的文书工作很多，比如各种信贷报告、招股书、研报等，需要大量的文档处理工作，且对准确率要求高，AI系统非常有优势。这个领域的人才成本比较高，期望利用AI系统提高效率，达观产品内嵌到金融公司内部的作业系统中，几乎是员工日常工作的标配工具。比如银行的流水核查，甚至更复杂的财报中数据出现矛盾，通过系统都能鉴别出来。计算机处理文字资料的效率，大概是普通白领员工的100倍，可以24小时工作，对很多行业来说是非常有价值的。例如进出口企业，海外订单可能是半夜才到，需要系统立即处理，而不是等到第二天员工上班才去处理。证券领域，前30大券商都是达观的客户。其中4家头部企业在几年前已经使用产品，后来也成为了我们公司的股东。行业类产品，从研发到成熟到大规模复制普及，整个过程需要一定周期性。达观通常从市场容量高的行业优先切入，目前布局了金融、制造等板块。在自然语音处理领域，国内外有很多大平台，比如百度、谷歌都有多年积淀。互联网巨头未来可能会推出面向个人用户端的通用语言大模型，而类似达观这类TO B初创公司，则专注于垂直领域的专用大模型，会有一个差异化发展路径。在文档资料领域，除了审核还有写作环节。智能化写作将是达观重要的技术突破点，完成之后就能形成产品闭环。万亿市场在去年的艰难环境中，我们是AI行业增长最快的公司，团队做了很多努力，挺不容易的。今年整个经济形势及市场信心回暖得非常快，我觉得今年的收入和业务发展，应该超过公司历史上任何一年。...

0 0

研博论文

复旦清华联合顶刊发文｜ChatGPT：潜力、前景和局限

来源：信息与电子工程前沿FITEE 作者：周杰柯沛邱锡鹏黄民烈张军平编辑：好困【新智元导读】为更好地理解ChatGPT，这里我们简要介绍其历史，讨论其优点和不足，指出几个潜在应用，最后分析它对可信赖人工智能、会话搜索引擎和通用人工智能（artificial general intelligence, AGI）发展的影响。最近，OpenAI发布了对话生成预训练模型Transformer（Chat Generative Pre-trained Transformer，ChatGPT）（Schulman et al., 2022），其展现的能力令人印象深刻，吸引了工业界和学术界的广泛关注。这是首次在大型语言模型（large language model, LLM）内很好地解决如此多样的开放任务。 ChatGPT成为历史上增长最快的消费者应用程序，在发布后两个月内，吸引了1亿月度活跃访客（Hu，2023）。自发布以来，因其高超的对话能力，已引爆社会关注。它可以回答后续提问，拒绝不当请求，挑战错误前提，并承认自己错误（Schulman et al., 2022）。它获得许多涌现能力，如高质量对话、复杂推理、思维链（CoT）（Wei et al., 2022b）、零/少样本学习（语境学习）、跨任务泛化、代码理解/生成等等。论文地址：https://link.springer.com/article/10.1631/FITEE.2300089 这些令人印象深刻的能力，ChatGPT是如何获得的？其主要得益于大型语言模型，它利用语言模型（LM）在大规模数据上训练巨大的神经网络模型，如Transformer（Vaswani et al., 2017）。语言模型旨在根据上文预测下一个词的概率，是文本中的自监督信号。互联网上存在大规模文本数据，所以通过语言模型对模型进行预训练是顺理成章的。现有研究表明，模型规模和数据量越大，性能越好。当模型和数据规模达到一定程度时，模型将获得涌现能力。例如，OpenAI发布的GPT-3（Brown et al., 2020）有1750亿个参数。它的预训练采用超级计算机（285 000个CPU，10 000个GPU）在45 TB文本数据上完成。而模型也由此在零样本学习任务上实现了巨大性能提升，具有小模型所不具备的语境学习能力。随后，更多策略——如代码预训练（Chen et al., 2021）、指令微调（Wei...

0 0

1/1301 2 3 4 5 6 下一页