人工智能大模型竞赛:京东言犀团队斩获吴文俊人工智能科学技术奖
研博论文

人工智能大模型竞赛:京东言犀团队斩获吴文俊人工智能科学技术奖

本文介绍了京东云旗下言犀团队在中国人工智能科学技术奖中获得科技进步奖,以及京东集团副总裁何晓冬博士获得杰出贡献奖的喜悦。言犀团队凭借“任务型智能对话交互关键技术及大规模产业应用”项目,涵盖了知识指导的多模态可控对话生成、极简条件下智能行为感知与数字外观重建、多轮对话决策推理三项技术突破,均达到国际领先水平。该项目已经形成了系列产品和解决方案,并在多个行业应用,产生了逾20团的直接经济效益和良好的社会效益。此外,京东集团正计划推出新一代千亿级大模型“言犀产业大模型”,以满足真实的产业需求,提升产业竞争力。
失去方向:探讨人工智能助手在无人类反馈情况下的强化学习问题
研博论文

失去方向:探讨人工智能助手在无人类反馈情况下的强化学习问题

这篇文章探讨了教学模型在训练过程中可能出现的问题。首先,文章指出教学模型可能会放弃回答问题,这可能是由于模型的训练数据不足或者训练过程不充分导致的。其次,文章提到了模型窃取和蒸馏的影响,这些行为可能会对模型的泛化能力产生负面影响。最后,文章强调了无人类反馈的强化学习可能会导致模型无法有效学习和改进,因为缺少人类的监督和指导。因此,作者建议在训练教学模型时应该注重数据的充足性和多样性,并加强对模型的监督和反馈机制。
ChatGPT:通用人工智能的崛起与未来Impact
研博论文

ChatGPT:通用人工智能的崛起与未来Impact

图片来源@视觉中国 文|险峰创 2023年险峰线上沙龙的第一期,我们和四位行业大牛聊了聊最近大火的ChatGPT。 首先介绍一下本场嘉宾:陶芳波博士是前Facebook高级研究科学家,回国后进入阿里达摩院,搭建了阿里的神经符号实验室,属于全球最顶级的AI科学家之一,目前正在创业,担任人工智能公司「心识宇宙」的CEO。 黄东旭是险峰的老朋友,「PingCAP」的联合创始人兼CTO,他本人是国内最早一批开源数据库的创业者,在程序员圈子里非常活跃;PingCAP也是目前Infra领域估值最高的科技公司之一,险峰曾在天使轮分别投资了PingCAP和心识宇宙。 费良宏老师是AWS的首席架构师,曾供职于微软、苹果等多家硅谷巨头担任技术顾问,在云计算行业里深耕多年;龙波博士目前担任Meta商业化AI研究团队的负责人,之前曾深度参与过京东搜索推荐算法的搭建。 此次圆桌由险峰长青投资副总裁李抗主持,李抗主要专注于人工智能、机器人、云计算等方向的投资。 本次我们将聊到: ChatGPT 效果如此“炸裂”,AI从业者们事先是否预见到了? ChatGPT 是否能理解语言逻辑本身? 为什么谷歌没能做出 ChatGPT? 开源圈和云计算巨头是如何看待 ChatGPT的? ChatGPT 能让TMT投资人“再干15年”吗? ChatGPT 正在对哪些工作岗位造成影响? ChatGPT 广泛使用后,人的认知能力会下降吗? ChatGPT 会导致哪些行业消失?哪些公司急需转型? 小公司如何抓住 ChatGPT 的逆袭机会? 硅谷现在如何看待 ChatGPT? 普通人如何拥抱 ChatGPT ?报考计算机专业还有前途吗? OpenAI的组织设计给创业者带来哪些启示? ChatGPT效果如此“炸裂”,AI从业者们是否预见到了? 险峰:去年AI作画也火过一阵,但都没能像ChatGPT一样让普通人感到震撼,似乎是一夜之间,AI就达到了一个如此炸裂的效果,基于各位对NLP与AIGC的理解,这种进步是在意料之中还是意料之外? 陶芳波:刚才主持人已经介绍过我的背景,我本人从读博士到后来工作创业,一直在从事AI相关的科研工作,但坦白来说,这次ChatGPT给我带来的震撼,并不亚于屏幕前的每个人。 传统上,越复杂的技术,信息壁垒也越高,所以过去的情况往往是,行业内的人都已经知道技术发展到了什么水平,但大众可能还不知道;而ChatGPT完全不是这样,它刚刚诞生3个月,我们就看到无论巨头大厂还是AI科学家们,都马上进入了一种非常紧张的应对状态,甚至可以说是应激状态。ChatGPT突然具有了这么强大的通用性能力和逻辑推理能力,是超出很多AI从业者设想的。 为什么这件事会发生?我仅从个人角度做一个简单的总结。 第一,是大数据和大算力的发展,这是一个基础。2012年深度学习刚刚诞生的时候,大家就尝试把更多的算力和数据灌输到一个模型中去,让AI具有更强的能力,这个逻辑在今天依然没有变化。 我们知道人脑要比动物的大脑更聪明,两者最直观的差别,是人脑的神经元和神经突触更多,比如人脑的神经元有1000亿,神经突触可能有几万亿,今天ChatGPT可以达到上千亿的参数量,已经跟人脑比较接近了,量变才有可能引发质变,AI的发展首先要靠算力数据的指数级发展。 第二,是在人工智能的发展背后,其实一直有「专用人工智能」和「通用人工智能」的两派观点的争论。 以前我们熟悉的人工智能,比如计算机视觉算法和自然语言算法,都属于「专用人工智能」。而在他们以外,其实一直有另一拨人在尝试,有没有可能把单个的专项AI变成一个通用AI?用一个统一的大模型来解决所有的问题? 这里面有几个关键性的节点,首先是2017年,谷歌大脑(Google brain)发表了一篇关于transformer的文章,奠定了包括今天ChatGPT所有技术的基础,细节这里不展开了——总之它让很多人意识到,通用型AI是有可能被造出来的。 对此,谷歌的做法是首先搞一个底座,这个底座叫做「预训练大模型」,然后不断向底座里灌输数据,让它上面能长出一个个小模型来,再用这些小模型去解决不同的任务。 这时出现了一家公司叫OpenAI,他说我不相信仍然需要训练小模型来造出通用AI,那我能不能直接让大模型去阅读互联网上所有的数据?砍掉中间环节,直接让人用语言去和大模型交流? 基于这种思想,OpenAI在2018和2019年,分别推出了GPT1和GPT2,但当时它的通用性还不强,没有引起太多关注,然而到2020年,第三代也就是GPT3出现了。...
AI新纪元:大模型、ChatGPT与产业前景
研博论文

AI新纪元:大模型、ChatGPT与产业前景

3月29日消息,首届中国AIGC产业峰会今日在京举行,大会由量子位主办,聚集起了领域内产学研代表,分享和探讨了包括大模型、生成式AI、ChatGPT等在内时下热议趋势和话题。同时,首份中国AIGC产业全景报告暨中国AIGC 50正式发布。 2023年,被称作ChatGPT元年。全世界惊叹之余,也给AIGC带来新动能和新思考: 时代级机遇,中国企业应该如何把握?ChatGPT所引领的AI新纪元,又将如何改变我们生活的方方面面? 已经公认的是,我们正处于生产力变革的关键节点。每一次产品级的发布,都将给世界带来颠覆性应用和场景创新,也是时候对以上两个问题做出解答,讨论AIGC时代下新机遇和新挑战,展望新未来。 基于这样的行业洞察,首届中国AIGC产业峰会以「Hello New World」为主题,从产学研等多维度,覆盖大公司玩家、创新创业公司、学研和创投代表,全方位探讨和分享中国AIGC产业的现状、机遇和未来。 首先开场分享的是世界级AI科学家、NLP领域领军人物、澜舟科技创始人兼CEO周明。 当前,NLP被认为是ChatGPT最先被颠覆的技术。甚至有业内人士直言:NLP不存在了。谈ChatGPT对NLP技术的颠覆,周明博士最有话语权。 他长期领导NLP研究,曾担任顶会ACL主席,获得了众多世界领先的研究成果,是微软亚洲研究院副院长。 创业之后,周明在“大力出奇迹”的科研潮流中,采用中小模型便达到了可与大模型效果比肩的成绩,给创业公司做大模型作出了示范。前段时间还推出孟子MChat可控生成大模型产品,具备对话外多种任务能力。此外他还是现任中国计算机学会副理事长、创新工场首席科学家、中国人工智能学会会士和五所大学的博士生导师。 技术颠覆之外,ChatGPT和文心一言为代表的应用,已经展现出产品化、商业化潜力。 于是在现场,百度集团副总裁袁佛玉,现场分享了文心一言持续带来的技术、商业和产业变革。在ChatGPT火爆之后,百度是最快给出产品回应的中国公司,而且文心一言在中文自然语言理解、多模态生成上的优势,屡屡被与全球最前沿的GPT-4相比较。更重要的是,文心一言刚开启公测,便已经迅速收获了十多万企业级客户需求,希望通过云服务方式得到赋能,“云计算的游戏规则正在被改变。” 既然即将改变我们的方方面面,企业该如何把握这个时代级机遇? 底层大模型技术已成各方争抢的高地。国内大模型引领者北京智源研究院也来到现场探讨底层技术发展。这场AIGC产业浪潮中,底层大模型技术早已是各方巨头争相抢占的高地,而北京智源研究院曾发布1.75万亿参数大模型悟道2.0,在业内产生深远影响。 此次带来分享的是北京智源研究院副院长兼总工程师林咏华,她在系统架构、云计算、AI系统, 计算机视觉有近20年的研究,是IEEE女工程师协会北京分会的创始人;曾任IBM中国研究院院长,同时也是IBM全球杰出工程师,在IBM内部引领人工智能系统的创新。 除此之外,关于AIGC开启的公司战略、行业落地、部署迭代等方面,企业也面临着不小的挑战。 微软大中华区首席战略官关玮雅,则从战略规划角度聊了聊AIGC商业化。过去几周内,微软相继带来搜索引擎、生产力工具的时代变革,是当前全球最受瞩目的头号玩家。接下来他们后续将如何计划和落地,尤其是国内的发展?关玮雅正是微软这一板块的相关负责人,她负责微软大中华区商业战略及行业解决方案的整体规划与落地执行,在行业内有着丰富经验。 而有着数十年技术产业积累的领军企业科大讯飞,在行业落地这块最具话语权,也是目前最受市场关注玩家之一。科大讯飞AI研究院常务副院长高建清在现场分享了他们的最新进展。他在AIGC相关技术和应用落地中有着丰富的经验,先后在语音识别、语音合成、自然语言理解等领域主导完成了多项原创性研究成果,曾带领团队研发出国内首个电话自助客服系统。讯飞听见、智能录音笔、智能办公本等畅销产品均由他孵化而来。 商汤科技联合创始人、大装置事业群总裁杨帆则从大模型、大算力的实践维度,带来了企业高效率、低成本、规模化落地AI应用的实践总结。作为最早洞悉了AI大模型对算力需求的玩家,商汤大装置打通了算力、算法和平台,可批量化生产部署、迭代升级。 回看AIGC整个全景版图,类似ChatGPT这样的聊天机器人只是其中一隅。AIGC更广阔的趋势,在于多模态生成带来的全新内容大爆炸,这种全新的内容创作形态也带来了全新的商业模式探索。 其中小冰公司,就是国内最早开展AIGC商业化落地的代表。在大会现场,小冰首席运营官徐元春分享了成功实践经验。从2017年开始,徐元春就开始带队从事小冰在AI创造领域的技术研发、产品革新和应用落地,致力赋予AI拟合人类的创造能力,运用AI技术展开具有创造性的内容生成。如今,小冰公司已成全球AIGC赛道中最具综合性的全栈技术代表。 而AIGC落地代表中,还有国内领先的互联网出海巨头昆仑万维,最近他们新发布的产品“昆仑天工”系列模型备受热议,刚发布就覆盖AIGC四大热门领域:图像、音乐、文本和编程。昆仑万维CEO方汉在现场分享他们的最新AIGC进展。 智谱华章CEO张鹏博士则提供了AIGC商业化新思路——在大模型领域中加入知识系统。旗下数据和知识双轮驱动框架,是当前AI下一个重要研究方向。作为ChatGPT火热之前就已经备受关注的中国AIGC创新公司,智谱华章成功实现了清华计算机系知识工程实验室的技术成果转化,设计和研发了国内首个中英文平衡的跨语言知识图谱系统XLORE。日前,智谱华章研发的千亿参数对话模型ChatGLM也开启了公测。 与此同时,通用人工智能也在这场变革之中再次被提及,人类对于它的想象从未如此具体。 国内率先展开AGI探索的启元世界创始人兼CEO袁泉,也分享了AIGC浪潮下AGI的新定义。作为国内率先开展通用人工智能探索的行业领军人物,这位出自IBM和阿里的大牛,把智能体/AI Being产品技术,应用到了游戏、数字孪生、虚拟人等多个领域。