研博论文

图片来源@视觉中国 文｜险峰创 2023年险峰线上沙龙的第一期，我们和四位行业大牛聊了聊最近大火的ChatGPT。 首先介绍一下本场嘉宾：陶芳波博士是前Facebook高级研究科学家，回国后进入阿里达摩院，搭建了阿里的神经符号实验室，属于全球最顶级的AI科学家之一，目前正在创业，担任人工智能公司「心识宇宙」的CEO。 黄东旭是险峰的老朋友，「PingCAP」的联合创始人兼CTO，他本人是国内最早一批开源数据库的创业者，在程序员圈子里非常活跃；PingCAP也是目前Infra领域估值最高的科技公司之一，险峰曾在天使轮分别投资了PingCAP和心识宇宙。 费良宏老师是AWS的首席架构师，曾供职于微软、苹果等多家硅谷巨头担任技术顾问，在云计算行业里深耕多年；龙波博士目前担任Meta商业化AI研究团队的负责人，之前曾深度参与过京东搜索推荐算法的搭建。 此次圆桌由险峰长青投资副总裁李抗主持，李抗主要专注于人工智能、机器人、云计算等方向的投资。 本次我们将聊到： ChatGPT 效果如此“炸裂”，AI从业者们事先是否预见到了？ ChatGPT 是否能理解语言逻辑本身？ 为什么谷歌没能做出 ChatGPT？ 开源圈和云计算巨头是如何看待 ChatGPT的？ ChatGPT 能让TMT投资人“再干15年”吗？ ChatGPT 正在对哪些工作岗位造成影响？ ChatGPT 广泛使用后，人的认知能力会下降吗？ ChatGPT 会导致哪些行业消失？哪些公司急需转型？ 小公司如何抓住 ChatGPT 的逆袭机会？ 硅谷现在如何看待 ChatGPT？ 普通人如何拥抱 ChatGPT ？报考计算机专业还有前途吗？ OpenAI的组织设计给创业者带来哪些启示？ ChatGPT效果如此“炸裂”，AI从业者们是否预见到了？ 险峰：去年AI作画也火过一阵，但都没能像ChatGPT一样让普通人感到震撼，似乎是一夜之间，AI就达到了一个如此炸裂的效果，基于各位对NLP与AIGC的理解，这种进步是在意料之中还是意料之外？ 陶芳波：刚才主持人已经介绍过我的背景，我本人从读博士到后来工作创业，一直在从事AI相关的科研工作，但坦白来说，这次ChatGPT给我带来的震撼，并不亚于屏幕前的每个人。 传统上，越复杂的技术，信息壁垒也越高，所以过去的情况往往是，行业内的人都已经知道技术发展到了什么水平，但大众可能还不知道；而ChatGPT完全不是这样，它刚刚诞生3个月，我们就看到无论巨头大厂还是AI科学家们，都马上进入了一种非常紧张的应对状态，甚至可以说是应激状态。ChatGPT突然具有了这么强大的通用性能力和逻辑推理能力，是超出很多AI从业者设想的。 为什么这件事会发生？我仅从个人角度做一个简单的总结。 第一，是大数据和大算力的发展，这是一个基础。2012年深度学习刚刚诞生的时候，大家就尝试把更多的算力和数据灌输到一个模型中去，让AI具有更强的能力，这个逻辑在今天依然没有变化。 我们知道人脑要比动物的大脑更聪明，两者最直观的差别，是人脑的神经元和神经突触更多，比如人脑的神经元有1000亿，神经突触可能有几万亿，今天ChatGPT可以达到上千亿的参数量，已经跟人脑比较接近了，量变才有可能引发质变，AI的发展首先要靠算力数据的指数级发展。 第二，是在人工智能的发展背后，其实一直有「专用人工智能」和「通用人工智能」的两派观点的争论。 以前我们熟悉的人工智能，比如计算机视觉算法和自然语言算法，都属于「专用人工智能」。而在他们以外，其实一直有另一拨人在尝试，有没有可能把单个的专项AI变成一个通用AI？用一个统一的大模型来解决所有的问题？ 这里面有几个关键性的节点，首先是2017年，谷歌大脑（Google brain）发表了一篇关于transformer的文章，奠定了包括今天ChatGPT所有技术的基础，细节这里不展开了——总之它让很多人意识到，通用型AI是有可能被造出来的。 对此，谷歌的做法是首先搞一个底座，这个底座叫做「预训练大模型」，然后不断向底座里灌输数据，让它上面能长出一个个小模型来，再用这些小模型去解决不同的任务。 这时出现了一家公司叫OpenAI，他说我不相信仍然需要训练小模型来造出通用AI，那我能不能直接让大模型去阅读互联网上所有的数据？砍掉中间环节，直接让人用语言去和大模型交流？ 基于这种思想，OpenAI在2018和2019年，分别推出了GPT1和GPT2，但当时它的通用性还不强，没有引起太多关注，然而到2020年，第三代也就是GPT3出现了。...