谷歌大模型团队并入DeepMind!誓要赶上ChatGPT进度
研博论文

谷歌大模型团队并入DeepMind!誓要赶上ChatGPT进度

明敏 发自 凹非寺量子位 | 公众号 QbitAI 为应对ChatGPT,谷歌在大模型方面的动作还在继续。 最新消息,其旗下专注语言大模型领域的“蓝移团队”(Blueshift Team)宣布,正式加入DeepMind,旨在共同提升LLM能力! DeepMind科学家们在推特下面“列队欢迎”,好不热闹~ 蓝移团队隶属于谷歌研究,和谷歌大脑实验室同等级。 之前谷歌耗时2年发布的大模型新基准BIG-Bench,就有该团队的重要贡献。 还有谷歌5400亿大模型PaLM,背后也有蓝移团队成员提供建议。 综合此前消息,DeepMind表示要在今年发布聊天机器人麻雀(Sparrow)内测版本。 如今又有擅长大模型研究的团队加入,强强联手,或许会加快谷歌应对ChatGPT的脚步? 这下有好戏看了。 蓝移团队是谁? 据官网介绍,蓝移团队主要关注的研究点是如何理解和改进大语言模型的能力。 他们专注于了解Transformer的局限性,并挑战将其能力扩展到解决数学、科学、编程、算法和规划等领域。 具体可分为如下几方面分支。 团队的代表性工作有数学做题模型Minerva。 它曾参加数学竞赛考试MATH,得分超过计算机博士水平。 综合了数理化生、电子工程和计算机科学的综合考试MMLU-STEM,它的分数比以往AI高了20分左右。 并且它的做题方法也是理科式的,基于谷歌5400亿参数大模型PaLM,Minerva狂读论文和LaTeX公式后,可以按照理解自然语言的方式理解数学符号。 作者透露,让该模型参加波兰的数学高考,成绩都超过了全国平均分数。 还有蓝移团队曾和MIT的科学家一起,通过训练大模型学会程序员debug时“打断点”的方式,就能让模型读代码的能力大幅提升。 还有谷歌耗时2年发布的大模型新基准BIG-Bench,蓝移团队全部成员均参与了这项工作。 BIG-bench由204个任务组成,内容涵盖语言学、儿童发展、数学、常识推理、生物学、物理学、社会偏见、软件开发等方面的问题。 以及如上提到的谷歌大模型PaLM,蓝移团队成员Ethan S Dyer也贡献了建议。 官网显示,蓝移团队目前有4位主要成员。 Behnam Neyshabur现在是DeepMind的高级研究员。他在丰田工业大学(芝加哥)攻读了计算机博士学位,后来在纽约大学进行博士后工作,同时是普林斯顿大学高等研究理论机器学习项目组的成员。 研究领域是大语言模型的推理和算法能力、深度学习和泛化等。 Vinay Ramasesh在加州大学伯克利分校获得物理学博士学位,曾致力于研究基于超导量子比特的量子处理器,硕士毕业于麻省理工学院。 最近他主要在研究语言模型,职位是研究科学家。 Ethan Dyer博士毕业于麻省理工学院,2018年加入谷歌工作至今。 Anders Johan Andreassen同样是物理专业出身,博士毕业于哈佛大学。在哈佛大学、加州大学伯克利分校都做过博士后,2019年起加入谷歌。 谷歌还有多少后手? 这次蓝移团队的调动,也不免让外界猜测是否是谷歌为应对ChatGPT的最新举措。 ChatGPT引爆大模型趋势后,谷歌几乎是最先打响“阻击战”的大厂。...
考研资料何处寻?职场发展多路径
研博论文

考研资料何处寻?职场发展多路径

这篇文章探讨了当前本科毕业生面临的角色竞争压力和考研资料的问题。许多企业对求职者的学校背景有较高要求,尤其是985、211大学的学生。对于普通高校的学生,他们可能连简历关都通不过。但是,他们仍可以考虑从事计算机软件、硬件的运行、维护、管理工作等职业。
ChatGPT:透明性与影响探析
研博论文综述

ChatGPT:透明性与影响探析

本文概述了ChatGPT的重要性及其在自然语言处理领域的革命性影响,回顾了现有研究对ChatGPT内部工作原理、应用和影响的探讨,并提出了一种全面研究ChatGPT的方法。然而,对于ChatGPT的具体性能和应用范围仍需进一步研究和探讨。
考研攻略:应统专业与ChatGPT的千丝万缕关系
研博论文

考研攻略:应统专业与ChatGPT的千丝万缕关系

这篇文章主要介绍了432应用统计专业考研的相关信息,强调其与ChatGPT的关联,并分享了一些学习方法和经验。文章提出,通过“升维思考,降维执行”的统计思维来学习432应用统计考研专业课是一种有效的 approach。同时,文章还提供了一些实用的建议和指导,如考研复试面试的注意事项、考研英语口语的准备和练习等。总结起来,这是一篇既有深度又有 practical价值的考研攻略文章。