本科

Chat GPT 作为新一代的自然语言处理工具 能够和人类畅聊 还能够基于海量数据和算法，为人类提供各种服务 “ChatGPT会取代人类吗？”一度霸榜热搜 引发了一阵“失业恐慌”的讨论氛围 不少打工人开始担心ChatGPT会导致自己失业 如果chatGPT未来在各行各业实际运用后，改变了社会经济和文化后，进而影响具体的相关领域——人类永远无法被取代，但是ChatGPT能够改变了人类工作的整个环境和生态。 在这种改变中，一个人能不能适应，能不能进化，才是更重要的。 来看看ChatGPT是如何评价最有前景的考研专业吧！ （以下内容由ChatGPT推荐整合而成~） 人工智能与机器人技术 人工智能与机器人技术是当前热门的领域之一，未来的发展前景广阔。人工智能和机器人技术的应用将会越来越广泛，涉及到各行各业。人工智能人才目前处于明显短缺状态，这种状况还存在扩大的趋势。当前社会技术环境下，需要兼顾扎实的专业技术和复合型背景的人才。在互联网企业中，人工智能的薪酬排在第三位，其中薪酬最高的是声音识别方向的从业者。 想要从事相关的工作，计算机科学、数学、统计学、光电物理、自动化、电子科学类等本科专业学生，更容易与人工智能领域产生交集。 一些值得推荐的研究生院校包括： ①中国科学院大学人工智能学院 ②北京航空航天大学机器人学院 ③上海交通大学机器人学院 ④哈尔滨工业大学人工智能学院 ⑤中国科学技术大学计算机科学与技术学院 这些院校在人工智能与机器人技术领域都有比较强的研究和教学水平。 数据科学与大数据技术 数据科学与大数据技术的考研就业前景广阔。随着大数据时代的到来，越来越多的企业和机构需要专门的数据分析师、机器学习工程师、数据工程师、算法工程师等人才，满足其数据分析和决策需求。该领域发展迅速，工资待遇也较为优厚。同时，该领域的发展需要不断提高自身技能水平，为从业者提供了广泛的职业发展空间。因此，数据科学与大数据技术考研的前景仍然非常光明。 一些值得推荐的研究生院校包括： ①清华大学计算机科学与技术系 ②北京大学计算机科学技术研究所 ③上海交通大学计算机科学与工程系 ④中国科学院大学计算机科学与技术专业 ⑤浙江大学计算机科学与技术学院 以上院校都在数据科学与大数据技术领域拥有强大的师资力量和优秀的科研平台，是研究生学习的理想选择。 金融学 金融学考研前景较好，毕业后就业方向广泛，包括了银行、证券、保险等金融类公司，以及各类企事业单位、政府机构等。同时，金融行业在数字化和科技化方面的发展也为金融专业人才提供了更多就业机会。 以下是几所研究生院校的推荐： ①清华大学经济管理学院金融系 ②北京大学光华管理学院金融学系 ③上海财经大学金融学院 ④中央财经大学金融学院 ⑤南开大学经济学院金融系 这些学校在师资力量、教学研究方向、理论与实践相结合等方面都有不错的表现。 电子商务与互联网营销 电子商务与互联网营销在当下和未来的发展前景非常广阔，同时也是企业非常需要的人才。因此，选择这个专业有很好的就业前景，尤其是在电商领域和互联网企业中。 以下是一些推荐的院校和他们的研究生院： ①北京邮电大学电子商务与互联网营销研究生院 ②上海交通大学电子商务与互联网营销研究生院 ③中山大学电子商务与互联网营销研究生院...

编辑：LRS 【新智元导读】没错，5,000,000个token的上下文，语言模型输入长度史诗级增强！ 记性差是目前主流大型语言模型的主要痛点，比如ChatGPT只能输入4096个token（约3000个词），经常聊着聊着就忘了之前说什么了，甚至都不够读一篇短篇小说的。 过短的输入窗口也限制了语言模型的应用场景，比如给一篇科技论文（约1万词）做摘要的时候，需要把文章手动切分后再输入到模型中，不同章节之间关联信息就丢失了。 虽然GPT-4最长支持32000个token、升级后的Claude最高支持10万token，但也只能缓解脑容量不足的问题。 最近一家创业团队Magic宣布即将发布LTM-1模型，最长支持500万token，大约是50万行代码或5000个文件，直接比Claude高50倍，基本可以覆盖大多数的存储需求，这可真就量变产生质变了！ LTM-1的主要应用场景在于代码补全，比如可以生成更长、更复杂的代码建议。 还可以跨越多个文件重用、合成信息。 坏消息是，LTM-1的开发商Magic并没有发布具体技术原理，只是说设计了一种全新的方法the Long-term Memory Network (LTM Net)。 但也有个好消息，2021年9月，DeepMind等机构的研究人员曾经提出一种名为 ∞-former 的模型，其中就包含了长期记忆（long-term memory，LTM）机制，理论上可以让Transformer模型具有无限长的记忆力，但目前并不清楚二者是否为同一技术，或是改良版。 论文链接：https://arxiv.org/pdf/2109.00301.pdf 开发团队表示，虽然LTM Nets可以比GPT看到更多的上下文，但LTM-1模型的参数量比当下的sota模型小的多，所以智能程度也更低，不过继续提升模型规模应该可以提升LTM Nets的性能。 目前LTM-1已经开放alpha测试申请。 申请链接：https://magic.dev/waitlist LTM-1的开发商Magic创立于2022年，主要开发类似GitHub Copilot的产品，可以帮助软件工程师编写、审查、调试和修改代码，目标是为程序员打造一个AI同事，其主要竞争优势就是模型可以读取更长的代码。 Magic致力于公众利益（public benefit），使命是构建和安全部署超过人类只能的AGI系统，目前还是一家只有10人的创业公司。 今年2月，Magic获得由Alphabet旗下CapitalG领投的2300万美元A轮融资，投资人还包括GitHub前首席执行官和Copilot的联合出品人Nat Friedman，目前公司总资金量已达2800万美元。 Magic的首席执行官兼联合创始人Eric Steinberger本科毕业于剑桥大学计算机科学专业，曾在FAIR做过机器学习研究。 在创立Magic前，Steinberger还曾创立过ClimateScience，以帮助全世界的儿童学习气候变化的影响。 无限记忆的Transformer 语言模型核心组件Transformer中注意力机制的设计，会导致每次增加输入序列的长度时，时间复杂度都会呈二次方增长。 虽然已经有一些注意力机制的变体，比如稀疏注意力等降低算法复杂度，不过其复杂度仍然与输入长度有关，不能无限扩展。 ∞-former中长期记忆（LTM）的Transformer模型可以将输入序列扩展到无限的关键在是一个连续空间注意力框架，该框架用降低表征粒度的方式提升记忆信息单元的数量（基函数）。 在框架中，输入序列被表示为一个「连续信号」，代表N个径向基函数（RBF）的线性组合，这样一来，∞-former的注意复杂度就降为了O(L^2 + L × N)，而原始Transformer的注意力复杂度为O(L×(L+L_LTM))，其中L和L_LTM分别对应于Transformer输入大小和长期记忆长度。 这种表示方法有两个主要优势： 1. 上下文可以用小于token数量的基函数N来表示，减少了注意力的计算成本； 2....