文章主题：后ChatGPT时代, 研究生, 科研思路, 讨论班
学术讲座预告
后ChatGPT时代研究生做科研的思路探讨
第一期
时间地点
2023年5月26日（星期五）晚18:30
新园区1号楼1B-316会议室
腾讯会议：894-4221-2359
分享嘉宾
任昱冰 2019级博士研究生
交流内容
After ChatGPT
在 ChatGPT 的引领下，众多优秀的工作开始涌现，学术界和工业界纷纷迅速跟进与大模型相关的各项研究。这些大模型不仅为我们带来了全新的机遇，更让我们看到了无限的可能性。在本期的讨论班中，我们将按照时间顺序，为大家详细介绍 2023 年最新的大模型相关工作，如 LLaMA、Dolly 2.0、PaLM 2 等。随后，我们将与大家共同探讨 ChatGPT 时代研究生在科研方面应采取的几个思路，以期为大家提供有益的参考和建议。
第二期
时间地点
2023年6月2日（星期五）晚18:30
新园区1号楼1B-316会议室
腾讯会议：894-4221-2359
分享嘉宾
刘益 2021级硕士研究生
交流内容
Technology Behind LLM Training
随着语言模型参数规模的增长，达到数十亿甚至上百亿的级别，传统的全量微调训练模式面临着一系列挑战。首先，完整模型的存储需求已经远远超过了GPU的显存容量；其次，大规模模型的训练需要的计算操作数量极大，使得训练时间变得漫长。本文将重点讨论在大规模语言模型训练中采用的分布式并行策略和内存优化技术，通过将模型参数分割到不同的设备上，有效降低了存储资源的需求。接下来，我们将详细介绍一种高效的参数微调（PEFT）的方法，这种方法只微调少量的或者额外的模型参数，同时保持大部分预训练参数不变。这样做的目的是在大幅度降低计算和存储成本的同时，能够达到与全量微调相当的表现。
第三期
时间地点
2023年6月9日（星期五）晚18:30
新园区1号楼1B-316会议室
腾讯会议：894-4221-2359
分享嘉宾
李英杰 2021级硕士研究生
交流内容
大模型的应用
GPT4等大型人工智能模型因其卓越的任务理解和泛化能力而备受瞩目，这使得它们在诸如数据增强、领域适应性、零样本学习和少样本学习等领域得以广泛应用。为了深入探讨这一主题，我们本次讨论班将重点介绍几项有关利用大型模型进行下游任务辅助的典型研究，并探讨如何借助这些模型的强大功能来推动我们的研究工作。
第四期
时间地点
2023年6月16日（星期五）晚18:30
新园区1号楼1B-316会议室
腾讯会议：894-4221-2359
分享嘉宾
李豪 2021级硕士研究生
交流内容
Advances in LLM Capabilities
大模型在自然语言处理领域取得了卓越的成果，但同时也存在一些固有的缺陷，如应用范围受限、实时信息获取困难以及精确数学推导能力不足。为了克服这些限制，研究人员开始探索利用即插即用工具或模块来提升大模型的性能。本次研讨会将聚焦于如何增强大模型能力这一主题，期望能为各位参与者带来灵感启示。
主办方：中国科学院信息工程研究所ASCII Lab课题组
承办方：中国科学院大学网络空间安全学院学生会
排版：王子馨
审核：刘
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号AIGC666aigc999或上边扫码，即可拥有个人AI助手！
