文章主题：开源, DeepSpeed-Chat, RLHF, 类 ChatGPT
本文来自微信公众号：学术头条（ID：SciTouTiao），原文标题：《微软开源“傻瓜式”类ChatGPT模型训练工具，成本大大降低，速度提升15倍》，题图来自：《钢铁侠3》
微软于当地时间4月12日宣布开源DeepSpeed-Chat，这是一项旨在协助用户便捷地训练类似ChatGPT等大型语言模型的技术。
据悉，Deep Speed Chat 是基于微软 Deep Speed 深度学习优化库开发而成，具备训练、强化推理等功能，还使用了 RLHF（基于人类反馈的强化学习）技术，可将训练速度提升 15 倍以上，而成本却大大降低。
如下图，一个 130 亿参数的类 ChatGPT 模型，训练时间只需要 1.25 小时。
开源地址：https://github.com/microsoft/DeepSpeed
简而言之，用户可以借助Deep Speed Chat提供的简单易行的“傻瓜式”操作，在最短的时间内实现最高的效率，以最优化的方式训练类 ChatGPT 大语言模型。
使 RLHF 训练真正在 AI 社区普及
近期，ChatGPT及其同类模型在AI领域掀起了一场热潮。这些模型具备归纳、编程和翻译等多项功能，且其表现 equal 甚至超越了人类专家。为了能让普通的数据科学家和研究者更便捷地训练和部署这类模型，我国AI开源社区积极尝试了一系列创新，例如ChatLLaMa、ChatGLM-6B、Alpaca、Vicuna以及Databricks-Dolly等。
然而，目前业内依然缺乏一个支持端到端的基于人工反馈机制强化学习（RLHF）的规模化系统，这使得训练强大的类 ChatGPT 模型十分困难。
在训练拥有67亿参数的类ChatGPT模型时，我们经常会面临两大挑战。首先，对于大部分数据科学家和研究者来说， access到昂贵的多卡至多节点的GPU集群仍然比较困难。其次，即便能够获得这样的计算资源，现有开源系统的训练效率往往无法达到这些机器的最大效率的5%。因此，我们需要寻找更高效的方法来训练这种庞大的模型。
换句话说，即便拥有价格高昂的多 GPU 集群，当前的解决方案依然难以高效、迅速且经济地训练拥有数千亿参数的顶级类 ChatGPT 模型。
与常规的大语言模型预训练及微调方法有所区别，ChatGPT 模型的构建基于 RLHF 技术，这导致现有的深度学习系统在训练类 ChatGPT 模型时面临诸多挑战。
作为一家科技巨头，微软一直致力于推动人工智能的发展。为了使AI技术更加亲民，让更多的数据科学家和研究者能够轻松掌握，微软推出了DeepSpeed-Chat。在最新的Deep Speed Chat介绍文档中，微软表示，这款工具的推出，是为了让ChatGPT类型的模型更加易于使用，同时也有助于让RLHF训练真正在AI领域得到广泛应用。
为了提供无缝的训练体验，微软在 DeepSpeed-Chat 中采用了端到端的训练流程。该流程主要包括三个关键步骤，这些步骤将有助于提高训练的效果和效率。
图｜DeepSpeed-Chat 的具有可选功能的 RLHF 训练流程图（来源：GitHub）
监督微调（SFT），使用精选的人类回答来微调预训练的语言模型以应对各种查询；
奖励模型微调，使用一个包含人类对同一查询的多个答案打分的数据集来训练一个独立的（通常比 SFT 小的）奖励模型（RW）；
RLHF 训练，利用 Proximal Policy Optimization（PPO）算法，根据 RW 模型的奖励反馈进一步微调 SFT 模型。
在步骤 3 中，微软提供了指数移动平均（EMA）和混合训练两个额外的功能，以帮助提高模型质量。根据 InstructGPT，EMA 通常比传统的最终训练模型提供更好的响应质量，而混合训练可以帮助模型保持预训练基准解决能力。
总体来说，DeepSpeed-Chat 具有以下三大核心功能：
1. 简化 ChatGPT 类型模型的训练和强化推理体验：只需一个脚本即可实现多个训练步骤，包括使用 Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤，甚至生成你自己的类 ChatGPT 模型。此外，微软还提供了一个易于使用的推理API，用于用户在模型训练后测试对话式交互。
2. DeepSpeed-RLHF 模块：DeepSpeed-RLHF 复刻了 InstructGPT 论文中的训练模式，并确保包括 SFT、奖励模型微调和 RLHF 在内的三个步骤与其一一对应。此外，微软还提供了数据抽象和混合功能，以支持用户使用多个不同来源的数据源进行训练。
3. DeepSpeed-RLHF 系统：微软将 DeepSpeed 的训练（training engine）和推理能力（inference engine) 整合到一个统一的混合引擎（DeepSpeed-HE）中用于 RLHF 训练。DeepSpeed-HE 能够在 RLHF 中无缝地在推理和训练模式之间切换，使其能够利用来自 DeepSpeed-Inference 的各种优化，如张量并行计算和高性能 CUDA 算子进行语言生成，同时对训练部分还能从 ZeRO- 和 LoRA-based 内存优化策略中受益。此外，DeepSpeed-HE 还能自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。
高效、经济、扩展性强
据介绍，DeepSpeed-RLHF 系统在大规模训练中具有出色的效率，使复杂的 RLHF 训练变得快速、经济并且易于大规模推广。
具体而言，DeepSpeed-HE 比现有系统快 15 倍以上，使 RLHF 训练快速且经济实惠。例如，DeepSpeed-HE 在 Azure 云上只需 9 小时即可训练一个 OPT-13B 模型，只需 18 小时即可训练一个 OPT-30B 模型。这两种训练分别花费不到 300 美元和 600 美元。
此外，DeepSpeed-HE 也具有卓越的扩展性，其能够支持训练拥有数千亿参数的模型，并在多节点多 GPU 系统上展现出卓越的扩展性。因此，即使是一个拥有 130 亿参数的模型，也只需 1.25 小时就能完成训练。而对于参数规模为 1750 亿的更大模型，使用 DeepSpeed-HE 进行训练也只需不到一天的时间。
另外，此次开源有望实现 RLHF 训练的普及化。微软表示，仅凭单个 GPU，DeepSpeed-HE 就能支持训练超过 130 亿参数的模型。这使得那些无法使用多 GPU 系统的数据科学家和研究者不仅能够轻松创建轻量级的 RLHF 模型，还能创建大型且功能强大的模型，以应对不同的使用场景。
那么，人手一个专属 ChatGPT 的时代，还有多远？
参考链接：https://github.com/microsoft/DeepSpeed/blob/master/blogs/deepspeed-chat/chinese/README.md
本文来自微信公众号：学术头条（ID：SciTouTiao）
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号AIGC666aigc999或上边扫码，即可拥有个人AI助手！
