如何看待微软最新论文揭秘ChatGPT参数量只有20B?
在阅读原文时，我注意到主要内容是介绍了一种用于代码生成的扩散模型，并对其进行了评估分析。在此过程中，ChatGPT仅作为对比评测的基本基准之一被引入，但关于表格中ChatGPT的20B参数数量的数据来源，却未提供任何解释或引用，这让我觉得这个数据似乎是显而易见的。
尽管微软与OpenAI之间存在着诸多关联，研究人员获得ChatGPT的技术细节也在情理之中，然而仅凭此并不能确定ChatGPT就是20B级别的模型。因此，我们建议您耐心等待，等待OpenAI的官方开发人员出来澄清，同时也可以关注后续的OpenAI开发者大会，以便获取更多的官方信息。
不过如果消息属实，其实也并不感到意外，早在今年2月就有外网消息透露ChatGPT是20B级别模型
ChatGPT is not just smaller (20 billion vs. 175 billion parameters) and therefore faster than GPT-3, but it is also more accurate than GPT-3 when solving conversational tasks a perfect business case for a lower cost/better quality AI product.在”更大即更好”?为何ChatGPT与GPT-3与GPT-4之间的较量只是一场家庭聊天？在人工智能领域，我们经常听到这样的问题：更大的模型就一定意味着更好的性能吗？随着模型的不断升级，是否存在着一种平衡点，既能满足性能需求，又不会失去人性化的特点呢？这个问题，或许可以从近期一场关于ChatGPT、GPT-3和GPT-4的” battle “中找到答案。在这场看似激烈的”战斗”中，ChatGPT、GPT-3和GPT-4代表了三种不同程度的人工智能技术。然而，出乎意料的是，这场战斗实际上只是一次家庭聊天的场景。它们之间的差异，并没有想象中的那么大。首先，让我们来看一下ChatGPT。这是一种基于GPT-2.7的小型聊天机器人，它的设计初衷是为了模拟人类的日常对话，让人工智能更好地理解和适应人类的语言表达。尽管它的能力相对较弱，但在某些特定场景下，它已经能够达到良好的交流效果。接着是GPT-3，这是一种大型语言模型，采用了更多的神经网络结构，因此在处理复杂问题和生成文本方面有着更强的能力。然而，随着模型的增大，其计算成本也相应增加，这使得GPT-3在一些应用场景中显得过于庞大，难以部署和使用。最后是GPT-4，这是目前最大的语言模型，拥有超过100万亿个参数，能够在各种任务中表现出色。但是，这种巨大的规模也带来了挑战，如如何有效地管理如此庞大的模型，以及如何在保持性能的同时，使其具备人性化的特点。因此，从这场” battle “中，我们可以看出，虽然ChatGPT、GPT-3和GPT-4在能力上有所不同，但它们之间的差距并没有想象中的那么大。对于人工智能技术来说，重要的是找到合适的应用场景，而不是简单地追求规模的扩大。只有这样，我们才能真正实现人工智能的价值，使其更好地服务于人类社会。
知乎也有大佬从技术和API价格角度推测了其参数量级大约10B级别
ChatGPT 和 Whisper API 已开放接口，单价骤减 90% ，有哪些值得关注的信息？
在这个消息背景下，最需要引起关注的是我国厂商。据我了解，当前我国各大公司纷纷投入巨资研发的千亿参数大型语言模型基本上都在采用 ChatGPT 进行数据清洗和标准化处理。尽管学术界和业界此前曾有过利用小模型辅助训练大型模型的实例，但这类案例多属针对特定领域的专业模型训练通用模型。因此，用一个较小的参数的通用模型去训练规模更大的通用模型，这在直观上似乎并不十分合理。
对个人和许多小开发团队来说，可能这也是一件好事，说明模型也不一定是越大越好，知识蒸馏和RLHF等算法、技术依然起到了很大作用，可以让我们在这些方面努力从而在算力不是很充足的情况下依然能做出有价值的成果。返回搜狐，查看更多
责任编辑：
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号AIGC666aigc999或上边扫码，即可拥有个人AI助手！
