Jais：面向阿拉伯语的大模型创新与优势

文章概要:

1. Jais是面向阿拉伯语的开源大模型，参数量达130亿

2. 在阿拉伯语任务上，Jais性能可匹敌ChatGPT

3. Jais在Cerebras专用芯片上训练，具有技术创新

站长之家（ChinaZ.com）9月4日 消息:阿拉伯联合酋长国的研究人员利用Cerebras公司的专用AI芯片，开发出了两个开源的大规模语言模型Jais和Jais Chat。这是业界首个面向阿拉伯语的、参数规模超过100亿的开源语言模型。

Jais是一款强大的语言模型，其基础架构依赖于海量的数据训练。该模型总共吸收了130亿个参数，并借助了3950亿个训练样本进行优化。在这其中，值得注意的是，Jais使用的训练样本中，有1160亿个来自于阿拉伯语的各类资源，如网站、书籍、新闻以及维基百科等。为了确保训练数据的质量，所有样本在训练之前都经过了严格的筛选和处理。

打开凤凰新闻，查看更多高清图片

Jais Chat经过额外的对话训练，显著提升了其性能。在多种阿拉伯语任务测试中，该模型的精度表现远超现有阿拉伯语开源模型，甚至在某些写作任务上甚至能与商业化的英语模型ChatGPT相媲美。

在基准测试中，该团队发现Jais和Jais-chat的准确度比现有免费阿拉伯语模型高出11至15个点，且在英语方面与Meta的LLaMa2模型具有竞争力。尽管OpenAI的ChatGPT或Anthropic的Claude等商业模型在基准测试中仍保持领先地位，但其规模明显大于Jais和Jais-chat。

Jais的训练过程并未采用Nvidia的GPU，而是选择了Cerebras专用的Wafer级芯片来进行。这种定制化的芯片专门用于处理AI工作负载，从而使得Jais的训练得以实现技术创新。值得一提的是，Jais的开源发布对于推动阿拉伯语自然语言处理领域的发展起到了积极的促进作用。