BLOOM

BLOOM 是世界上最大的开放多语言语言模型，标志着人工智能研究的一个重要里程碑。这个强大的通用模型能够根据用户的指令执行各种新的语言任务。然而，学术界、非营利组织和小型公司的研究实验室发现，由于只有少数拥有必要资源和独家权利的工业实验室能够完全访问这些模型，因此创建、研究甚至使用大型语言模型（LLMs）变得异常困难。今天，我们发布了BLOOM，这是第一个在完全透明的情况下训练的多语言LLM，旨在改变这一现状——这是迄今为止涉及单个研究项目的最大规模AI研究人员合作的结果。凭借其1760亿个参数，BLOOM能够生成46种自然语言和13种编程语言的文本。对于几乎所有这些语言，如西班牙语、法语和阿拉伯语，BLOOM将是首个拥有超过1000亿参数的语言模型。这是一年工作的结晶，涉及来自70多个国家和250多个机构的1000多名研究人员，最终在法国巴黎南部的Jean Zay超级计算机上进行了117天（3月11日至7月6日）的训练，这得益于法国研究机构CNRS和GENCI提供的价值约300万欧元的计算资助。研究人员现在可以下载、运行和研究BLOOM，以调查最近开发的大型语言模型的性能和最深层次的内部操作。更广泛地说，任何同意模型负责任AI许可证（在BigScience项目本身开发）条款的个人或机构都可以在本地机器或云提供商上使用和构建模型——由于它嵌入在Hugging Face生态系统中，使用transformers导入并使用accelerate运行它变得非常容易。本着合作和持续改进的精神，我们还首次发布了训练的中间检查点和优化器状态。没有8个A100来玩？我们正在为大规模使用完成一个推理API，即使没有专用硬件或工程。同时，对于快速测试、原型设计和较小规模的使用，您已经可以在HF hub上玩一个早期版本。这仅仅是开始。随着研讨会继续实验和调整模型，BLOOM的能力将继续提高。我们已经开始工作，使其像我们早期的努力T0++一样可指导，并计划添加更多语言，将模型压缩成具有相同性能水平的更可用版本，并将其作为更复杂架构的起点……研究人员和实践者一直想要运行的所有实验，现在都可以从一个1000亿参数模型的力量开始。BLOOM是一个活生生的模型家族的种子，我们打算让它成长，而不仅仅是一个一次性的模型，我们准备支持社区努力扩展它。