BLOOM représente une avancée majeure dans le domaine des modèles de langage de grande envergure (LLM), offrant une solution ouverte et accessible pour la recherche et le développement en intelligence artificielle. Avec ses 176 milliards de paramètres, BLOOM est capable de générer du texte dans 46 langues naturelles et 13 langages de programmation, marquant une première pour de nombreuses langues comme l'espagnol, le français et l'arabe. Ce modèle est le fruit d'une collaboration sans précédent impliquant plus de 1000 chercheurs de plus de 70 pays et 250 institutions, formé pendant 117 jours sur le supercalculateur Jean Zay en France grâce à un financement estimé à 3 millions d'euros.
BLOOM se distingue par son approche transparente et collaborative, permettant aux chercheurs de télécharger, exécuter et étudier le modèle pour explorer les performances et les comportements des LLM. Accessible via l'écosystème Hugging Face, BLOOM est facile à intégrer et à utiliser, que ce soit sur une machine locale ou un fournisseur de cloud. En outre, les points de contrôle intermédiaires et les états de l'optimiseur du processus de formation sont également rendus publics, favorisant une amélioration continue et une recherche approfondie.
Pour ceux qui ne disposent pas de matériel dédié, une API d'inférence est en cours de finalisation pour permettre une utilisation à grande échelle. En attendant, une version préliminaire est disponible sur le hub Hugging Face pour des tests rapides et du prototypage. BLOOM n'est que le début d'une famille de modèles en constante évolution, avec des plans pour améliorer ses capacités, ajouter de nouvelles langues, et compresser le modèle sans compromettre ses performances. Ce projet ouvre la voie à des expériences et des architectures plus complexes, rendant accessible la puissance d'un modèle de plus de 100 milliards de paramètres à la communauté de recherche et de pratique.
