BLOOM representa um marco significativo na pesquisa de IA, sendo o primeiro modelo de linguagem multilíngue (LLM) treinado com total transparência. Com seus impressionantes 176 bilhões de parâmetros, BLOOM é capaz de gerar texto em 46 idiomas naturais e 13 linguagens de programação, marcando um avanço notável para idiomas como espanhol, francês e árabe, para os quais será o primeiro modelo de linguagem com mais de 100 bilhões de parâmetros já criado.
Este projeto é o resultado de um ano de trabalho colaborativo envolvendo mais de 1000 pesquisadores de mais de 70 países e 250 instituições. O treinamento do modelo BLOOM foi realizado no supercomputador Jean Zay, no sul de Paris, França, durante 117 dias, graças a uma bolsa de computação estimada em €3 milhões das agências de pesquisa francesas CNRS e GENCI.
BLOOM está disponível para download, execução e estudo por pesquisadores, permitindo uma investigação detalhada do desempenho e comportamento dos modelos de linguagem de grande escala. Qualquer indivíduo ou instituição que concorde com os termos da Licença de IA Responsável do modelo pode usar e construir sobre o modelo em uma máquina local ou em um provedor de nuvem, integrado ao ecossistema Hugging Face para fácil implementação.
Além disso, pela primeira vez, estão sendo liberados os checkpoints intermediários e os estados do otimizador do treinamento, promovendo um espírito de colaboração e melhoria contínua. Para aqueles sem acesso a hardware dedicado, uma API de inferência para uso em larga escala está em finalização, enquanto uma versão inicial já está disponível no HF hub para testes rápidos e prototipagem.
BLOOM é apenas o começo. Suas capacidades continuarão a evoluir com experimentos e ajustes, com planos para torná-lo mais instrucional, adicionar mais idiomas, comprimir o modelo para uma versão mais utilizável e usá-lo como ponto de partida para arquiteturas mais complexas. BLOOM é a semente de uma família viva de modelos que pretendemos expandir, apoiando esforços da comunidade para seu crescimento.
