BLOOM

BLOOM representa un hito significativo en la investigación de inteligencia artificial, siendo el primer modelo de lenguaje multilingüe entrenado con completa transparencia. Con 176 mil millones de parámetros, BLOOM tiene la capacidad de generar texto en 46 idiomas naturales y 13 lenguajes de programación, marcando un antes y un después en el acceso y estudio de modelos de lenguaje grandes (LLMs) por parte de la academia, organizaciones sin fines de lucro y pequeñas empresas de investigación. Este modelo es el resultado de la colaboración más grande jamás vista en un proyecto de investigación de IA, involucrando a más de 1000 investigadores de más de 70 países y 250 instituciones. El entrenamiento de BLOOM se llevó a cabo durante 117 días en el supercomputador Jean Zay, ubicado al sur de París, Francia, gracias a una subvención de computación valorada en aproximadamente €3M de las agencias de investigación francesas CNRS y GENCI. BLOOM está diseñado para ser accesible, permitiendo a los investigadores descargar, ejecutar y estudiar el modelo para investigar el rendimiento y comportamiento de los LLMs hasta sus operaciones internas más profundas. Además, cualquier individuo o institución que acepte los términos de la Licencia de IA Responsable del modelo puede usarlo y construir sobre él, ya sea en una máquina local o en un proveedor de la nube, gracias a su integración en el ecosistema de Hugging Face. En un espíritu de colaboración y mejora continua, también se están lanzando, por primera vez, los puntos de control intermedios y los estados del optimizador del entrenamiento. Para aquellos que no cuentan con hardware dedicado, se está finalizando una API de inferencia para uso a gran escala, y ya está disponible una versión temprana en el hub de HF para pruebas rápidas y prototipado. BLOOM es solo el comienzo, con planes de mejora continua, adición de más idiomas, compresión del modelo para una versión más usable, y su uso como punto de partida para arquitecturas más complejas.