BLOOM stellt das weltweit größte offene mehrsprachige Sprachmodell dar, das einen bedeutenden Fortschritt in der KI-Forschung markiert. Mit beeindruckenden 176 Milliarden Parametern ist BLOOM in der Lage, Text in 46 natürlichen Sprachen und 13 Programmiersprachen zu generieren. Dieses Modell ist das Ergebnis einer beispiellosen Zusammenarbeit von über 1000 Forschern aus mehr als 70 Ländern und 250 Institutionen. Die Entwicklung von BLOOM wurde durch ein Rechenzeitstipendium im Wert von geschätzten 3 Millionen Euro von den französischen Forschungsagenturen CNRS und GENCI ermöglicht, was eine 117-tägige Trainingsphase auf dem Jean Zay-Supercomputer im Süden von Paris, Frankreich, unterstützte.
BLOOM wurde entwickelt, um den Zugang zu großen Sprachmodellen für die akademische Gemeinschaft, gemeinnützige Organisationen und kleinere Forschungslabore zu demokratisieren. Es steht Forschern zur Verfügung, um die Leistung und das Verhalten von großen Sprachmodellen bis in ihre tiefsten internen Operationen hinein zu untersuchen. Darüber hinaus kann jede Einzelperson oder Institution, die den Bedingungen der Responsible AI License zustimmt, das Modell auf einem lokalen Rechner oder über einen Cloud-Anbieter nutzen und darauf aufbauen.
In einem Geist der Zusammenarbeit und kontinuierlichen Verbesserung werden auch die Zwischencheckpoints und Optimierungszustände des Trainings veröffentlicht. Für diejenigen, die nicht über dedizierte Hardware verfügen, wird derzeit eine Inferenz-API für den großflächigen Einsatz finalisiert. In der Zwischenzeit steht eine frühe Version des Modells auf der HF-Hub-Plattform für schnelle Tests, Prototyping und kleinere Anwendungen zur Verfügung.
BLOOM ist nur der Anfang. Seine Fähigkeiten werden sich weiter verbessern, während das Workshop-Team weiterhin mit dem Modell experimentiert und es verfeinert. Geplant sind unter anderem die Erweiterung um weitere Sprachen, die Komprimierung des Modells in eine benutzerfreundlichere Version mit gleicher Leistungsfähigkeit und die Nutzung als Ausgangspunkt für komplexere Architekturen. BLOOM ist der Samen einer lebendigen Familie von Modellen, die wir wachsen lassen wollen, und wir sind bereit, Gemeinschaftsinitiativen zu unterstützen, die darauf abzielen, es zu erweitern.
