Maak kennis met BLOOM: Het Grootste Open Meertalige Taalmodel ter Wereld
Grote taalmodellen (LLM's) hebben een enorme impact gehad op AI-onderzoek. Deze krachtige modellen kunnen een breed scala aan nieuwe taaltaken aan vanuit de instructies van de gebruiker. Maar voor academici, non-profitorganisaties en kleinere onderzoeksinstellingen is het een hele klus om LLM's te creëren, bestuderen of zelfs te gebruiken, omdat alleen een paar industriële labs met de juiste middelen en exclusieve rechten er volledig toegang toe hebben.
Vandaag lanceren we BLOOM, het eerste meertalige LLM dat volledig transparant is getraind, om deze situatie te veranderen — het resultaat van de grootste samenwerking van AI-onderzoekers ooit betrokken bij één enkel onderzoeksproject. Met zijn 176 miljard parameters kan BLOOM teksten genereren in 46 natuurlijke talen en 13 programmeertalen. Voor bijna al deze talen, zoals Spaans, Frans en Arabisch, is BLOOM het eerste taalmodel met meer dan 100B parameters dat ooit is gemaakt.
Dit is het resultaat van een jaar hard werken met meer dan 1000 onderzoekers uit 70+ landen en 250+ instellingen, wat leidde tot een eindronde van 117 dagen (van 11 maart tot 6 juli) waarin het BLOOM-model werd getraind op de Jean Zay supercomputer in het zuiden van Parijs, Frankrijk, dankzij een compute-subsidie van naar schatting €3M van Franse onderzoeksagentschappen CNRS en GENCI.
Onderzoekers kunnen nu BLOOM downloaden, draaien en bestuderen om de prestaties en het gedrag van recent ontwikkelde grote taalmodellen tot in de diepste interne operaties te onderzoeken. Iedereen die akkoord gaat met de voorwaarden van de Responsible AI License (ontwikkeld tijdens het BigScience-project zelf) kan het model lokaal of via een cloudprovider gebruiken en verder ontwikkelen - omdat het is ingebed in het Hugging Face-ecosysteem, is het net zo eenvoudig als het importeren met transformers en het draaien met accelerate.
In deze geest van samenwerking en voortdurende verbetering, brengen we ook voor het eerst de tussenliggende checkpoints en optimizer-staten van de training uit. Geen 8 A100's om mee te spelen? We zijn bezig met het afronden van een inference API voor grootschalig gebruik, zelfs zonder speciale hardware of engineering. In de tussentijd kun je al een vroege versie uitproberen op de HF hub voor snelle tests, prototyping en kleinschalig gebruik.
Dit is nog maar het begin. De mogelijkheden van BLOOM zullen blijven verbeteren terwijl het team blijft experimenteren en sleutelen aan het model. We zijn begonnen met het werk om het net zo instructief te maken als onze eerdere poging T0++ en we zijn van plan om meer talen toe te voegen, het model te comprimeren tot een gebruiksvriendelijkere versie met dezelfde prestaties, en het als startpunt te gebruiken voor complexere architecturen… Alle experimenten die onderzoekers en praktijkmensen altijd al wilden uitvoeren, met de kracht van een 100+ miljard parameters model, zijn nu mogelijk.
BLOOM is de zaad van een levendige familie van modellen die we willen laten groeien, niet zomaar een eenmalig model, en we zijn klaar om de inspanningen van de gemeenschap te ondersteunen om het uit te breiden.
