BLOOM

BLOOM to największy na świecie otwarty wielojęzyczny model językowy. Modele językowe o dużych rozmiarach (LLM) wywarły znaczny wpływ na badania w dziedzinie AI. Jednakże akademia, organizacje non-profit oraz mniejsze laboratoria badawcze firm mają trudności w tworzeniu, badaniu czy nawet korzystaniu z LLM, ponieważ tylko kilka przemysłowych laboratoriów z niezbędnymi zasobami i wyłącznymi prawami ma pełny dostęp do nich. Dziś prezentujemy BLOOM, pierwszy wielojęzyczny LLM szkolony w pełnej przejrzystości, aby zmienić ten stan rzeczy. Jest to wynik największej współpracy badaczy AI kiedykolwiek zaangażowanych w pojedynczy projekt badawczy. BLOOM z jego 176 miliardami parametrów jest w stanie generować tekst w 46 językach naturalnych i 13 językach programowania. Dla niemal wszystkich z nich, takich jak hiszpański, francuski i arabski, BLOOM będzie pierwszym modelem językowym z ponad 100 miliardami parametrów kiedykolwiek stworzonym. To zwieńczenie roku pracy ponad 1000 badaczy z ponad 70 krajów i 250 instytucji, prowadzące do końcowego przebiegu 117 dni (11 marca - 6 lipca) szkolenia modelu BLOOM na superkomputerze Jean Zay na południu Francji dzięki grantowi obliczeniowemu wartemu około 3 mln euro od francuskich agencji badawczych CNRS i GENCI. Badacze mogą teraz pobrać, uruchomić i zbadać BLOOM, aby zbadać wydajność i zachowanie ostatnio opracowanych dużych modeli językowych aż do ich najgłębszych wewnętrznych operacji. Ogólnie rzecz biorąc, każda osoba lub instytucja, która zgadza się na warunki licencji Responsible AI modelu (opracowanej podczas projektu BigScience), może korzystać z modelu i rozwijać go na lokalnym komputerze lub w chmurze - ponieważ jest osadzony w ekosystemie Hugging Face, jest to tak proste, jak zaimportowanie go za pomocą transformers i uruchomienie za pomocą accelerate. W tym duchu współpracy i ciągłego doskonalenia, po raz pierwszy również udostępniamy pośrednie punkty kontrolne i stany optymalizatora szkolenia. Nie masz 8 A100 do zabawy? Kończymy pracę nad interfejsem API do wnioskowania dla szerokiego zastosowania nawet bez dedykowanego sprzętu lub inżynierii. W międzyczasie, dla szybkich testów, prototypowania i mniejszego zastosowania skalowego, można już bawić się wczesną wersją na hubie HF. To dopiero początek. Możliwości BLOOM będą nadal się poprawiać, gdy warsztaty będą nadal eksperymentować i udoskonalać model. Rozpoczęliśmy pracę, aby uczynić go tak instruowalnym, jak nasz wcześniejszy wysiłek T0++ i planujemy dodać więcej języków, skompresować model do bardziej użytecznej wersji o tym samym poziomie wydajności i wykorzystać go jako punkt wyjścia dla bardziej złożonych architektury... Wszystkie eksperymenty, które badacze i praktycy zawsze chcieli przeprowadzić, zaczynając od mocy modelu z ponad 100 miliardami parametrów, są teraz możliwe. BLOOM jest zalążkiem żyjącej rodziny modeli, którą zamierzamy rozwijać, a nie tylko jednorazowym modelem, i jesteśmy gotowi wspierać wysiłki społeczności w celu jej rozszerzenia.