Введение в BLOOM: крупнейшую открытую многоязычную языковую модель 🌸
Модели больших языков (LLM) произвели значительное влияние на исследования в области ИИ. Эти мощные, универсальные модели могут выполнять широкий спектр языковых задач по инструкциям пользователя. Однако академические круги, некоммерческие организации и исследовательские лаборатории меньших компаний сталкиваются с трудностями в создании, изучении или даже использовании LLM, так как только несколько промышленных лабораторий с необходимыми ресурсами и исключительными правами могут полностью к ним получить доступ.
Сегодня мы представляем BLOOM, первую многоязычную LLM, обученную с полной прозрачностью, чтобы изменить эту ситуацию — результат крупнейшего сотрудничества исследователей ИИ, когда-либо участвовавших в одном исследовательском проекте. С 176 миллиардами параметров, BLOOM способен генерировать текст на 46 естественных языках и 13 языках программирования. Для большинства из них, таких как испанский, французский и арабский, BLOOM станет первой языковой моделью с более чем 100 миллиардами параметров.
Это кульминация годовой работы, в которой участвовало более 1000 исследователей из более чем 70 стран и 250 организаций, что привело к финальному запуску, который длился 117 дней (с 11 марта по 6 июля) на суперкомпьютере Jean Zay на юге Парижа, Франция, благодаря гранту на вычисления стоимостью около 3 миллионов евро от французских исследовательских агентств CNRS и GENCI.
Теперь исследователи могут загружать, запускать и изучать BLOOM, чтобы исследовать производительность и поведение недавно разработанных больших языковых моделей вплоть до их самых глубоких внутренних операций. Более того, любое физическое или юридическое лицо, согласное с условиями Лицензии на Ответственный ИИ модели (разработанной в ходе самого проекта BigScience), может использовать и развивать модель на локальном компьютере или у облачного провайдера — так как она встроена в экосистему Hugging Face, это так же просто, как импортировать её с помощью transformers и запустить с помощью accelerate.
В духе сотрудничества и постоянного улучшения мы также впервые публикуем промежуточные контрольные точки и состояния оптимизатора обучения. Не имеете 8 A100 для экспериментов? Мы завершаем разработку API для вывода для крупномасштабного использования даже без выделенного оборудования или инженерии. Тем временем, для быстрых тестов, прототипирования и использования на меньших масштабах, вы уже можете поиграть с ранней версией на HF hub.
Это только начало. Возможности BLOOM будут продолжать улучшаться, поскольку мастерская продолжает экспериментировать и дорабатывать модель. Мы начали работу над тем, чтобы сделать её такой же управляемой, как наша предыдущая работа T0++, и планируем добавить больше языков, сжать модель в более удобную версию с тем же уровнем производительности и использовать её как отправную точку для более сложных архитектур… Все эксперименты, которые исследователи и практики всегда хотели провести, начиная с мощи модели с более чем 100 миллиардами параметров, теперь возможны.
BLOOM — это семя живой семьи моделей, которую мы намерены развивать, а не просто одноразовая модель, и мы готовы поддерживать усилия сообщества по её расширению.
