BLOOM: 世界最大のオープンマルチリンガル言語モデル

🌸 BLOOMの紹介 🌸

大規模言語モデル（LLM）は、AI研究において重要な影響を与えています。これらの強力な一般モデルは、ユーザーの指示に基づいてさまざまな新しい言語タスクを実行できます。しかし、学術界や非営利団体、小規模企業の研究所は、必要なリソースと独占的権利を持つ数少ない産業ラボのみが完全にアクセスできるため、LLMを作成、研究、使用することが困難です。

そこで、私たちはBLOOMを発表します。これは、完全な透明性のもとで訓練された初のマルチリンガルLLMであり、この現状を変えるためのものです。これは、単一の研究プロジェクトに関与したAI研究者の最大のコラボレーションの結果です。1760億のパラメータを持つBLOOMは、46の自然言語と13のプログラミング言語でテキストを生成できます。スペイン語、フランス語、アラビア語などのほとんどの言語において、BLOOMは100B以上のパラメータを持つ初の言語モデルとなります。

このプロジェクトは、70か国以上から1000人以上の研究者が関与し、250以上の機関が参加した1年間の作業の集大成です。フランスのパリ南部にあるJean ZayスパコンでBLOOMモデルを117日間（3月11日 - 7月6日）訓練しました。これは、フランスの研究機関CNRSとGENCIからの約300万ユーロの計算助成金のおかげです。

研究者は、BLOOMをダウンロードし、実行し、最近開発された大規模言語モデルのパフォーマンスと動作を深く調査することができます。一般的に、モデルの責任あるAIライセンスの条件に同意する個人または機関は、ローカルマシンまたはクラウドプロバイダーでモデルを使用し、構築できます。Hugging Faceエコシステムに組み込まれているため、transformersをインポートしてaccelerateで実行するのは簡単です。

このコラボレーションと継続的な改善の精神のもと、初めて訓練の中間チェックポイントとオプティマイザーステートも公開します。8つのA100を持っていないですか？専用のハードウェアやエンジニアリングなしでも大規模に使用できる推論APIを最終調整中です。その間、迅速なテスト、プロトタイピング、低スケールの使用のために、HFハブで早期バージョンをすでに試すことができます。

これは始まりに過ぎません。BLOOMの能力は、ワークショップがモデルを実験し、調整し続けるにつれて向上し続けます。私たちは、以前の取り組みであるT0++と同じように指示可能にする作業を開始しており、さらに多くの言語を追加し、同じパフォーマンスレベルでより使いやすいバージョンにモデルを圧縮し、より複雑なアーキテクチャの出発点として使用する予定です。

100B以上のパラメータモデルの力を持つ研究者や実務者が常に実行したいと考えていたすべての実験が、今や可能になりました。BLOOMは、私たちが成長させることを意図している生きたモデルファミリーの種であり、単なる一回限りのモデルではありません。私たちは、コミュニティの努力をサポートする準備ができています。