BLOOM

BLOOM은 AI 연구에 있어 큰 파장을 일으키고 있는 대형 언어 모델(LLM)의 새로운 지평을 열었습니다. 이 강력하고 일반적인 모델은 사용자의 지시에 따라 다양한 새로운 언어 작업을 수행할 수 있습니다. 그러나 학계, 비영리 단체 및 소규모 회사의 연구실은 필요한 자원과 독점적 권리를 가진 몇몇 산업 연구실만이 완전히 접근할 수 있는 LLM을 생성, 연구 또는 사용하는 데 어려움을 겪고 있습니다. 오늘, 우리는 이러한 현상을 바꾸기 위해 완전한 투명성 속에서 훈련된 최초의 다국어 LLM인 BLOOM을 공개합니다. 이는 단일 연구 프로젝트에 참여한 AI 연구자들의 가장 큰 협력의 결과물입니다. 1760억 개의 파라미터를 가진 BLOOM은 46개의 자연어와 13개의 프로그래밍 언어로 텍스트를 생성할 수 있습니다. 스페인어, 프랑스어, 아랍어와 같은 거의 모든 언어에 대해 BLOOM은 1000억 개 이상의 파라미터를 가진 최초의 언어 모델이 될 것입니다. 이는 70개 이상의 국가와 250개 이상의 기관에서 온 1000명 이상의 연구자들이 참여한 1년 간의 작업의 정점으로, 프랑스 남부 파리에 위치한 Jean Zay 슈퍼컴퓨터에서 117일간(3월 11일 - 7월 6일) BLOOM 모델을 훈련시킨 결과입니다. 이는 프랑스 연구 기관 CNRS와 GENCI로부터 약 300만 유로 상당의 컴퓨팅 지원을 받아 이루어졌습니다. 이제 연구자들은 BLOOM을 다운로드, 실행 및 연구하여 최근 개발된 대형 언어 모델의 성능과 행동을 가장 깊은 내부 작동까지 조사할 수 있습니다. 더 일반적으로, 모델의 책임 있는 AI 라이선스(빅사이언스 프로젝트 자체에서 개발됨) 조건에 동의하는 모든 개인 또는 기관은 로컬 머신이나 클라우드 제공자에서 모델을 사용하고 구축할 수 있습니다. Hugging Face 생태계에 내장되어 있기 때문에 transformers로 가져오고 accelerate로 실행하는 것만큼 쉽습니다. 협력과 지속적인 개선의 정신으로, 우리는 또한 처음으로 훈련의 중간 체크포인트와 옵티마이저 상태를 공개합니다. 8개의 A100을 가지고 놀 수 없나요? 우리는 전용 하드웨어나 엔지니어링 없이도 대규모 사용을 위한 추론 API를 마무리하고 있습니다. 그동안 빠른 테스트, 프로토타이핑 및 소규모 사용을 위해 HF 허브에서 초기 버전을 이미 사용해 볼 수 있습니다. 이는 시작에 불과합니다. BLOOM의 능력은 워크숍이 모델을 실험하고 개선함에 따라 계속해서 향상될 것입니다. 우리는 이전의 T0++만큼 지시 가능하게 만들기 위해 작업을 시작했으며, 더 많은 언어를 추가하고, 동일한 수준의 성능을 유지하면서 모델을 더 사용하기 쉬운 버전으로 압축하고, 더 복잡한 아키텍처를 위한 출발점으로 사용할 예정입니다. 연구자와 실무자들이 항상 실행하고 싶어했던 모든 실험은 이제 1000억 개 이상의 파라미터를 가진 모델의 힘으로 가능합니다. BLOOM은 우리가 성장시키려는 살아있는 모델 가족의 씨앗이며, 우리는 이를 확장하기 위한 커뮤니티의 노력을 지원할 준비가 되어 있습니다.