Llama Family는 Llama 모델, 기술, 그리고 이에 관심 있는 사람들을 위한 커뮤니티입니다. 이 커뮤니티는 오픈 소스를 통해 인공 일반 지능(AGI)의 발전을 촉진하는 데 전념하고 있습니다. Llama 모델의 오픈 소스화는 대규모 모델 기술의 발전을 크게 가속화했습니다. 우리는 다양한 배경을 가진 개발자와 기술 애호가들이 협력하여 Llama를 위한 오픈 소스 생태계를 구축할 수 있는 개방형 플랫폼을 만들기 위해 노력하고 있습니다. 대규모 모델부터 소규모 모델까지, 텍스트에서 다중 모달 기능까지, 그리고 소프트웨어에서 하드웨어 알고리즘 최적화까지, 오픈 소스가 AI의 혜택을 모든 인류에게 가져다 줄 수 있기를 바랍니다.
이 기술 폭발의 시대에 Llama Family에 가입하여 기술과 함께 성장하고, 커뮤니티와 함께 앞으로 나아가며, 함께 AGI(인공 일반 지능)를 향해 나아가 봅시다! Llama Family는 GeForce RTX 30 시리즈, GeForce RTX 40 시리즈(출시 예정), NVIDIA H100 Tensor Core GPU(출시 예정), NVIDIA A100 Tensor Core GPU(출시 예정) 등 다양한 컴퓨팅 자원을 제공합니다.
Meta에 의해 오픈 소스화된 Llama 모델은 현재 산업계와 학계에서 가장 널리 사용되는 대형 모델입니다. 언어 모델 버전은 1B, 3B, 8B, 70B, 405B로, 훈련 데이터 양은 15.0T 토큰 이상입니다. 비전 모델은 11B와 90B로, 훈련 데이터 양은 60억 이미지-텍스트 쌍 이상입니다. Llama 모델은 영어 CommonCrawl, C4, Github, Wikipedia, Gutenberg 및 Books3, ArXiv, Stack Exchange 등 다양한 데이터를 기반으로 훈련되었습니다.
Code Llama는 Llama2를 기반으로 코드 데이터를 사용하여 훈련되었으며, Base Model, Python Model, Instruct Model 세 가지 유형으로 분류됩니다. 이 모델은 코드 연속, 코드 채우기, 지시 기반 프로그래밍이 가능합니다. Atom은 AtomEcho와 Llama Family가 공동 개발한 모델로, Llama 아키텍처를 기반으로 합니다. 이 모델은 2.7T의 중국어 및 다국어 코퍼스를 사용하여 훈련되었으며, 1B, 7B, 13B의 파라미터 크기를 가지고 있습니다. Atom은 Llama 모델의 중국어 능력을 크게 향상시켰습니다.
