local.ai

local.ai는 AI 관리, 검증 및 추론을 위한 강력한 앱입니다. 이 앱은 오프라인에서 개인적으로 AI를 실험할 수 있도록 설계되었으며, GPU가 필요 없습니다. 이는 전체 과정을 단순화하는 데 목적이 있습니다. 무료이며 오픈 소스로 제공됩니다. Rust 백엔드를 사용하여 메모리 효율성과 컴팩트성을 갖추고 있으며, Mac M2, Windows, Linux.deb에서 10MB 미만의 공간을 차지합니다. 현재 제공되는 기능으로는 CPU 추론이 있으며, 사용 가능한 스레드에 적응합니다. 또한 GGML 양자화 q4, 5.1, 8, f16도 지원합니다. 곧 제공될 기능으로는 GPU 추론과 병렬 세션, 모델 관리 등이 있습니다. 모델 관리 기능을 통해 중앙 집중식 위치에서 AI 모델을 관리할 수 있으며, 어떤 디렉토리든 선택할 수 있습니다. 또한 재개 가능하고 동시에 다운로드할 수 있으며, 사용량 기반 정렬과 디렉토리 무관성을 지원합니다. 곧 제공될 기능으로는 중첩 디렉토리, 사용자 정의 정렬 및 검색이 있습니다. 다운로드된 모델의 무결성을 보장하기 위한 강력한 BLAKE3 및 SHA256 다이제스트 계산 기능도 제공됩니다. 현재 제공되는 기능으로는 다이제스트 계산, 알려진 양호한 모델 API, 라이센스 및 사용 칩, BLAKE3 빠른 확인, 모델 정보 카드가 있으며, 곧 모델 탐색기, 모델 검색, 모델 추천 등의 기능이 추가될 예정입니다. 또한 2번의 클릭으로 AI 추론을 위한 로컬 스트리밍 서버를 시작할 수 있습니다. 모델을 로드한 후 서버를 시작하며, 스트리밍 서버, 빠른 추론 UI,.mdx로 쓰기, 추론 매개변수, 원격 어휘 등의 기능을 제공합니다. 곧 서버 관리, /오디오, /이미지 등의 기능이 추가될 예정입니다.