local.ai

local.ai to wyjątkowe narzędzie. Pozwala na eksperymentowanie z AI offline, w prywatnym środowisku, bez wymogu posiadania GPU. Jest to aplikacja natywna, która ma na celu uprościć cały proces. Jest darmowa i open-source. Ma wydajny backend w Rust, dzięki czemu jest oszczędna w zużyciu pamięci i kompaktowa (mniej niż 10MB na Mac M2, Windows i Linux.deb). Jego dostępne funkcje obejmują wnioskowanie na CPU, dostosowanie do dostępnych wątków oraz kwantyzację GGML (q4, 5.1, 8, f16). W planach jest dodanie wnioskowania na GPU oraz sesji równoległych. Można łatwo rozpocząć sesję wnioskowania z modelem WizardLM 7B za pomocą zaledwie dwóch kliknięć. Ponadto, pozwala na zarządzanie modelami AI w jednym centralnym miejscu, z funkcjami takimi jak pobieranie z możliwością wznowienia, sortowanie na podstawie użycia oraz bez względu na katalog. W przyszłości planowane są funkcje takie jak zagnieżdżone katalogi, niestandardowe sortowanie i wyszukiwanie. local.ai posiada również funkcję weryfikacji skrótów, która zapewnia integralność pobranych modeli za pomocą silnych funkcji obliczeniowych BLAKE3 i SHA256. Można również rozpocząć lokalny serwer przesyłania strumieniowego dla wnioskowania AI za pomocą zaledwie dwóch kliknięć, z dostępnymi funkcjami takimi jak serwer przesyłania strumieniowego, szybkie UI wnioskowania, zapisywanie do.mdx oraz parametry wnioskowania.