local.ai

local.ai ist eine beeindruckende native App, die sich darauf spezialisiert, das Management, die Verifizierung und die Inferenzierung von KI zu erleichtern. Mit der Möglichkeit, mit AI offline und privat zu experimentieren, ohne eine GPU zu benötigen, bietet es eine große Flexibilität. Die App ist kostenlos und Open-Source und verfügt über eine Reihe nützlicher Funktionen. Sie hat einen Rust-Backend, was sie speicher- und platzsparend macht. Zum Beispiel benötigt sie weniger als 10 MB auf Mac M2, Windows und Linux.deb. Die verfügbaren Funktionen umfassen CPU-Inferenzierung, die sich an die verfügbaren Threads anpasst, sowie GGML-Quantisierung in verschiedenen Formaten. Zudem können Sie Ihre AI-Modelle an einem zentralen Ort verwalten, mit Features wie einem wiederaufnehmbaren und gleichzeitigen Downloader und einer nutzungsbasierten Sortierung. Die Digest-Verifizierung sorgt für die Integrität der heruntergeladenen Modelle. Und mit der Funktion, einen lokalen Streaming-Server für AI-Inferenzierung in nur zwei Klicks zu starten, wird die Nutzung noch praktischer. In Zukunft sind weitere spannende Funktionen geplant, wie GPU-Inferenzierung, Model-Management-Erweiterungen und mehr.