local.ai

local.ai est une application native puissante et innovante pour la gestion, la vérification et l'inférence d'IA. Elle permet d'expérimenter avec l'IA en mode hors ligne et en privé, sans nécessiter de GPU. Avec une interface utilisateur intuitive, elle simplifie le processus entier. L'application est gratuite et open-source, offrant une alternative accessible à tous. Son backend en Rust garantit une efficacité mémoire et une compacité remarquables, occupant moins de 10 Mo sur Mac M2, Windows et Linux.deb. Les fonctionnalités actuelles comprennent l'inférence CPU, l'adaptation aux threads disponibles, la quantification GGML (q4, 5.1, 8, f16). Les fonctionnalités à venir comprennent l'inférence GPU et des sessions parallèles. De plus, local.ai permet de gérer les modèles d'IA de manière centralisée, avec des fonctionnalités telles que le téléchargeur résumable et concurrent, le tri basé sur l'utilisation et l'indépendance par rapport au répertoire. Les fonctionnalités à venir incluent le tri et la recherche personnalisés. La vérification de l'intégrité des modèles téléchargés est assurée par une fonctionnalité de calcul de digest robuste (BLAKE3 et SHA256). Enfin, il est possible de démarrer un serveur de streaming local pour l'inférence d'IA en seulement 2 clics, avec des fonctionnalités telles que le serveur de streaming, l'interface d'inférence rapide et l'écriture en.mdx. Les fonctionnalités à venir comprennent la gestion du serveur, le traitement de l'audio et de l'image.