local.ai

O local.ai é uma sacada incrível pra quem quer lidar com a gestão, verificação e inferência de IA. Com a possibilidade de experimentar a IA offline e de forma privada, sem precisar de uma GPU, esse app traz uma experiência única. É grátis e de código aberto. Com um backend em Rust, é super eficiente em termos de memória e compacto, ocupando menos de 10MB no Mac M2, Windows e Linux.deb. As funcionalidades disponíveis incluem inferência de CPU, adaptação às threads disponíveis e quantização GGML. Além disso, permite o gerenciamento de modelos de IA num local centralizado, com recursos como downloader pausável e ordenação baseada no uso. A verificação de digest garante a integridade dos modelos baixados com recursos de cálculo de BLAKE3 e SHA256. Também dá pra iniciar um servidor de streaming local pra inferência de IA com apenas dois cliques. O local.ai tá sempre evoluindo, com funcionalidades futuras como inferência de GPU, sessões paralelas, gerenciamento de modelos, busca e recomendação de modelos, e muito mais.