local.ai

local.ai - это мощное приложение для управления искусственным интеллектом. Оно позволяет проводить эксперименты с AI в автономном режиме и в частном порядке, без необходимости наличия GPU. Приложение имеет ряд полезных функций. Например, с помощью него можно начать сессию вывода с моделью WizardLM 7B всего за два клика. local.ai обладает рядом преимуществ. Это нативное приложение с бэкендом на Rust, которое эффективно использует память и имеет компактный размер (менее 10 МБ на Mac M2, Windows и Linux.deb). Среди доступных функций - вывод на CPU, адаптация к доступным потокам, квантование GGML q4, 5.1, 8, f16. Также в разработке находятся функции вывода на GPU и параллельных сессий. Кроме того, приложение позволяет управлять моделями AI в одном центральном месте. Можно выбрать любой каталог, и доступны такие функции, как возобновляемый и одновременный загрузчик, сортировка по использованию, независимость от каталога. В планах - вложенные каталоги, пользовательская сортировка и поиск. Еще одна важная функция - верификация целостности загруженных моделей с помощью надежных функций вычисления дайджеста BLAKE3 и SHA256. Также приложение позволяет запустить локальный потоковый сервер для вывода AI всего за два клика, с такими функциями, как потоковый сервер, быстрый интерфейс вывода, запись в.mdx, параметры вывода, удаленный словарь. В будущем планируется добавить менеджер сервера, поддержку аудио и изображений.