local.ai

local.aiは、AIの管理、検証、推論をサポートするネイティブアプリです。オフラインでAIを実験でき、プライバシーも守られます。GPUは不要です。このアプリは全てのプロセスを簡略化するために作られており、無料でオープンソースです。Rustバックエンドを持つこのパワフルなネイティブアプリは、メモリ効率が高くコンパクトです（Mac M2、Windows、Linux.debで10MB未満）。現在利用可能な機能には、CPU推論（利用可能なスレッドに適応）、GGML量子化（q4、5.1、8、f16）などがあります。また、今後の機能としてはGPU推論、並列セッション、モデル管理などが予定されています。モデルのダウンロードは再開可能で、使用頻度に基づいてソートできます。ダウンロードされたモデルの整合性を確保するためのダイジェスト検証機能も備えており、BLAKE3とSHA256ダイジェスト計算機能が利用可能です。さらに、2クリックでAI推論のためのローカルストリーミングサーバーを起動でき、ストリーミングサーバー、迅速な推論UI、.mdxへの書き込み、推論パラメータ、リモートボキャブラリなどの機能が利用可能です。