LastMile AIは、生成AI開発者向けの包括的なプラットフォームを提供し、AIアプリケーションのデバッグ、評価、改善を支援します。このプラットフォームは、カスタム評価モデルの微調整、ガードレールの設定、アプリケーションパフォーマンスの監視など、開発者が自信を持ってLLMアプリを出荷できるように設計されています。
AutoEval機能により、アプリケーションに特化した高速な評価モデルの微調整が可能で、アプリケーションデータのアップロード、LLMによるラベリング、評価モデルの微調整といったプロセスをサポートします。これにより、RAGやマルチエージェントAIアプリケーションの評価メトリクスが標準装備されており、独自の評価基準を設計するための微調整サービスも提供されています。
さらに、alBERTaという400Mパラメータの小型言語モデルを提供しており、忠実度などの評価タスクに数値スコアを生成します。その小さなサイズにより、300ms未満の推論時間でCPU上で動作し、カスタム評価タスクのために効率的に微調整することが可能です。
リアルタイムガードレール機能では、アプリケーションのランタイム中に幻覚、毒性、安全性、またはカスタム基準に関するリアルタイムチェックを行うことができます。LastMileプラットフォームは、VPC内にデプロイすることでデータプレーンの完全な制御を維持し、セキュリティとプライバシーを確保します。
LastMile AIは、特定のタスクに特化した小型言語モデルを提供し、開発者が簡単にパーソナライズ、微調整し、独自のインフラストラクチャ上で効率的に実行できるようにします。無料で始めることができ、開発者向けのドキュメントやAPIガイドも提供されています。
