Aguru Safeguardは、LLM（大規模言語モデル）アプリケーションの動作とパフォーマンスを一貫して監視、保護、強化するためのオンプレミスソフトウェアです。このソフトウェアは、LLMの動作の重要な側面に関する実用的な洞察を提供し、信頼できない動作や潜在的なセキュリティ脅威に対してタイムリーに対処することを可能にします。
Aguru Safeguardの主な機能には、即時のアラート、詳細な洞察、そして迅速な反復を可能にする機能が含まれます。潜在的な異常が検出された場合、即座に実用的なアラートを受け取ることができ、すべてのアラートはsyslogに記録され、SplunkやDataDogなどの好みのアラートシステムに転送することができます。
さらに、Aguru SafeguardのPlaygroundを使用して、特定のプロンプトで実験を行い、システムがどのように異常を検出するかを観察することができます。これらの洞察を活用して、AIアプリケーションの機能を洗練し、強化することができます。
Aguru Safeguardの使用を開始するには、まずAguru Safeguardパッケージをダウンロードします。このソフトウェアはローカルにインストールされ、データのプライバシーとセキュリティを確保します。ダウンロードパッケージに含まれるREADME.mdファイルのステップバイステップの指示に従って、Aguru SafeguardをAIアプリケーションに統合します。インフラストラクチャを設定して、LLMトラフィックをリバースプロキシ経由でルーティングします。このセットアッププロセスでは、アプリケーションコードの変更は必要なく、完全にリスクフリーな構成を実現します。
インフラストラクチャの設定が完了したら、 SafeguardはすぐにLLMトラフィックの監視を開始し、異常を検出します。
