LiteLLM

LiteLLMは、Azure OpenAI LLM Gatewayのための統一APIを提供し、100以上のLLMにわたる認証、ロードバランシング、支出追跡を管理します。すべてOpenAI形式で利用可能です。LiteLLMは、Langfuse、Langsmith、OTELロギング、仮想キー、予算、チーム、ロードバランシング、RPM/TPM制限、LLMガードレールなどの機能をサポートしています。LiteLLMは、クラウドまたはセルフホストでの利用が可能で、エンタープライズ向けには基本プランとプレミアムプランを提供しています。基本プランでは、オープンソースのすべての機能に加えて、Prometheusメトリクスが利用可能です。プレミアムプランでは、エンタープライズ基本のすべての機能に加えて、エンタープライズサポート、カスタムSLA、JWT認証、SSO、監査ログなどが利用可能です。LiteLLMは、90,000以上のdocker pullと20M以上のリクエストを処理し、100%の稼働率を維持しています。200以上の貢献者により開発されています。