litellm

LiteLLMはOpenAI形式で100以上のLLM APIを呼び出すPython SDKとプロキシサーバーです。様々なプロバイダー（Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropicなど）に対応し、シームレスな体験を提供します。主な機能は多様なプロバイダーのサポート、ストリーミング対応、ログ記録と監視です。使用方法は環境変数を設定し、モデル呼び出しのメッセージを準備して呼び出します。また、プロキシサーバーとしても機能し、支出追跡や負荷分散ができます。料金プランは様々で、エンタープライズプランもあります。他のLLM API呼び出しツールと比べて、設定が簡単で多様なプロバイダーを統合できる点が優れています。LiteLLMはOpenAI、Azure、HuggingFace、Cohereなどをサポートし、ストリーミング機能はstream=Trueで使用できます。是非公式ウェブサイトで詳細を確認して試してみてください。