BerriAI/litellm：强大的 AI 工具
BerriAI/litellm 是一款功能强大的 Python SDK 和代理服务器（LLM Gateway），它能够以 OpenAI 格式调用超过 100 种 LLM API，涵盖了众多知名的提供商，如 Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq 等。
该工具具有多种强大的功能。它可以将输入翻译成提供商的完成、嵌入和图像生成端点，确保输出的一致性，文本响应始终可在['choices'][0]['message']['content']中获取。同时，它还具备重试/回退逻辑，可在多个部署（如 Azure/OpenAI）之间进行切换。此外，LiteLLM 还可以管理设置每个项目、API 密钥和模型的预算和速率限制。
在使用方面，LiteLLM v1.0.0 现在需要 openai>=1.0.0，而 LiteLLM v1.40.14+ 现在需要 pydantic>=2.0.0。用户可以通过设置环境变量来使用不同的模型，如设置 OPENAI_API_KEY 和 COHERE_API_KEY 等。
该工具还支持异步和流式处理。异步功能可以提高处理效率，而流式处理则可以实时获取模型的响应。此外，LiteLLM 还暴露了预定义的回调，可将数据发送到 Lunary、Langfuse、DynamoDB、s3 Buckets、Helicone、Promptlayer、Traceloop、Athina、Slack 等进行观测。
对于 LiteLLM 代理服务器（LLM Gateway），它提供了多种功能，如用于身份验证的钩子、用于日志记录的钩子、成本跟踪和速率限制等。用户可以通过安装相关依赖并按照指定步骤启动代理服务器，然后使用各种 SDK 向代理发送请求。
总的来说，BerriAI/litellm 为用户提供了一个强大而灵活的工具，帮助用户更轻松地管理和使用多种 LLM API。
