LiteLLM: Умный прокси-сервер для работы с LLM API

LiteLLM — это мощный инструмент, который позволяет разработчикам взаимодействовать с более чем 100 API LLM в формате OpenAI. Он поддерживает такие платформы, как Bedrock, Azure, OpenAI, VertexAI и многие другие. С помощью LiteLLM вы можете легко управлять вызовами к различным моделям и получать консистентные ответы.

Основные функции LiteLLM

1. Удобный прокси-сервер

LiteLLM действует как прокси-сервер, который переводит ваши запросы в формат, совместимый с различными API. Это позволяет вам использовать один и тот же код для работы с разными провайдерами, что значительно упрощает разработку.

2. Поддержка нескольких провайдеров

LiteLLM поддерживает множество провайдеров, включая OpenAI, Azure, HuggingFace и другие. Это дает вам возможность выбирать наиболее подходящий инструмент для ваших задач.

3. Логирование и отслеживание

Инструмент предоставляет возможности для логирования и отслеживания ваших запросов, что позволяет вам анализировать производительность и оптимизировать использование API.

4. Гибкость в управлении бюджетом

Вы можете устанавливать лимиты и бюджеты на каждую модель и проект, что позволяет эффективно управлять расходами на API.

Как начать использовать LiteLLM

Установка

Для установки LiteLLM выполните следующую команду:

pip install litellm

Пример использования

Вот простой пример, как использовать LiteLLM для вызова модели:

from litellm import completion
import os

# Установите переменные окружения
os.environ["OPENAI_API_KEY"] = "ваш-openai-ключ"

messages = [{"content": "Привет, как дела?", "role": "user"}]

# Вызов модели
response = completion(model="gpt-3.5-turbo", messages=messages)
print(response)

Асинхронные вызовы

LiteLLM также поддерживает асинхронные вызовы:

from litellm import acompletion
import asyncio

async def test_get_response():
    user_message = "Привет, как дела?"
    messages = [{"content": user_message, "role": "user"}]
    response = await acompletion(model="gpt-3.5-turbo", messages=messages)
    return response

response = asyncio.run(test_get_response())
print(response)

Заключение

LiteLLM — это идеальный инструмент для разработчиков, которым нужно работать с несколькими API LLM. Он упрощает процесс интеграции и предоставляет мощные функции для управления вызовами и отслеживания производительности. Попробуйте LiteLLM сегодня и упростите свою работу с LLM API!

Призыв к действию

Хотите узнать больше о LiteLLM? Посетите и начните использовать его уже сегодня!