LiteLLM: Python SDK and Proxy Server for LLM APIs

LiteLLM는 OpenAI 형식으로 100개 이상의 LLM API를 호출할 수 있는 Python SDK 및 프록시 서버입니다. 이 도구는 다양한 LLM 공급자와의 통합을 통해 사용자가 손쉽게 API를 호출하고 응답을 받을 수 있도록 돕습니다.

주요 기능

• 다양한 LLM 지원: LiteLLM는 OpenAI, Azure, HuggingFace, Cohere 등 여러 공급자의 API를 지원합니다.
• 프록시 서버: LLM Gateway로서의 기능을 제공하여 API 호출을 간소화합니다.
• 비용 추적 및 예산 설정: 프로젝트별로 예산과 속도 제한을 설정할 수 있습니다.
• 스트리밍 지원: 모든 모델에서 스트리밍 응답을 받을 수 있습니다.

설치 방법

pip install litellm

기본 사용법

from litellm import completion
import os

# 환경 변수 설정
os.environ["OPENAI_API_KEY"] = "your-openai-key"

messages = [{ "content": "안녕하세요, 어떻게 지내세요?", "role": "user"}]

# OpenAI 호출
response = completion(model="gpt-3.5-turbo", messages=messages)
print(response)

고급 사용법

LiteLLM는 비동기 호출도 지원합니다. 아래는 비동기 호출 예시입니다.

from litellm import acompletion
import asyncio

async def test_get_response():
    user_message = "안녕하세요, 어떻게 지내세요?"
    messages = [{"content": user_message, "role": "user"}]
    response = await acompletion(model="gpt-3.5-turbo", messages=messages)
    return response

response = asyncio.run(test_get_response())
print(response)

가격 정책

LiteLLM는 무료로 사용할 수 있으며, 추가 기능이 필요한 경우 유료 플랜도 제공합니다. 최신 가격 정보는 에서 확인하세요.

결론

LiteLLM는 다양한 LLM API를 손쉽게 사용할 수 있도록 도와주는 강력한 도구입니다. 이 도구를 통해 복잡한 API 호출을 간소화하고, 효율적인 작업 흐름을 구축할 수 있습니다. 지금 바로 LiteLLM을 사용해 보세요! 🚀