Aguru Safeguard

Aguru Safeguard는 온프레미스 소프트웨어로, LLM의 동작과 성능의 모든 중요한 측면에 대한 실행 가능한 통찰력을 제공합니다. 잠재적인 이상을 감지하면 즉시 실행 가능한 경고를 받을 수 있으며, 모든 경고는 syslog에 기록되고 Splunk 또는 DataDog와 같은 선호하는 경고 시스템으로 전달할 수 있습니다. 또한 Playground를 통해 특정 프롬프트를 실험하고 시스템이 어떻게 이상을 감지하는지 확인할 수 있습니다. 이를 통해 AI 애플리케이션의 기능을 개선할 수 있습니다.

설치 및 사용 방법 Aguru Safeguard 패키지를 다운로드하고 로컬에 설치하면 데이터의 개인 정보 보호와 보안이 보장됩니다. 초기 채택자에게는 무료로 제공됩니다. 다운로드 패키지에 포함된 README.md 파일의 단계별 지침에 따라 AI 애플리케이션에 통합하고 인프라를 구성하여 LLM 트래픽을 리버스 프록시를 통해 라우팅합니다. 애플리케이션 코드를 수정할 필요 없이 완전히 안전한 구성이 가능합니다. 인프라를 설정한 후 이동하여 인터페이스에 접근하면 Aguru Safeguard가 즉시 LLM 트래픽을 모니터링하고 이상을 감지합니다.

기타 솔루션 LLM Router를 통해 다양한 LLM 모델의 성능과 비용 효율성을 비교하고 실제 상황에서 최적의 모델을 선택할 수 있습니다.