Ottic

Ottic는 기술 및 비기술 팀이 LLM 앱을 테스트하고 신뢰성 있는 제품을 빨리 출시할 수 있도록 돕는 도구이다. 이 도구는 LLM 앱 개발 주기를 최대 45일까지 단축시킬 수 있는 다양한 기능을 제공한다. 주요 특징으로는 시각적인 프롬프트 관리로 하드코딩된 프롬프트를 제거하고 쉽게 생성, 관리 및 추적할 수 있으며, 종단간 테스트 관리로 실제 상황을 고려한 테스트를 통해 LLM 제품의 회귀를 감지할 수 있다. 또한 포괄적인 LLM 평가를 통해 샘플링을 통한 테스트를 수행하고 예산을 최적화하며 문제점을 파악하여 더 신뢰성 있는 앱을 개발할 수 있고, 사용자 행동 모니터링으로 사용자가 앱과 실시간으로 상호작용하는 모습을 볼 수 있다. Ottic는 친화적인 UI를 제공하여 기술과 비기술 팀 간의 협업을 원활하게 하고, QA 및 엔지니어가 사용하는 도구와의 통합을 지원하며, 엔터프라이즈급으로 설계되어 조직 전반에 걸쳐 LLM에 대한 QA를 확장할 수 있도록 돕는다. LLM 앱의 평가와 테스트의 문제를 해결하기 위한 다양한 기능과 솔루션을 제공한다.