Laminar는 LLM(대형 언어 모델) 제품을 위한 오픈소스 엔지니어링 플랫폼으로, 개발자들이 LLM 애플리케이션을 더 효과적으로 모니터링하고 관리할 수 있도록 돕습니다. 이 플랫폼은 LLM 호출을 추적하고, 성능을 평가하며, 데이터에 라벨을 지정하는 기능을 제공하여, 개발자들이 프로덕션 환경에서의 LLM 사용을 최적화할 수 있게 합니다.
Laminar를 사용하면 단 두 줄의 코드로 LLM 애플리케이션의 모든 실행 단계를 추적할 수 있습니다. 이 추적 데이터는 평가, 퓨샷 예제, 그리고 파인튜닝을 위한 귀중한 자료로 활용될 수 있습니다. 또한, Laminar는 gRPC를 통해 배경에서 추적 데이터를 전송하므로, 성능과 지연 시간에 미치는 영향을 최소화합니다.
온라인 평가 기능을 통해, 각각의 스팬(span)을 처리할 수 있는 LLM 또는 Python 평가기를 설정할 수 있습니다. 이 평가기는 자동으로 스팬에 라벨을 지정하여, 인간이 수동으로 라벨을 지정하는 것보다 더 확장 가능한 방법을 제공합니다.
Laminar는 또한 추적 데이터로부터 데이터셋을 구축할 수 있는 기능을 제공합니다. 이 데이터셋은 평가, 파인튜닝, 그리고 프롬프트 엔지니어링에 사용될 수 있습니다. 더불어, 서버리스 LLM 파이프라인 빌더는 간단한 프롬프트부터 복잡한 LLM 체인까지 빠르게 구축하고 반복할 수 있는 프로토타이핑 도구입니다.
Laminar는 완전히 오픈소스이며, 몇 가지 명령어만으로 쉽게 셀프 호스팅할 수 있습니다. 이는 개발자들이 자신의 환경에서 Laminar를 자유롭게 사용하고, 필요에 따라 수정할 수 있음을 의미합니다.
