테트레이트, 멀티 LLM 기반 AI 에이전트 트래픽 관리 강화

[디지털투데이 황치규 기자]서비스 메시 기업 테트레이트(Tetrate)가 AI 쿼리와 요청을 가장 적합한 모델로 자동 라우팅하는 ‘테트레이트 에이전트 라우터 서비스’를 출시했다.

이를 통해 개발자들은 AI 트래픽을 효율적으로 관리하고, 특정 LLM에 종속되지 않으며 비용 초과 문제를 완화할 수 있다는게 회사측 설명이다.

테트레이트는 오픈소스 엔보이(Envoy) 서비스 메시를 지원하는 기업으로, 클라우드 네이티브 애플리케이션을 연결·관리·보안하는 테트레이트 서비스 메시리를 제공해왔다.

최근에는 생성형 AI 시장에 대응하기 위해 테트레이트 AI 게이트웨이를 개발했으며, 이번 신규 라우터 서비스를 통해 AI 요청을 최적화하는 기능을 추가했다.

회사 측에 따르면 에이전트 라우터 서비스는 개발자들이 자체 API 키를 사용하거나 테트레이트가 제공하는 키로 AI 모델에 접근할 수 있도록 지원하며, AI 에이전트 테스트 및 튜닝을 위한 프롬프트 플레이그라운드, 비용 절감 모델 자동 전환, A/B 테스트 기능도 제공한다.

테트레이트 제품관리 책임자 데이비드 왕은 “개발자들이 예산을 초과하지 않으면서도 고품질 AI 애플리케이션을 구축할 수 있도록 지원하는 것이 목표”라고 말했다.