런팟, AI 추론 배포 간소화 ‘파이썬 SDK ’플래시' 공개

[디지털투데이 황치규 기자]AI 개발자 클라우드 기업 런팟(Runpod)이 AI 코드를 프로덕션(실제 운영) 환경에 배포하는 과정에서 인프라 부담을 줄이기 위해 오픈소스 파이썬 SDK '플래시(Flash)'를 공개했다고 테크진이 4일(현지시간) 보도했다.

회사 측에 따르면 플래시는 개발자들이 로컬 파이썬 함수를 컨테이너 구축, 이미지 관리, 인프라 설정 없이 몇 분 안에 자동 확장 엔드포인트로 전환할 수 있도록 지원한다. MIT 라이선스로 파이파이(PyPI)와 깃허브(GitHub)에서 이용할 수 있다.

젠 루(Zhen Lu) 런팟 CEO는 "서버리스는 강력하지만 설정 과정이 걸림돌이라는 피드백이 계속 있어왔다"며 "개발자들이 파이썬 코드를 작성하고 컴퓨팅을 선택하면 몇 분 안에 요청을 처리할 수 있는 것이 목표"라고 말했다.

그는 "에이전트들이 다양한 모델을 호출하고 다양한 컴퓨팅 유형 사이를 오가며 수요에 따라 확장해야 하는 만큼 플래시가 이런 워크로드에 적합하다"고 덧붙였다.

플래시는 배포 방식으로 배치 및 비동기 워크로드를 처리하는 큐 기반(Queue-based) 처리와 실시간 추론 트래픽을 처리하는 로드 밸런싱 엔드포인트를 지원한다.

개발자들이 파이썬에서 직접 컴퓨팅 요구 사항과 의존성을 지정하면 플래시가 프로비저닝, 확장, 인프라 관리를 자동으로 처리한다. 엔드포인트는 수요에 따라 자동으로 확장되고 사용량이 없을 때는 제로로 축소된다. 회사 측에 따르면 런팟은 현재 70만명 이상 개발자들이 사용하고 있으며 2026년 3월에만 3만7000개 서버리스 엔드포인트가 생성됐다.