시스코, 서드파티 AI 모델 출처 검증 오픈소스 툴 공개

[디지털투데이 황치규 기자]시스코가 기업들이 외부 AI 모델 사용과 관련된 보안·컴플라이언스 문제를 해결하도록 지원하기 위해 오픈소스 툴 '모델 프로버넌스 킷(Model Provenance Kit)'을 공개했다고 시큐리티위크가 30일(현지시간) 보도했다.

기업들은 허깅페이스(HuggingFace) 같은 AI 모델 저장소에서 외부 모델을 가져다 쓰는 경우가 많다. 허깅페이스에는 수백만개 모델들이 등록돼 있다.

시스코에 따르면 기업들이 허깅페이스 등에서 모델들을 가져오는 과정에서 세 가지 문제가 발생한다. 첫째, 기업들이 가져온 모델들이 이후 어떻게 변경됐는지 파악하지 않는다. 둘째, 모델 개발자들이 제공하는 모델 출처, 취약점, 학습 편향 등으 정보를 검증하지 않는다. 셋째, 모델 개발자마다 유지 보수 수준이 달라 모델을 가져다 쓰는 기업들에도 영향을 미친다.

시스코는 이같은 문제들이 보안, 컴플라이언스, 법적 책임 리스크로 이어질 수 있다는 입장이다.악성코드가 심어져 있거나 조작에 취약한 모델을 기업이 배포할 수도 있다. 학습 데이터에 편향이 있는 모델을 도입할 수도 있다. 시스코는 "출처를 파악하지 못하면 사고 발생 시 근본 원인을 추적할 수 없고 사용하는 시스템 내 다른 모델들이 영향을 받았는지도 확인할 수 없다"고 설명했다.

모델 프로버넌스 킷은 파이썬 기반 툴킷과 커맨드라인인터페이스(CLI)로 구성된다. 각 모델 메타데이터 신호, 토크나이저 유사성, 임베딩 구조·정규화 레이어·에너지 프로파일·가중치 비교 등 가중치 수준 신호를 분석해 모델별 '지문'을 생성한다.

툴은 두 가지 모드로 작동한다. '비교(compare)' 모드는 두 모델을 비교해 공통 계보를 찾아낸다. '스캔(scan)' 모드는 특정 모델 지문을 시스코가 구축한 지문 데이터베이스와 대조해 가장 가까운 계보를 찾는다.

시스코는 "모델들이 파인튜닝, 증류, 병합, 리패키징을 거치면서 계보 추적이 어려워지고 있다"며 "모델 프로버넌스 킷 증거 기반 출처 검증 방식을 제시하는 첫걸음"이라고 밝혔다.