"AI 안전, 국가 주권의 문제…한국형 규율체계 시급"

김명주 AI 안전연구소장이 11일 국회의원회관에서 열린 '글로벌 AI 안전 생태계 주권 확보를 위한 정책토론회'에서 발제를 진행하는 모습. [사진: 디지털투데이]

[디지털투데이 이진호 기자] AI 안전성을 확보하고 올바른 사용법을 규율하는 법적·제도적 장치를 서둘러 마련하자는 목소리가 나왔다. 전문가들은 특히 한국형 AI 안전체계를 조기에 구축해야 글로벌 AI 주권 경쟁에서도 주도권을 확보할 수 있다고 진단했다.

11일 국회의원회관에서 열린 '글로벌 AI 안전 생태계 주권 확보를 위한 정책토론회'에는 학계·산업계·법조계 등 다양한 전문가들이 참여해 AI 안전을 국가 차원 핵심 전략으로 다뤄야 한다는 데 의견을 모았다.

김명주 한국전자통신연구원(ETRI) AI 안전연구소장은 발제를 통해 세계의 AI 규율 체계를 소개했다. 김명주 소장은 "누가 더 신뢰할 수 있게 AI를 관리하느냐의 경쟁이 펼쳐지고 있다"고 말했다.

실제로 영국은 물론 미국, 싱가포르, 호주 등이 'AI 안전연구소(AISI)' 체계를 구축해 AI 위험 분석과 규범 연구를 본격화하고 있다. 한국도 지난해 11월 ETRI 산하에 AI안전연구소를 세웠다. 특히 AI 강국인 미국과 중국은 정부 차원에서 AI 리스크를 분류하는 체계를 만들기도 했다.

김 소장은 개발 중인 'AI 리스크 지도'의 필요성 강조했다. AI 위협이 어떤 경로에서 발생하는지, 행위 주체가 누구인지, 환경적 취약요인은 무엇인지 등을 정량화하는 프레임워크다. 그는 "AI G3를 추구하는 한국은 AI 안전성을 보장하는 게 중요하다"며 "(안전한 AI를 통해) AI G3 경쟁력을 높여야 한다"고 말했다.

부족한 한국어 데이터도 보강해야 한다. 김 소장이 제시한 통계치에 따르면 글로벌 웹사이트 1000만개 중 49.3%가 콘텐츠 언어로 영어를 쓰는 반면 한국어는 0.8%에 그친다. 한국어 기반 모델의 안정성·정확성이 구조적으로 떨어질 수 있는 구조다. 이러한 상황에서는 한국어 질문이나 답변도 안전하지 않을 수 있다는 게 김 소장 진단이다.

11일 국회의원회관에서 열린 '글로벌 AI 안전 생태계 주권 확보를 위한 정책토론회'에서 문정욱 KISDI 실장이 종합 토론에 나선 모습. [사진: 디지털투데이]

이어진 종합토론에서는 AI 규율 체계 방향성을 두고 다양한 제안이 쏟아졌다. 황정현 법무법인 세종 AI센터 변호사는 "AI 기술이 공공부문 의사결정이나 의료, 금융, 교육 등 공적 기능에 결합될 때는 위험을 사전에 규율하고 감독할 수 있는 법적 책임 체계가 필요하다"고 말했다. 국제사회가 ISO, IEC, ITU-T 등을 통해 AI 표준화 논의를 가속화한 가운데 한국도 알고리즘 투명성, 위험평가 절차 등을 적극적으로 법제화해야 한다는 의견이다.

황 변호사는 "한국도 단순히 참여 수준에 그치지 않고 AI 핵심 규범을 주도적으로 제안하고, 기술 외교 역량을 강화해야 한다"며 "국제 표준에 선제적으로 참여하면 국내 입법이나 감독 체계 정합성을 확보하는 데에도 기여할 것으로 판단한다"고 말했다.

AI 결함의 구조적 문제도 지적됐다. 문정욱 정보통신정책연구원(KISDI) 디지털사회전략연구실장은 "생성형 AI는 구조적으로 보안 가드레일을 우회하는 '탈옥'이나 사실이 아닌 정보를 그럴듯하게 만들어내는 '환각' 같은 결함을 내포했다"며 기존 보안 패치나 버그바운티 방식만으로는 해결이 어렵다고 진단했다.

이어 "AI 모델 자체가 해킹되면 민감한 학습 데이터를 역으로 추출할 수 있는 새로운 보안 취약점까지 초래할 가능성이 있다"며 한국이 개발한 윤리영향평가 모델을 국제 표준으로 제안하고 국가 간 상호 인정 체계를 구축하자고 주장했다.

한국 산업에 맞는 안전 평가 체계도 필요하다. 민대기 이화여대 데이터사이언스학과 교수는 "현재 AI 안전 평가는 기술적 차원을 넘어 국제 규범 경쟁의 중심축"이라며 "우리 산업 구조와 기술 특성을 반영한 한국형 AI 안전 평가 체계를 구축해야 한다"고 강조했다.

한편 한국은 내년 1월 AI 기본법을 시행한다. AI 기본법은 규제보다 진흥에 무게를 두고, 중복되거나 유사한 규제를 최소화했다. 김국현 과학기술정보통신부 인공지능안전신뢰정책과장은 "AI 안전 종합계획도 준비하고 있다"며 산업 혁신 지원에도 초점을 맞출 계획"이라고 설명했다.