자동차-AI가 못 보는 것 해커는 본다…‘라이징어택’ AI 보안 위협

[디지털투데이 AI리포터] 자율주행차부터 의료 영상까지, 인공지능(AI)이 시각 인식에 의존하는 기술이 늘어나면서 보안 위협도 커지고 있다.

7일(현지시간) IT매체 테크레이더에 따르면, AI가 보는 것을 교묘하게 조작하는 해킹 기법 '라이징어택'(RisingAttacK)이 등장했다. 이미지의 외형을 거의 바꾸지 않으면서도 AI가 사물을 잘못 인식하도록 유도하는 방식이다.

노스캐롤라이나주립대 연구진이 개발한 라이징어택은 적대적 공격(adversarial attack)의 일종으로, 특정 이미지 내 핵심 요소를 미세하게 조작해 AI의 인식을 왜곡한다. 연구를 이끈 티안푸 우 전기컴퓨터공학과 교수는 "인간의 눈에는 두 이미지가 동일해 보이지만, AI는 한 이미지에서만 사물을 인식하도록 만들 수 있다"고 설명했다. 자율주행차가 이를 악용한 공격에 노출되면 교통표지판이나 보행자를 인식하지 못해 치명적인 사고로 이어질 수 있다.

연구팀은 ResNet-50, DenseNet-121, ViTB, DEiT-B 등 널리 사용되는 AI 비전 아키텍처를 대상으로 라이징어택을 테스트했으며, 모든 모델이 속아 넘어갔다. 공격 대상은 자동차, 자전거, 보행자, 정지 표지판 등 AI가 학습한 주요 객체들이다.

현재 컴퓨터 비전 외에도 대규모언어모델(LLM) 등 다른 AI 시스템에 대한 공격 가능성을 연구팀이 검토 중이며, 장기적으로는 이러한 공격을 방어할 수 있는 기술 개발을 목표로 하고 있다.

AI가 일상 기술에 깊숙이 스며들면서 보안 문제는 더욱 중요해지고 있다. 라이징어택과 같은 공격 기법이 확산될 경우, AI 시스템의 신뢰성과 안전성을 보장하는 것이 시급한 과제로 떠오를 전망이다.