AI 오작동이 부른 참사…車 음성명령, 안전장치인가 위협인가

자율주행차가 본격적으로 도로에 등장하기 전, AI와 차량 시스템의 경계를 재정립할 필요가 있다. [사진: Reve AI]

[디지털투데이 AI리포터] 소프트웨어 정의 차량(SDV)이 빠르게 확산되면서 차량 내 인공지능(AI)의 역할이 커지고 있다. 그러나 최근 중국에서 발생한 사고를 계기로 AI가 차량 핵심 기능을 제어하는 구조의 위험성이 다시 주목받고 있다.

지난 7일(현지시간) 전기차 매체 클린테크니카에 따르면, 지난 2월 25일 새벽 1시 중국의 한 고속도로에서 링크 & 코 Z20 차량이 주행 중 가드레일과 충돌하는 사고가 발생했다. 운전자가 차량 내 AI 음성 비서에게 "실내등을 꺼달라"고 명령했지만, 시스템이 이를 잘못 인식해 실내 조명뿐 아니라 외부 헤드라이트까지 동시에 꺼버린 것이다.

당시 차량은 시속 100km 이상으로 주행 중이었고, 헤드라이트가 꺼지면서 도로가 완전히 어두워졌다. 운전자는 즉시 AI에 다시 불을 켜달라고 명령했지만 시스템은 "기능을 사용할 수 없다"는 응답을 내놓았다. 결국 차량은 가드레일과 충돌했다.

다행히 인명 피해는 발생하지 않았다. 차량 제조사인 링크앤코는 사고 직후 긴급 소프트웨어 업데이트를 실시해 주행 중에는 AI가 헤드라이트를 제어하지 못하도록 기능을 제한했다.

이번 사건은 AI 오작동 자체보다 차량 설계 방식에 대한 논쟁을 촉발하고 있다. 최근 자동차 제조사들은 음성 비서와 인포테인먼트 시스템을 통해 차량의 다양한 기능을 제어할 수 있도록 하고 있다. 운전자는 물리적인 버튼 조작 없이 인포테인먼트 화면이나 모바일 앱, 음성 명령을 통해 와이퍼, 헤드라이트, 글로브박스 등 여러 기능을 제어할 수 있다.

하지만 전문가들은 AI가 확률 기반으로 작동하는 시스템이라는 점에서 이러한 설계가 위험할 수 있다고 지적한다. 음성 인식 오류나 명령 해석 오류가 발생할 경우 차량 안전과 직결되는 기능까지 영향을 받을 수 있기 때문이다.

사이버보안 분야에서 널리 적용되는 '최소 권한 원칙'(Principle of Least Privilege)도 이러한 문제와 연결된다. 이 원칙은 시스템이 수행에 필요한 최소한의 권한만 가져야 한다는 개념이다. 그러나 일부 차량에서는 AI가 조명이나 와이퍼 등 주요 기능까지 제어할 수 있도록 설계돼 있어 잠재적 위험이 존재한다는 지적이 나온다.

전문가들은 AI가 복잡한 비핵심 작업을 처리하는 데는 유용하지만, 차량 안전과 직접 연결된 시스템은 별도의 물리적 제어 수단을 유지해야 한다고 강조한다. 또한 AI 오작동 상황에서도 운전자가 즉시 수동으로 차량 기능을 제어할 수 있도록 설계해야 한다는 의견이 제기된다.

일부에서는 규제 당국의 개입 필요성도 제기된다. 자율주행차 규제가 본격화되기 전, 차량 내 AI가 접근할 수 없는 '금지 구역'을 설정해 안전과 직결된 기능을 보호해야 한다는 것이다. 소프트웨어 중심 자동차가 빠르게 확산되는 가운데, 이번 사고는 차량 내 AI 권한과 안전 설계에 대한 새로운 논의를 촉발할 것으로 보인다.