AI가 알려준 대로 했다가 망했다…회계업계의 충격 경고

기업들이 공용 AI 챗봇의 잘못된 금융 조언을 그대로 따르면서 실제 금전 손실 사례가 늘고 있다. [사진: 셔터스톡]

[디지털투데이 AI리포터] 공용 인공지능(AI) 챗봇의 금융 조언을 그대로 따르는 기업이 늘면서 실제 금전 손실 사례가 확산하고 있다는 경고가 나왔다.

7일(이하 현지시간) IT 매체 테크레이더에 따르면, 영국 회계사와 부기 담당자의 절반은 기업들이 AI가 생성한 잘못된 재무 조언을 따른 뒤 손실을 본 사례를 경험했다고 답했다.

이번 논란의 핵심은 범용 AI가 의료 분야에서는 안전장치를 강화하는 방향으로 발전하고 있지만, 금융 분야에서는 상대적으로 느슨한 상태로 빠르게 활용 범위를 넓히고 있다는 점이다. 오픈AI는 지난 1월 챗GPT의 의료 관련 응답에 가드레일을 강화해 전문 상담으로 연결하는 체계를 마련했지만, 금융 영역에서는 비슷한 수준의 제한 장치가 충분하지 않다는 지적이 나온다.

이용 규모도 빠르게 커지고 있다. 로이즈은행 조사에 따르면 약 2800만명이 재무 관리나 금전 관련 판단을 돕기 위해 공용 AI 도구를 사용하고 있다. 개인 이용을 넘어 기업 의사결정 과정에도 AI 답변이 본격적으로 활용되고 있다는 의미다.

문제는 범용 챗봇이 원래 규제된 금융 자문 서비스를 제공하도록 설계된 시스템이 아니라는 점이다. 챗봇은 기업의 재무 이력과 세무 의무, 사업 환경 등을 종합적으로 분석하기보다 학습 데이터의 패턴을 기반으로 답변을 생성한다.

회계 현장에서는 이미 관련 사례가 반복되고 있다. 재무 전문가들은 고객이 챗봇 프롬프트를 기반으로 만든 재무 계획안을 들고 오는 경우가 늘고 있다고 설명했다. 표면적으로는 그럴듯해 보이지만 전문가 검토 과정에서 오류와 허점이 드러나는 사례가 많다는 것이다.

오류 유형도 다양했다. 세무 규정을 잘못 이해하거나 비용 항목을 잘못 분류한 사례, 오래된 규정을 근거로 재무 판단을 내린 사례 등이 확인됐다. 각각의 오류는 단일 사안으로는 작아 보일 수 있지만 세금 벌금이나 자본 손실로 이어지며 기업 손익에 영향을 줄 수 있다고 전문가들은 지적했다. 재무 오류는 현금흐름 악화와 규정 준수 리스크, 사업 전략 차질로까지 확대될 가능성이 있다는 설명이다.

책임 소재 문제도 제기됐다. 금융 자문사가 잘못된 조언을 제공할 경우 법적 책임을 물을 수 있지만, 챗봇의 부정확한 답변을 따른 경우에는 최종 책임이 이용자에게 남는다. 영국 국세청(HMRC) 관련 문제 역시 결국 이용자가 직접 책임져야 한다는 지적이 나온다.

기업들이 공용 AI를 전문가보다 더 권위 있는 정보원처럼 받아들이는 현상도 위험 요인으로 꼽혔다. 하지만 범용 AI 모델은 개별 기업의 재무 상황과 규제 의무, 사업상 압박에 대한 맥락 정보를 충분히 반영하지 못한다. 이 같은 한계 속에서도 확신에 찬 형태로 답변을 제공하면서 오히려 잘못된 방향으로 기업 판단을 이끌 수 있다는 우려가 커지고 있다.

이에 따라 업계에서는 금융 분야에도 의료 분야 수준의 가드레일이 필요하다는 요구가 나온다. 투자 전략이나 세무 판단, 기업 재무 관련 질문에 대해서는 경고 문구와 제한 장치를 강화해야 한다는 주장이다.

동시에 기업 내부의 AI 사용 원칙도 중요하다는 지적이 제기된다. 범용 AI는 정보 요약과 개념 설명, 반복 행정 업무 처리에는 강점을 보이지만 금융 자문은 다른 영역이라는 것이다.

전문가들은 회계사 등 전문 인력이 실제 사업 맥락에 맞게 AI 결과물을 검증하고, 기업 역시 행정 지원과 규제·재무 자문 사이의 경계를 명확히 구분해야 한다고 강조했다. 고위험 재무 판단에서 인간의 검토와 책임이 빠질 경우 AI 활용이 오히려 더 큰 비용 손실로 이어질 수 있다는 경고다.