"자연어로 DB 조회, 아직 믿기 이르다...비전문가 활용시 주의해야"

[디지털투데이 황치규 기자]데이터베이스·분석 기업들이 앞다퉈 자연어로 데이터베이스를 조회하는 텍스트-SQL 툴들을 내놓고 있지만 전문가들은 비전문가들이 단독으로 이들 툴을 쓸 때는 주의가 필요하다는 목소리가 전문가들 사이에서 나오고 있다.

더레지스터 최근 보도에 따르면 AWS는 최근 베드록 플랫폼을 활용한 텍스트-SQL 솔루션을 공개했다. 스노우플레이크는 "지난 달 매출" 같은 비즈니스 언어를 데이터베이스가 이해하는 기술 용어로 연결하는 코텍스 애널리스트(Cortex Analyst)를 선보였다. 몽고DB도 랭체인(LangChain) 기반 자체 자연어 쿼리 API를 내놨다.

이와 관련해 토론토대학교 컴퓨터과학과 닉 쿠다스 교수는 "문제는 비즈니스 사용자가 쓸 경우 시스템이 문법적으로 맞지만 의도와 다른 쿼리를 생성할 수 있다"고 경고했다. 현재 텍스트-SQL 시스템 정확도는 약 80% 수준으로 93% 수준인 인간 전문가들에 미치지 못한다. 대부분 기업들은 독자적인 데이터와 내부 전문 용어를 갖고 있어 LLM이 추가 학습 없이는 이를 제대로 이해하기 어렵다는게 그의 지적이다.

보다 큰 위험은 문법적으로는 맞지만 의미가 틀린 쿼리다. 문법 오류는 쿼리가 실행되지 않아 바로 알 수 있지만 의미가 틀린 쿼리는 엉뚱한 결과를 내놓으면서도 오류처럼 보이지 않는다고 더레지스터는 전했다.

쿠다스 교수는 현재로선 비 전문가가 자연어로 SQL 쿼리를 하는 프로세스에 SQL을 이해하고 결과를 검증할 수 있는 전문가가 참여할 필요가 있따고 강조했다.

연구자들 사이에선 LLM이 사용자에게 되묻는 방식으로 정확도를 높이는 방향도 모색되고 있다. "자연어는 모호하고 뉘앙스가 많다"며 "LLM이 불확실한 토큰을 만나면 사용자에게 '이 표현이 A를 의미하는지 B를 의미하는지' 되물어 함께 쿼리를 완성하는 방식"이라고 더레지스터는 전했다.

쿠다스 교수는 텍스트-SQL은 개발자 생산성을 높이는 툴이지 개발자를 대체하는 기술이 아니다고 말했다.