[디지털투데이 황치규 기자] 챗GPT와 같은 AI가 어떤 과정을 거쳐 결과를 내놓았는지 파악하려는 시도가 활발하다. 내부 작동 방식을 이해하기 쉽지 않아, 블랙박스로도 불리는 문제를 의미 있는 수준으로 해결할 수 있을지 주목된다.

그동안 AI가 내린 결정은 그 배경을 파악하는 것은 쉽지 않았다. AI가 의사 결정에도 활용되는 상황에서 블랙박스 특성은 AI 확산을 가로막는 걸림돌 중 하나로 통하고 있다.

카네기 멜론 대학교 소프트웨어 엔지니어링 연구소 머신러닝 연구원 마리사 코너는 “거대언어모델(LLM) 입력과 출력만으로는 전체를 이해할 수 없다"면서 “의학적인 진단 등 영향이 큰 일을 AI 모델에 의존하는 경우 모델이 특정 결과를 출력하는 이유를 이해하는 것이 중요하다"고 말했다. 

이런 가운데 AI 내부 작동 방식을 이해하려는 학계와 업계 행보가 빨라지고 있고 일부 성과도 나오고 있다.

악시오스 최근 보도를 보면 AI 연구자들은 모델이 어떻게 작동하는지 이해하기 위해 사용자가 입력할 때 AI 모델 신경망에서 활성화되는 인공 뉴런 조합을 살펴보는 방법도 시도하는 모습이다.

이들 조합은 다양한 장소, 사람, 사물, 개념과 관련돼 있는 특징(features)들로 보면 된다. LLM 개발 스타트업인 앤트로픽 연구원들은 이 방법을 통해 클로드 소넷(Sonnet) 모델 내부 신경망 레이어를 매핑하고 사람이나 내적 갈등과 같은 개념에 대해 서로 다른 특징을 식별했다고 악시오느는 전했다.

앤트로픽 연구진은 일부 특징들은 관계가 있는 용어들 근처에 위치한다는 사실을 발견했다. '내적 갈등'(inner conflict)과 같은 기능은 관계 단절, 캐치-22(catch-22, 진퇴양난) 등과 관련된 특징들과 가까운 곳에 있다는 얘기다. 이에 연구진이 특징들을 조정하자 모델 반응이 바뀌었고, 이를 통해 특징으로 모델 행동을 조정할 수 있는 가능성이 열렸다고 악시오스는 전했다.

오픈AI도 AI 블랙박스를 열기 위한 연구를 진행 중이다. 오픈AI는 6월 블로그를 통해 GPT-4  한 레이어를 살펴보고 사람이 상황을 추론할 때 염두에 둘 수 있는 작은 개념 집합과 유사한 1600만개 특징을 발견했다는 내용을 공개했다. 오픈AI 연구진은 수사학적 질문, 가격 인상 및 인간이 갖는 불완전성과 관련된 특징들을 발견하고 이들 특징을 평가하기 위한 새로운 지표를 개발했다.

오픈AI와 앤트로픽는 최근 연구에 대해 아직 초기 단계며  AI 안전에 어떻게 적용될 수 있는지에 대해서는 특히 그렇다는 입장이다. 오픈AI는 명확한 패턴이 없거나 뉴런이 비논리적으로 활성화가 있어 많은 특징들을 해석하는 데 어려움이 있다고 지적했다. 몇몇 대규모 LLM들만 다루고 있고 LLM 여러 레이어들 중 일부에 연구가 제한돼 있다는 얘기다.

이런 가운데 구글 딥마인드는 최근 3000만개 특징들을 커버하면서 자사 젬마(Gemma) 모델 모든 레이어를 살펴볼 수 있는 툴인 젬마 스코프(Gemma Scope)를 선보여 관심을 끌고 있다.

하지만 AI 블랙박스를 제대로 열기 까지는 갈길이 멀어 보인다. AI가 왜 그런 결과를 내놨는지 이해한 결과를 신뢰하기는 무리라는 지적도 적지 않다.

악시오스에 따르면 피터 리 마이크로소프트 리서치 사장은 "생성형AI를 통해 우리는 이제 처음으로 컴퓨터가 고도로 숙련된 지식 작업을 수행할 수 있다는 가능성에 대해 상상할 수 있게 되었다"면서 "이런 종류 작업은 완벽을 추구하는 것이 아니라 효과적이고 신뢰할 수 있는 것이 중요하다. 하지만  AI 모델을 평가하는 방법은 인간을 평가하는 방법만큼이나 미스터리한 일”이라고 말했다.

AI 진영 내에선 설명이 꼭 필요한 것인지에 대해 의문을 표시하는 전문가들도 있다. 일부 AI 전문가들은 AI에서 설명은 오히려 해가 될 수 있다고 지적한다. 예측 정확도를 떨어뜨리는 설계 희생을 초래할 수 있다는 것이다.

로이터통신에 따르면 스탠포드 인간 중심 인공지능연구소의 페이 페이 리(Fei-Fei Li) 공동 디렉터는 "사람들은 내부가 어떻게 작동하는지 깔끔하게 이해할 수 없는 타이레놀이나 구글맵스 같은 제품을 사용한다"면서  이들 제품의 경우 철저한 테스팅과 모니터링으로 효과에 대한 대부분의 의심을 없앴다"고 말한 바 있다.

• 美 전기차 리스 비중↑…벤츠·BMW 등 90% 리스로 샀다
• 스마트폰이 컨트롤러로…전기차에서 게임 즐긴다
• 우버, 네덜란드서 '4300억원' 벌금 부과…개인정보 보호 위반 혐의
• 포르쉐, 전기차 가짜 수동 변속기 비판…"왜 더 나쁘게 만드나"
• 스테이블코인 페이팔USD, 시총 10억달러 돌파