자동차-프롬프트만 입력하면 구조물 뚝딱…레고 설계 AI ‘레고GPT’ 공개

[디지털투데이 AI리포터] 미국 카네기멜론대학교 연구팀이 텍스트를 입력하면 레고 구조물을 설계해주는 AI 모델 '레고GPT'(LegoGPT)를 발표했다고 12일(현지시간) 온라인 매체 기가진이 전했다.

이번 연구의 기반이 된 '스테이블텍스트투레고'(StableText2Lego)는 각 구조물의 물리적 안정성을 나타내는 ‘안정성 점수’와 텍스트 설명이 포함된 대규모 레고 데이터셋이다.

연구팀은 라마-3.2-1B-인스트럭트 모델을 기반으로 레고GPT를 파인튜닝했다. 기존 3D 그래픽 파일 형식인 LDraw는 블록 크기가 명시되지 않거나 불필요한 정보가 포함돼 있어, 연구팀은 블록을 독자적인 형식으로 표현해 설계 효율성을 높였다. 이를 통해 토큰 수를 줄이면서도 3D 추론에 필요한 블록 크기 정보를 포함할 수 있었다는 설명이다.

그러나 물리적으로 안정된 데이터로 학습해도 AI는 여전히 불안정한 디자인을 생성할 수 있다. 이를 해결하기 위해 연구팀은 AI 추론 과정에서 물리적 안정성을 검증하는 시스템을 도입했으며, 생성된 구조물에 텍스처를 적용하고 색상을 지정할 수 있도록 했다.

스테이블텍스트투레고 데이터셋과 레고GPT의 코드 및 모델은 깃허브에서 확인할 수 있다.