[디지털투데이 황치규 기자]거대 언어 모델(LLM)에 댛한 기업들 관심이 커지면서 특정 업무에 최적회된 특화형 AI서비스에 대한 대한 관심도 높다. 특화형 AI 서비스에서 중요한 요소는 품질과 정확성이다. 오픈AI 챗GPT 같은 범용 서비스와 비교해, 뛰어난 결과를 제공하면서도 할루시네이션(Hallucination, 환각)으로 대표되는 오류를 최소화해야 특화형 서비스는 존재의 명분을 갖게 된다.

리걸테크 기업 로앤컴퍼니가 변호사들을 겨냥해 7월 공식 출시한 AI 기반 대화형 법률 서비스 슈퍼로이어는 이와 관련해 주목할 만한 사례들 중 하나다.  슈퍼로이어는 로앤컴퍼니가 시중에 나와 있는 여러 LLM들에 자체 보유한 법률 데이터를 적용해 구현한 특화 AI 서비스다.

로앤컴퍼니 안기순 소장은 한국마이크로소프트가 최근 개최한 AI 트랜스포메이션위크(AI Transformation Week) 컨퍼런스에서 슈퍼로이어 개발 배경과 현재까지 성과, 향후 계획을 공유했다. 특히 특화형 AI 서비스에서 핵심이라고 할 수 있는 할루시네이션을 줄이기 위해 취한 접근들이 관심을 끌었다. 안기순 소장은 AI챗봇 스타트업을 창업한 경험이 있고 2019년 로앤컴퍼니에 합류, 연구소장을 맡아왔다. 변호사지만 프로그래밍도 직접 하고, AI에도 관심이 많다고 한다.

슈퍼로이어는 로앤컴퍼니가 자체 설계한 아키텍처 기반으로 여러 상용 LLM들을 활용해 구현한 클라우드 기반 서비스형 소프트웨어(SaaS)라고 할 수 있다.

▲법률 리서치 ▲초안 작성 ▲문서 요약 ▲문서 기반 대화 ▲사건 기반 대화 등의 기능을 제공한다. 모든 작업은  채팅 방식으로 구동되며, “주거침입 사안에서 캠핑카나 차량은 주거침입죄 객체가 되지 않는다고 보아 무죄를 선고한 판례를 찾아줘”와 같은 구체적 사안에 대한 판례 검색부터 “첨부한 소장에 대한 답변서 초안을 써줘”, “첨부한 준비서면은 구체적으로 어떤 내용인지 그 핵심내용을 요약해줘” 등 법률업무와 관련된 다양한 명령을 수행할 수 있다.

로앤컴퍼니가 슈퍼로이어 개발에 나선 건 범용 LLM만으로 법률 분야를 커버하기는 근본적인 한계가 있다는 판단에서였다.

안기순 소장은 "법률 분야는 텍스트 관련 업무 비중이 크지만 범용 LLM이 제공하는 결과물은 오류가 많다. 그러다 보니 생성형AI 기반 리컬테크 서비스들이 많이 나오고 있다"면서 법률 시장은 특화 AI 서비스가 필요하다는 점을 분명히 했다. 그는 발표 중 상용 LLM이 법률 관련해 내놓은 답변이 그럴 듯해 보여도 사실과 다른 경우를 직접 보여주기도 했다.

그에 따르면 생성형AI는 이미 법률 시장에 직접적인 영향을 미치고 있다. 이것은 숫자로도 확인할 수 있다.

슈퍼로이어는 출시 이후 9월 10일 현재 가입자수가 3624명이다. IT친화적이라고 하기 어려운 변호사들만 가입할 자격이 있음을 감안하면 적은 수치는 아니다. 전체 변호사들 중 10% 수준이라고 한다.안 소장은 "변호사들도 AI에 큰 관심을 갖고 있다는  걸 보여주는 것"이라며 "슈퍼로이어 가입자들은 대부분이 기존 로앤컴퍼니 서비스를 쓰는 이들이 아니라 신규 회원들이다"고 전했다. 이어 "어소시에이츠 변호사들 일 중 많은 부분을 생성형 AI가 담당할 것이다. 리서치나 서면 초안 작성 등은 생성형AI가 상당히 대체할 것으로 보고 있다"고 덧붙였다.

기술 측면에서 슈퍼로이어는 ▲LLM ▲파인튜닝(Fine-tuning) ▲검색증강생성(RAG) ▲프롬프트엔지니어링(Prompt Engineering) ▲AI 에이전트(AI Agent) 등 다양한 기술들 기반으로 구현됐다.

로앤컴퍼니는 특히 할루네이션을 최소화하는데 중점을 뒀다. 우선 RAG를 적용해 챗봇이 데이터에 근거해 답을 하도록 했다. 하지만 RAG만으로는 할루시네이션을 막는 것은 한계가 있다. 추가 조치도 필요하다. 그 일환으로 로앤컴퍼니는 링크 및 인용 적절성 평가 시스템을 구현했다.

링크 시스템은 답변에 인용된 판례 등에 대한 링크를 제공한다. 안 소장은 "모든 링크를 다 걸어주는 건 아니고, 로앤컴퍼니가 제공한 데이터를 참고한 경우에만 링크를 붙이고 그렇지 않은 경우에는 하지 않는다. 링크를 걸리지 않은 판례나 법령은 정확하지 않을 수 있다는 경고를 주고 있다. 할루시네이션을 완전히 제거할 순 없지만 최소화하기 위한 장치로 보면 된다"고 설명했다.

인용 적절성 평가는 답변에 인용된 법령이 인용 취지에 부합하는지에 대한 평가를 제공한다. 안 소장은 "LLM이라 100% 정확하지 않을 수 있지만 현재까지 슈퍼로이어가 제공하는 답변은 상당한 신뢰가 있는 것으로 확인되고 있다"고 전했다.

특화형 AI 서비스에선 맨파워도 중요하다. 이와 관련해 안 소장은 법률 지식과 개발 역량을 겸비한 인재들의 필요성을 강조한다. 그는 "도메인 지식과 개발 역량을 같이 갖추면 개발 속도를 끌어올리는 것은 물론 이용자 니스를 파악하면서 서비스를 만들 수 있다"고 말했다.

로앤컴퍼니에 따르면 특화 AI 서비스 이용자들은 속도 보단 품질을 중시하는 것으로 나타나고 있다.  안 소장은 "슈퍼로이어의 경우 정확한 버전과 빠른 버전 2가지로 서비스되고 있는데, 대부분이 다소 늦더라도 정확한 버전을 사용하고 있다"고 전했다.

로앤컴퍼니는 마이크로소프트 애저 클라우드 플랫폼 기반으로 슈퍼로이어를 구현했다. 답변을 내놓기까지 LLM을 여러번 거치도록 했다. 안 소장은 "애저를 처음으로 써봤는데, 확장성이 좋고 안정적인 배포 및 운영을 가능케 해주는 것이 강점"이라며 "슈퍼로이어는 애저 다양한 기술요소를 결합해 확장성(Scalability) 있고 안정적이며, 각 기능별 업그레이드가 용이한 시스템을 구축했다. 이를 통해 다양한 서비스 고도화 시도를 빠르고 안정적으로 실행할 수 있었다”고 전했다.

• AI 부동산 플랫폼 리치고, 나만의 맞춤 부동산 피드 출시
• KT스카이라이프, AI 스포츠 중계에 베팅한 까닭은?
• 니트로스튜디오, 넥슨코리아로부터 자금 차입 연장
• 에이스테크놀로지, 360억원 규모 유증…엔브이메자닌플러스 최대주주 등극
• 영국 최대 전력 공급원은 풍력…전체 32%