생성형 AI 시대, 스토리지를 바라보는 새로운 기준들 [테크리포트]
||2026.01.19
전 세계으로 저장된 데이터 양은 빠르게 증가하고 있다. IDC는 2024년 기준 전 세계 데이터 생성량이 213.5ZB(제타바이트)에 달하며 2029년에는 두 배를 넘어선 527.4ZB까지 늘어날 것으로 전망한다. 이에 따라 데이터를 담는 스토리지 설치 용량도 2025년의 11.2ZB에서 2029년 19.3ZB로 늘어나고, 실제 저장되는 총 데이터양은 2029년까지 약 14ZB에 이를 것으로 예상한다
이러한 ‘데이터 폭증’은 디지털과 멀티미디어, 모바일·동영상 확산 과정에서도 언급돼 왔지만 ‘생성형 AI’의 등장은 이러한 데이터 폭증 속도를 더욱 가속화하는 요인으로 작용하고 있다. 생성형 AI는 대규모 데이터를 필요로 하면서 동시에 많은 데이터를 만들어낸다. 이렇게 생성된 데이터는 조직의 업무에 활용되고, AI를 더욱 고도화하는데 사용된다.
생성형 AI 도입을 추진하는 기업 역시 서버 인프라 구축 이후 스토리지와 데이터 플랫폼을 중요한 과제로 고민하고 있다. 단순한 저장 공간을 넘어 AI 워크로드에 적합한 데이터 처리와 관리 전략이 필요해졌기 때문이다.
기업이 생성형 AI 인프라를 설계할 때는 AI 모델과 AI가 생산하는 콘텐츠의 특성을 고려한 스토리지 구성이 중요하다. 씨게이트가 IDC에 의뢰해 진행된 ‘생성형 AI 시대의 콘텐츠 생성’ 백서에 따르면 전 세계 1000명의 비즈니스 및 IT 의사결정권자들은 생성형 AI 도입 과정에서 인프라와 스토리지 전략 수립에 어려움을 겪고 있는 것으로 나타났다. 해당 백서에서는 데이터 유형별로 적합한 스토리지 평가 기준을 마련하고 이를 기반으로 데이터 관리 정책을 체계적으로 수립해야 한다는 점을 강조한다.
데이터 폭증 시대 가속화하는, 데이터 만드는 ‘생성형 AI’
최근 수십 년간 데이터 폭증에는 몇 가지 중요한 계기가 있었다. 대표적인 것이 인터넷과 디지털 콘텐츠 제작, 디지털 카메라와 스마트폰의 보급에 따른 사진 콘텐츠의 증가, 영상 시대의 본격화가 대표적이다. 다양한 유형의 콘텐츠를 생성할 수 있는 ‘생성형 AI’는 이러한 다양한 유형의 콘텐츠들을 더 쉽고 간편하게 만들어낼 수 있고, 이는 자연스레 데이터 규모의 폭증으로 이어질 것으로 예상할 수 있다.
이미 생성형 AI로 인한 데이터 폭증은 현실로 나타나고 있다. 기업들이 생성형 AI를 가장 많이 활용하는 부분은 약 72%가 선택한 마케팅과 세일즈 콘텐츠지만, 58% 정도는 이미 생성형 AI를 이미지나 동영상 등의 ‘미디어 생성’에 사용하고 있는 것으로 조사됐다.
이미지나 동영상 콘텐츠 생성은 예전에는 ‘전문가’들이 다루는 영역이었지만, 콘텐츠 제작의 많은 부분에 AI가 활용되면서 콘텐츠 제작자들은 더 많은 시도를 할 수 있게 됐고, 기존에는 ‘창작자’가 아니던 사람들까지도 콘텐츠 생성에 나서게 됐다. 이전에는 세일즈, 마케팅 자료를 만들기 위해서는 이미지나 영상 전문가들과 함께 해야 했지만, 지금은 담당자들이 직접 생성형 AI를 활용해 초안 제작에 나서는 경우도 늘고 있다.
또 다른 변수는 ‘자동화’다. 특정 조건에서 AI가 자동으로 만드는 콘텐츠는 우리가 크게 체감하지 못하는 사이에 많은 데이터를 만든다. 사진이나 영상 중 중요 장면을 뽑아 새로운 콘텐츠를 만드는 것이 대표적이다. IDC는 이미 생성형 AI의 콘텐츠 생성 작업 중 61%가 이러한 유형인 것으로 추산한다. 특히 일반 사용자용 서비스들에 이러한 기능들이 더 많이 활용되는 것은 대규모 클라우드 사업자들의 인프라 업그레이드 동인으로도 작용할 것으로 보인다.
생성형 AI는 고품질 이미지나 동영상 등 이전에는 만드는 데 시간과 비용이 많이 들던 크고 복잡한 콘텐츠를 더 빠르고 저렴하게 만들 수 있게 했다. 생성형 AI를 도입한 기업들의 66%가 “데이터 용량이 늘었다”고 응답한 것은 당연한 결과다. 특히 생성형 AI 모델의 성능이 높아지면서 모델이 만들어내는 콘텐츠의 해상도 등 품질과 구성 요소의 복잡성 등도 높아지고 있다. 이는 개별 콘텐츠의 용량이 늘어나는 결과를 가져온다. 이러한 변화는 전통적인 ‘콘텐츠 제작’에만 국한되는 것이 아니라 영상 보안이나 헬스케어, 제조 등 영상 콘텐츠를 사용하던 다양한 산업군에서 나타난다.
스토리지 측면에서 또 다른 변수는 하나의 작업을 마치는 과정에서의 ‘수정본’ 숫자다. 최종본이 나오기까지 몇 번의 재시도와 수정을 거치면서, 이를 모두 남겨둔다 생각하면 데이터 용량의 증가세는 더욱 커진다. 사실 이러한 문제는 전통적인 엔터프라이즈 스토리지에서도 ‘버전 관리’와 ‘중복 제거’, ‘증분 백업’ 등으로 접근하던 문제인데, 디지털 콘텐츠를 다루는 상황이라면 인라인 중복제거나 증분 백업 등은 기술적으로 사용하기 어려울 상황이다.
미디어 콘텐츠를 다루는 생성형 AI 환경의 스토리지를 제대로 관리하기 위한 시작은 ‘정책’이다. 실제로 많은 기업들은 생성형 AI를 활용해 만들어진 다양한 콘텐츠들을 상당 부분 남겨 둔다. IDC의 조사에 따르면 기업의 25%는 이렇게 만들어진 모든 데이터를 그대로 남기고, 36%는 만들어진 데이터 중 남길 데이터를 선별한다. 반면 과정 없이 최종 결과만 남긴다는 결과는 25%고, 버전 관리를 하지 않는다는 경우는 14%에 그쳤다.
이러한 관리 정책은 향후 스토리지 관리뿐만 아니라 AI 모델의 학습에 들어갈 데이터의 양과 질을 확보하는 데도 중요한 역할을 한다. 특히 AI 모델 훈련에서는 투입되는 데이터의 양과 질이 모두 핵심적인 요소이기 때문에 사람이 직접 검토하고 평가한 최종 데이터와 선별된 과정 데이터가 매우 소중한 자산이 될 수 있다. 다만 현재로서는 ‘어떻게 활용할 지 아직 정해지지 않은’ 추가 데이터를 더 많이 저장하는 것이 궁극적으로 얼마나 가치 있는 일인지는 명확히 검증되지 않았고 스토리지 정책 결정은 미래 전략 차원의 결정이 됐다.
생성형 AI 시대의 스토리지, 가치에 대한 재평가 필요해
생성형 AI 시대를 맞아 더 많은 사람들이 더 쉽고 빠르게 고품질 콘텐츠를 생성할 수 있게 되면서 데이터 용량의 폭증이 점차 현실화되기 시작했다. 이에 따라 많은 기업들이 기존에 구축된 스토리지를 업그레이드하기 시작했다. IDC의 조사에 따르면 기업의 65%가 생성형 AI로 인한 스토리지 업그레이드의 필요성을 느끼고 있으며, 25% 정도는 빠른 시일 내에 업그레이드에 나설 계획인 것으로 나타났다.
생셩형 AI로 인한 콘텐츠 생성을 지원하기 위한 스토리지 구조는 지금까지의 일반적인 엔터프라이즈 워크로드와는 다른 특성을 가지는 만큼, 다른 방향으로의 접근이 필요하다. 현재 기업들 중 스토리지 인프라가 생성형 AI를 잘 지원할 수 있다고 생각하는 기업은 34% 정도에 그치고, 38% 정도는 부분적으로 대응할 수 있다고 인식하고 있다. 생성형 AI 시대에 완전히 대응하고 있지 못하다고 생각하는 65%의 기업에는 지금이 스토리지의 단순 확장을 넘어 새로운 환경의 대응을 위한 ‘전환’의 시기로도 다가오는 셈이다.
생성형 AI 시대에 스토리지에 대한 과제에 직면한 기업들이 생각하는 투자 방안 중 가장 많은 선택을 받은 것은 ‘온프레미스 스토리지 확장’이고 이어 ‘클라우드 스토리지 도입과 확장’이 꼽혔다. 이 외에 데이터 압축과 중복제거, 데이터 계층화와 아카이빙 등도 주요 과제로 등장했다. 생성형 AI 시대에 데이터 관리 효율성을 높이기 위한 정책 측면도 고려할 부분으로 꼽히는데, 59% 정도의 기업은 여전히 이 부분의 방향성을 확정하지 못한 상태다. 특히 데이터를 ‘얼마나 남겨둘지’에 대한 결정은 향후 수요 증가 추이를 결정할 부분이다.
결국 생성형 AI 시대에 따라 빠르게 늘어나는 데이터를 소화하기 위해 스토리지 측면에서는 성능과 용량, 비용의 균형을 맞출 수 있는 물리적인 확장과 전략적 결정이 모두 필요한 상황이다. 보편적인 접근으로는 워크로드 요구사항에 따른 ‘계층형(Tiered)’ 스토리지 구성과 스토리지의 고용량, 고밀도, 고효율화가 필요할 것이다. 정책적 측면에서는 생성된 데이터를 얼마나 많이, 얼마나 오래 저장할지에 대한 확실한 결정이 필요하다. 무작정 모든 데이터를 저장하는 것은 비용도 부담이지만 보안 등에 대한 부담도 크게 만든다.
생성형 AI 시대의 데이터 폭증에 대응하는 가장 현실적인 방법은 ‘계층형 스토리지’ 구현이다. 이 ‘계층형’에는 각 애플리케이션별 성능 요구사항에 따라 대략 3~4개 정도의 계층이 만들어질 수 있다. 이 때, 가장 높은 성능이 요구되는 ‘티어1’급 계층에서는 당연히 초고성능의 ‘올플래시(All-flash)’ 스토리지가 사용되겠지만 하위 계층에서는 그 선택이 달라질 수 있다. IDC는 고용량 하드 디스크가 생성형 AI 시대에 여전히 효율과 장기간 데이터 유지에 장점이 있어 대용량 스토리지 구성이 많이 사용될 것이며 SSD와 하드 디스크는 서로를 대체하기보다는 서로를 보완하는 존재가 될 것이라고 전망했다.
특히 IDC는 ‘티어3’급 계층부터는 최근 몇 년간 이야기되던 ‘QLC(Quad-Level Cell) 기반 올플래시 스토리지’보다 고밀도 하드 디스크를 사용하는 쪽이 더 유리할 수 있다는 의견을 제시한다. 이는 생성형 AI가 스토리지에 있어서는 ‘쓰기 위주’의 워크로드이기 때문인데 쓰기 워크로드의 관점에서는 QLC 기반 올플래시 스토리지 대비 하드 디스크가 수명과 성능 측면에서 장점이 있다. 저장 위주의 스토리지에서는 ‘지연 시간’ 위주 평가보다는 쓰기 처리량이나 내구성, 장시간 데이터 유지력, 비용 효율 측면을 고려해야 할 것이라 지적했다.
이미 기업용 IT 환경에서 전통적인 고성능 하드 디스크 기반 스토리지는 올플래시 스토리지에 완벽히 대체됐다. 하지만 고용량 하드 디스크를 기반으로 데이터의 장기 저장을 목적으로 하는 아카이브 스토리지는 QLC 기반 올플래시 스토리지의 경제성이 크게 올라왔음에도 여전히 자리를 지키고 있다. 하드 디스크 기반 스토리지와 QLC 기반 올플래시 스토리지의 평가는 워크로드 특성과 평가 기준에 따라 크게 달라진다. 읽기 위주에서 공간 밀도 등을 고려하면 올플래시가, 쓰기 위주에서 검증된 안정성 등을 고려하면 하드 디스크가 우위다.
올플래시 스토리지와 하드 디스크 기반 스토리지의 경제성 평가는 스토리지 이외의 부분인 데이터센터의 면적당 비용까지도 고려해야 한다. 올플래시 스토리지는 때로는 부피당 용량 밀도까지도 하드 디스크보다 높지만 유닛당, 단위 용량당 전력 사용량이 더 높은 상황도 나온다. 유닛당 무작위 입출력 성능은 올플래시가 뛰어나지만 하드 디스크도 대용량 병렬 스토리지 구성에서 순차 입출력 성능은 요구사항을 충분히 만족시킬 수 있다. 무엇보다 단위 용량당 초기 가격은 하드 디스크가 여전히 우위에 있다.
하드 디스크 또한 지속적으로 저장 밀도를 높이고 있다. 대표적으로 씨게이트는 올해 HAMR(열보조자기기록) 기술을 도입한 ‘모자이크 3+(Mozaic 3+)’ 플랫폼을 사용한 하드 디스크를 출하하기 시작했다. 현재는 3.5인치 표준 드라이브 폼팩터에서 최대 36TB(테라바이트)의 용량을 제공하며, 씨게이트는 향후 이 플랫폼 기반으로 플래터 당 10TB, 드라이브 당 100TB 용량까지 달성한다는 계획이다. 또한 씨게이트는 ‘엑소스(Exos) 4U100’ 스토리지 유닛을 통해 단일 4U 인클로저에서 100개 드라이브로 3.2PB(페타바이트)의 고밀도 구성을 달성했다.
기업 내부의 민감한 데이터를 저장하고 활용하기 위해서는 스토리지 또한 기업 내부에 ‘온프레미스’ 형태로 설치하는 것이 우선이지만 이것만으로는 충분하지 않을 수 있다. IDC는 백서를 통해 온프레미스 형태의 스토리지 확장과 함께 클라우드 스토리지와의 하이브리드 구성도 고려할 것을 제안한다. 이를 통해 온프레미스에서 대응하기 어려운 급작스러운 수요 증가나 장애 상황 등에 대응할 수 있다. 물론 이러한 하이브리드 구성을 제대로 사용하기 위해서는 데이터 유형과 위치에 대한 규제와 정책을 다시 한번 꼼꼼히 검토해야 할 것이다.
생성형 AI 시대에는 데이터 보존 전략 또한 이전과는 달라져야 한다. 특히 생성형 AI를 활용해 만들어낸 최종 결과물은 물론 중간 결과물도 사람이 직접 검수를 했다면 향후 고품질 학습 자료 등으로 재활용할 수 있다. 무작정 모든 데이터를 저장하기보다는 데이터의 가치에 따른 선별적 저장이 현실적이고, 이 ‘기준’을 잡는 것이 중요해졌다. 이에 어떤 데이터를 얼마나 남기고 활용할지에 대한 정책을 확인하고 재정립하는 것은 데이터와 스토리지의 가치를 높이고 향후 AI 시대의 경쟁력을 높이는 기반이 될 것이다.
새로운 생성형 AI 시대로의 변화를 완성하는 것은 ‘사람’이다. 이에 조직 구성원들에도 단순히 생성형 AI를 사용해 콘텐츠를 만들고 관리할 방법만 알려줄 것이 아니라 스토리지 효율화를 위한 전략과 정책이 접근성과 성능, 비용에 어떤 영향을 주는지에 대해서도 알릴 필요가 있다. 기업들도 생성형 AI 시대에 어떤 변화가 일어나고 어떤 것들이 필요한지를 확인하고, 이에 적합한 인프라 자원들을 가장 적절한 위치에 설치할 필요가 있다. 이러한 대비들이 향후 데이터로부터 더 많은 가치를 찾게 하고 조직의 경쟁력을 높여 줄 것이다.
권용만 기자
yongman.kwon@chosunbiz.com
