📚 목차

1. AI 시대, 데이터 패러다임 변화

2. 기존 데이터 인프라의 한계

3. 스노우플레이크가 제시하는 새로운 데이터 접근법

4. Cortex AI : LLM 기반 데이터 분석 혁신

1. AI 시대, 데이터 패러다임의 변화

“데이터 전략 없이는 AI 전략도 없다.”

스노우플레이크 슈리다 라마스워미 최고경영자가 한국 언론과의 첫 인터뷰에서 한 말입니다.

우리는 무섭게 발전하는 AI 시대에 살고 있습니다. 그리고 데이터를 다루는 방식은 지난 몇 년 사이 완전히 바뀌었습니다. 불과 10년 전만 해도 기업들은 매월 또는 매주 정해진 시간에 배치 처리를 통해 데이터를 분석하고, 이미 발생한 사건들에 대한 보고서를 생성하는 것이 일반적이었습니다. 당시의 데이터 활용은 주로 정형화된 관계형 데이터베이스에 저장된 구조화된 정보에 국한되었고, 각 부서는 독립적인 데이터 사일로를 가지고 있어 IT 부서의 도움 없이는 데이터에 접근하기 어려웠습니다.

하지만 AI 시대에 접어들면서 데이터의 역할이 근본적으로 달라졌습니다. 지금의 데이터는 미래를 예측하고 실시간 의사결정을 돕는 전략 자산이 되었습니다. 텍스트, 이미지, 음성 등 비정형 데이터까지 분석 대상이 확장됐고, 스트리밍 파이프라인을 통해 들어오는 이벤트 데이터는 초 단위로 처리 및 활용되고 있습니다. Fortune 100 기업 대다수가 도입한 카프카(Kafka) 기반 스트리밍은 이상 거래를 즉시 차단하거나 방금 접속한 고객에게 맞춤형 상품을 제시하는 데 활용되고 있습니다.

(*카프카(Kafka)는 실시간 스트리밍 데이터를 게시·구독하고 저장·처리할 수 있도록 설계된 분산형 스트리밍 플랫폼입니다.)

< ETL과 ELT 방식의 차이>

예전에는 데이터를 꺼내서(Extract, 추출) 가공(Transform, 전환)한 뒤 저장소에 넣는(Load, 적재) ETL이 기본적이었지만 이제는 ELT가 대세가 되었습니다. 클라우드에 원본 데이터를 먼저 적재해 두고 필요할 때마다 변환, 학습을 반복하기 때문에, 스키마 설계나 하드웨어 증설에 발목 잡히지 않고 실험 속도를 대폭 높일 수 있습니다. 이 덕분에 머신러닝·생성 AI 모델을 빠르게 학습시키고 서비스에 적용하는 일이 가능해졌습니다. 

무엇보다 데이터 접근이 과거처럼 IT 전문가의 전유물이 아니라, 도메인 실무자도 셀프서비스 도구로 직접 데이터를 탐색하고 시각화할 수 있게 됐습니다. 이는 조직의 모든 인력이 데이터 기반으로 사고하는 문화를 만들고, 더 빠르고 정확한 의사결정을 가능하게 합니다. 2024년 맥킨지 조사에서 기업의 72%가 AI를 도입하여 사용한다고 답한 것처럼, 지금 시대는 데이터를 충분히 모으고, 빠르게 가공하며, 언제든 꺼내 쓸 수 있는 데이터 인프라가 뒷받침되기 때문에 이런 변화가 나타나게 되었습니다. 

이제 데이터는 비즈니스에 필수적인 예측, 자동화, 혁신의 원천이 되었습니다. 그리고 이런 변화를 가능하게 하는 핵심 기반이 바로 클라우드 데이터 플랫폼입니다.

2. 기존 데이터 인프라의 한계

전통적인 데이터 인프라는 AI 시대의 요구사항을 충족하기에 근본적인 한계를 가지고 있으며, 이러한 한계들은 단순한 기술적 문제를 넘어 조직의 경쟁력과 직결되는 중요한 이슈로 부각되고 있습니다.

기존 온프레미스 기반 시스템은 데이터 볼륨이 기하급수적으로 증가할 때마다 하드웨어 증설과 복잡한 시스템 재구성을 필요로 하는데, 이는 단순히 비용 문제를 넘어 비즈니스 민첩성을 저해하는 요소가 됩니다. 새로운 비즈니스 요구사항이 발생했을 때 즉시 대응할 수 없는 경직된 구조는 급변하는 시장 환경에서 치명적인 약점이 되며, 각 부서와 팀이 독립적으로 운영하는 데이터 저장소들은 통합 분석을 어렵게 만들고 데이터 중복과 불일치를 만들어냅니다.

특히 AI 모델 학습을 위해서는 다양한 소스의 데이터를 통합해야 하는데, 마케팅 부서의 고객 데이터, 영업 부서의 거래 데이터, 서비스 부서의 이용 데이터가 각각 다른 시스템에 저장되어 있다면 전체적인 고객 인사이트를 얻기 어려운 상황이 발생합니다. 더욱이 배치 처리에 최적화된 전통적 시스템은 실시간 스트리밍 데이터를 효율적으로 처리하지 못하며, 이는 실시간 의사결정이 필요한 AI 애플리케이션에서 치명적인 약점이 됩니다.

여러 개의 분산된 시스템을 각각 관리하고 모니터링해야 하는 부담은 IT 팀의 생산성을 크게 저하시키며, 데이터 거버넌스와 보안 관리를 어렵게 만듭니다. 아울러 메타데이터 부재로 인한 데이터 품질 저하는 AI 모델의 성능에 직접적인 영향을 미치는데, 데이터의 출처, 생성 시점, 변경 이력 등을 추적하기 어려운 상황에서는 데이터 신뢰성을 보장하기 어려우며 이는 AI 모델의 정확도와 안정성을 크게 저해합니다.

표준화되지 않은 다량의 데이터 간의 부합 문제는 데이터 통합과 분석을 더욱 복잡하게 만들고, 각 시스템마다 다른 데이터 형식, 스키마, 인코딩 방식을 사용하고 있어 데이터를 통합하려면 복잡한 변환 작업이 필요합니다. 이와 함께 전통적인 데이터 인프라는 정형 데이터 처리에 최적화되어 있어, 비정형 데이터나 반정형 데이터를 효과적으로 처리하기 어렵고, 현대 비즈니스에서 점점 중요해지는 텍스트, 이미지, 음성, 영상 데이터 등을 활용한 AI 분석을 어렵게 만듭니다.

이러한 다양한 한계들은 개별적으로 존재하는 것이 아니라 서로 연결되어 복합적인 문제를 일으키며 데이터 처리 시간을 증가시키고 오류 발생 가능성을 높여 궁극적으로는 비즈니스 의사결정의 속도와 정확성을 저하합니다. 따라서 AI 시대에 맞는 새로운 데이터 인프라 패러다임이 필요해졌습니다.

3. 스노우플레이크가 제시하는 새로운 데이터 접근법

스노우플레이크의 창립자들은 오라클에서 오랜 기간 전통적인 데이터베이스 기술을 개발하면서, 기존 온프레미스 데이터 인프라의 한계를 누구보다 깊이 이해하고 있었습니다. 그들은 클라우드 시대에 맞는 완전히 새로운 접근법이 필요하다고 판단하고 스노우플레이크를 창립했습니다. 이렇게 탄생한 스노우플레이크는 전통적 데이터 인프라의 한계를 극복하기 위해 혁신적인 클라우드 데이터 플랫폼을 제시합니다.

먼저 통합 데이터 클라우드라는 개념을 통해 과거의 복잡한 데이터 아키텍처를 단순화했습니다. 스노우플레이크는 데이터 웨어하우스, 데이터 레이크, 데이터 마트의 기능을 하나의 플랫폼에서 제공하여 조직이 구조화된 데이터와 반정형, 비정형 데이터를 모두 동일한 플랫폼에서 관리할 수 있게 합니다. 이를 통해 데이터 사일로 문제를 근본적으로 해결하고 복잡한 데이터 통합 작업시간을 축소했습니다.

<Snowflake 아키텍처>

스노우플레이크는 독립적인 컴퓨팅과 스토리지 분리 아키텍처를 제공합니다. 기존 시스템에서는 데이터 저장과 처리가 결합되어 있어 확장성에 한계가 있었지만, 스노우플레이크는 이 둘을 완전히 분리했습니다. 이 구조를 통해 조직은 워크로드 특성에 따라 컴퓨팅 리소스를 독립적으로 확장하거나 축소할 수 있으며, 스토리지 비용을 최적화할 수 있습니다. 특히 AI 모델 학습과 같이 집중적인 컴퓨팅이 필요한 작업과 일상적인 데이터 조회를 분리하여 처리할 수 있어 비용 효율성이 크게 향상됩니다.

Zero-Copy 클로닝과 타임 트래블 기능은 데이터 실험과 개발을 개선해 줍니다. 개발자와 데이터 사이언티스트는 프로덕션 데이터의 완전한 복사본을 즉시 생성할 수 있으며, 이를 통해 안전한 환경에서 AI 모델을 실험하고 개발할 수 있습니다. 또한 실수로 데이터를 손상한 경우에도 특정 시점으로 즉시 복구할 수 있어 데이터 안정성이 크게 향상됩니다.

<스노우플레이크 마켓플레이스>

<스노우플레이크 데이터 공유>

또한 스노우플레이크는 데이터 공유와 마켓플레이스를 통해 조직 내부뿐만 아니라 외부 파트너와의 데이터 협업을 가능하게 합니다. 이는 AI 모델 학습에 필요한 다양한 외부 데이터셋을 쉽게 접근할 수 있게 해주며, 데이터 기반 비즈니스 모델 혁신을 지원합니다.

잠깐! '스노우플레이크 마켓플레이스'가 뭔가요? 👇
마트 가는 것처럼 DB 구매도 쉽게, 스노우플레이크 마켓플레이스! 글에서 확인해보세요

AI/ML 워크플로우 가속화 측면에서 스노우플레이크는 특히 강력한 이점을 제공합니다. 피처 스토어 기능을 통해 ML 모델 개발 시간을 대폭 단축할 수 있으며, 대용량 데이터셋을 즉시 분석할 수 있는 환경을 제공합니다. 모델 훈련과 추론을 위한 최적화된 환경이 구축되어 있어, 데이터 사이언티스트들이 인프라 구축에 시간을 소비하지 않고 핵심 업무에 집중할 수 있습니다.

멀티 클라우드 유연성은 현대 기업들이 직면한 클라우드 전략의 핵심 요구사항입니다. 스노우플레이크는 AWS, Azure, GCP 간 자유로운 데이터 이동을 지원하여 클라우드 벤더 종속성을 방지하고, 지역별 최적 클라우드를 선택할 수 있는 유연성을 제공합니다. 이는 글로벌 기업들이 각 지역의 규제 요구사항을 충족하면서도 최적의 성능과 비용을 달성할 수 있게 해줍니다.

실시간 데이터 인사이트 제공 능력은 AI 시대의 핵심 경쟁력입니다. 스노우플레이크는 스트리밍 데이터를 실시간으로 처리하고, 대시보드와 BI 도구에 즉시 연동할 수 있는 환경을 제공합니다. 이벤트 기반 자동화 워크플로우를 통해 데이터 변화에 즉각 반응하는 시스템을 구축할 수 있어, 실시간 의사결정을 지원하는 진정한 데이터 기반 조직으로의 전환을 가능하게 합니다.

❄️ 스노우플레이크가 더 궁금하시다면 여기서 확인해보세요 → 스노우플레이크(Snowflake)란?

4. Cortex AI: LLM 기반 데이터 분석 혁신

스노우플레이크 Cortex는 스노우플레이크 사용자에게 머신 러닝 및 AI 솔루션을 제공하는 지능형 완전 관리형 서비스입니다. 스노우플레이크 Cortex의 기능은 다음과 같습니다.
스노우플레이크는 인공지능과 머신러닝을 기반으로 하는 강력하고 지능적인 두 가지 기능을 제공합니다. 이러한 기능을 통해 이전보다 훨씬 짧은 시간에 데이터로 더 많은 작업을 수행할 수 있습니다.
스노우플레이크 Cortex는 LLM(Large Language Model, 대규모 언어 모델)을 사용하여 비정형 데이터를 이해하고, 자유 형식 질문에 답하고, 지능형 지원을 제공하는 AI 기능 모음입니다. 스노우플레이크 AI 기능 중 몇 가지를 소개해드리겠습니다. 

▪️ Snowflake Cortex AI SQL

실무에서는 엔터티(현실 세계의 사람, 장소, 물건, 정보, 개념 등을 나타내는 용어) 추출을 통해 메타데이터를 풍부하게 만들고 검증 과정을 간소화할 수 있습니다. 고객 서비스 팀은 고객 티켓에서 핵심 통찰력을 자동으로 집계하여 더 나은 서비스를 제공할 수 있으며, 콘텐츠 관리자는 자연어로 콘텐츠를 필터링하고 분류하는 작업을 자동화할 수 있습니다. 또한 서비스 개선을 위한 감성 및 측면 기반 분석, 글로벌 확장을 위한 다국어 콘텐츠 번역 및 현지화, 그리고 분석용 문서 구문 분석을 위한 RAG(Retrieval-Augmented Generation) 파이프라인 구축까지 광범위한 활용이 가능합니다.
또한 스노우플레이크에 완전히 호스팅되어 성능과 확장성, 거버넌스를 보장하면서도 데이터를 안전하게 보호합니다. 외부 서비스로 데이터를 전송할 필요가 없어 보안 걱정 없이 AI 기능을 활용할 수 있습니다.

▪️ Document AI

Document AI는 스노우플레이크의 독자적인 대규모 언어 모델인 Arctic-TILT를 사용하여 문서에서 데이터를 추출하는 기능입니다. 다양한 형식의 문서를 처리하며, 텍스트가 많은 단락부터 로고, 수기 텍스트(서명), 표, 체크 표시와 같은 그래픽 형태의 콘텐츠까지 모든 정보를 데이터로 변환합니다.
송장이나 재무제표와 같은 특정 유형의 새 문서를 지속적으로 처리하기 위한 파이프라인을 구축할 수 있으며, 단일 값 또는 값 목록 형태의 엔터티나 지정된 열 목록을 기반으로 하는 표에서 정보를 추출할 수 있습니다. 특히 주목할 만한 것은 제로샷 추출 기능으로, 기초 모델이 이전에 본 적 없는 문서 유형이라도 정보를 찾아 추출할 수 있습니다. 이는 방대한 양의 다양한 문서로 학습된 모델이 처리되는 문서 유형을 광범위하게 이해하기 때문입니다. 더 정확한 결과를 원한다면 스노우플레이크 Arctic-TILT 모델을 미세 조정하여 특정 사용 사례에 맞는 문서로 모델을 학습시킬 수 있습니다. 미세 조정된 모델과 사용된 학습 데이터는 오직 해당 사용자만 사용할 수 있으며 다른 스노우플레이크 고객과 공유되지 않아 보안도 완벽합니다.

▪️ Cortex Analyst

Cortex Analyst는 스노우플레이크의 정형 데이터를 기반으로 비즈니스 질문에 안정적으로 답변할 수 있는 애플리케이션을 개발하는 데 도움이 되는 완전 관리형 LLM 기반 기능입니다. 비즈니스 사용자가 자연어로 질문하고 SQL을 작성하지 않고도 직접 답변을 받을 수 있어, "이번 달 매출이 작년 같은 기간 대비 어떻게 변했나요?"라고 물으면 정확한 분석 결과를 즉시 제공합니다. 편리한 REST API로 제공되어 모든 애플리케이션에 완벽하게 통합될 수 있으며, 기존 비즈니스 시스템에 자연스럽게 분석 기능을 추가할 수 있습니다. 프로덕션급 대화형 셀프서비스 분석 솔루션을 구축하려면 정확한 텍스트-SQL 응답을 생성하는 서비스가 필요한데, 대부분의 팀에게 정확도, 지연 시간, 비용의 균형을 성공적으로 맞추는 것은 어려운 일입니다.
Cortex Analyst는 이러한 모든 복잡성을 처리하고 매우 정확한 텍스트-SQL 응답을 생성하는 완전 관리형의 정교한 에이전트 AI 시스템을 제공하여 이 프로세스를 간소화합니다. 복잡한 RAG 솔루션 패턴이나 모델 실험, GPU 용량 계획 같은 시간 낭비를 피하면서 비즈니스 팀에 고정밀 셀프서비스 대화형 분석을 빠르게 제공할 수 있습니다. 생성된 SQL 쿼리는 확장 가능한 스노우플레이크 엔진에서 실행되어 업계 최고의 가격 대비 성능과 낮은 총소유비용을 보장합니다.

AI 시대의 데이터 패러다임 변화는 단순한 기술적 진화를 넘어 비즈니스 전략의 근본적 변화를 요구합니다. 스노우플레이크와 같은 차세대 데이터 플랫폼의 도입은 선택이 아닌 필수가 되었으며, SPH와 같은 전문 파트너를 통해 이러한 변화를 성공적으로 이끌어갈 수 있습니다. SPH는 스노우플레이크 셀렉트 파트너로 클라우드 기반 데이터 플랫폼 스노우플레이크를 비즈니스에 활용하고 싶은 분들에게 비즈니스 온보딩을 서포트하고 다양한 활용방식을 제안하고 있습니다. 

데이터가 새로운 경쟁력의 원천이 되는 AI 시대에서, 올바른 데이터 플랫폼 선택은 조직의 미래를 결정하는 핵심 요소가 될 것입니다. 스노우플레이크 전문가 SPH를 통해 여러분의 비즈니스에 스노우플레이크를 도입하고 최적화해보세요.

아래 링크를 통해 SPH를 통해 문의 또는 무료로 스노우플레이크 Trial 다운로드를 제공받으실 수 있습니다.❄️

• 스노우플레이크 무료 Trial

• 스노우플레이크 공식 파트너사 SPH에 문의하기