AWS 기반 데이터 시스템 기업 별 사례 (수집, 통합, 표준화, 분석)

(2025년 4월 10일에 시점으로 검색해서 찾은 내용 기반입니다.)

Sisense

Sisense는 글로벌 BI 소프트웨어 제공업체로, 제품 사용 로그를 관리하고 분석하기 위해 AWS 데이터 레이크를 구축했습니다.

• 데이터 소스: 제품 사용 로그, 누적 700억 개 이상의 기록.
• 데이터 볼륨: 매일 150GB의 새로운 데이터, 총 20TB.
• 사용 도구: Upsolver, Amazon S3, Amazon Athena, Amazon Kinesis.
• 아키텍처:
  • Amazon Kinesis를 통해 실시간으로 제품 로그 데이터를 스트리밍합니다.
  • Upsolver는 데이터 정제 및 변환을 수행하여 S3에 CSV 및 Parquet 형식으로 저장합니다.
  • Amazon Athena를 사용하여 S3에서 직접 쿼리를 실행하며, 이는 임의 분석 및 데이터 과학 용도로 사용됩니다.
  • Sisense의 자체 BI 소프트웨어는 시각화 및 비즈니스 인텔리전스에 활용됩니다.
• 결과: Spark/Hadoop 기반 시스템의 복잡성을 피하면서 대규모 데이터 처리 가능, 비즈니스 가치를 빠르게 창출.
• 참조: Upsolver 사례 연구: Sisense

Nasdaq

Nasdaq는 증권 거래소로 알려져 있지만, 120개 이상의 거래소와 규제 기관에 기술 및 서비스를 제공하며, 매일 밤 600억 개의 기록을 처리해야 합니다. AWS로 데이터 레이크를 마이그레이션하여 처리 속도를 향상시켰습니다.

• 데이터 소스: 시장 데이터, 매일 600억 개 기록.
• 사용 도구: Amazon S3, Amazon Redshift Spectrum.
• 아키텍처:
  • 모든 데이터는 Amazon S3에 저장되며, 중앙 저장소로 사용됩니다.
  • Amazon Redshift Spectrum을 사용하여 S3에서 데이터를 직접 쿼리하며, 데이터 웨어하우스로 로드하지 않아도 됩니다.
  • 이 설계는 병렬 쿼리 처리를 가능하게 하여 성능을 크게 향상시켰습니다 (예: 청구 프로세스가 40분에서 4분으로 90% 단축).
• 결과: 데이터 볼륨 증가에 따라 확장 가능하며, 시장 개장 전 처리 속도 향상.
• 참조: AWS 사례 연구: Nasdaq

TV 엔터테인먼트 네트워크 (1CloudHub를 통해)

인도의 주요 TV 엔터테인먼트 네트워크는 1CloudHub와 협력하여 AWS에서 엔터프라이즈 데이터 레이크를 구축했습니다. 이는 3천만 온라인 시청자의 데이터를 분석하여 사용자 경험을 최적화하는 데 초점을 맞췄습니다.

• 데이터 소스: 3천만 온라인 시청자 데이터, 월 65억 개 기록 (20TB 원시 데이터).
• 사용 도구: Amazon EMR(ETL), Amazon S3, Amazon Redshift, Power BI.
• 아키텍처:
  • Segment를 통해 데이터를 수집합니다.
  • Amazon EMR을 사용하여 ETL 프로세스를 수행하며, 데이터 정제 및 통합을 진행합니다.
  • 처리된 데이터는 Amazon S3에 Parquet 파일로 저장됩니다.
  • 데이터는 Amazon Redshift로 데이터 마트로 로드되어 쿼리 가능하게 만듭니다.
  • Power BI를 사용하여 보고서 및 시각화를 생성합니다.
• 결과: 최대 1년치 데이터에 대한 고급 분석 가능 (초기 목표 3개월 대비), 1시간 이내에 1,200만 개 기록 처리 (100개 이상의 VM 동시 사용), 보고서 비용 온프레미스 대비 12,000배 저렴 ($70 per report).
• 참조: 1CloudHub 사례 연구: 엔터프라이즈 데이터 레이크

Siemens

Siemens는 사이버 보안 분석을 위해 AWS 데이터 레이크를 구축했습니다.

• 산업: 사이버 보안.
• 데이터 볼륨: 하루 6TB 로그 데이터, 초당 60,000 이벤트 처리.
• 사용 도구: Amazon S3, Amazon SageMaker, AWS Glue, AWS Lambda.
• 아키텍처:
  • Amazon S3를 중앙 저장소로 사용하여 로그 데이터를 저장합니다.
  • AWS Glue로 ETL 프로세스를 수행하여 데이터 변환.
  • Amazon SageMaker로 머신 러닝 기반 위협 분석 수행.
  • AWS Lambda로 실시간 처리 및 서버리스 컴퓨팅 지원.
• 결과: 실시간 위협 탐지 및 대규모 데이터 분석 가능.
• 참조: AWS 사례 연구: Siemens 사이버 보안

Georgia-Pacific

제조업체 Georgia-Pacific은 AWS를 사용하여 제조 프로세스 최적화를 위한 고급 분석을 수행했습니다.

• 산업: 제조업.
• 사용 도구: Amazon S3, Amazon Kinesis.
• 아키텍처:
  • Amazon Kinesis를 통해 실시간 데이터 스트리밍.
  • 데이터는 Amazon S3 데이터 레이크에 저장.
  • 다양한 AWS 도구를 사용하여 분석 수행.
• 결과: 실시간 분석으로 프로세스 최적화.
• 참조: AWS 사례 연구: Georgia-Pacific

Sysco

식품 유통 회사 Sysco는 AWS를 사용하여 비용 절감과 분석을 지원했습니다.

• 산업: 식품 유통.
• 사용 도구: Amazon S3, Amazon S3 Glacier.
• 아키텍처:
  • 활성 데이터는 Amazon S3에 저장, 아카이브 데이터는 Amazon S3 Glacier에 저장.
  • 데이터 레이크는 다양한 분석 용도로 사용.
• 결과: 저장 비용 40% 절감, 역사적 데이터 접근 유지.
• 참조: AWS 사례 연구: Sysco

Coca-Cola Andina

Coca-Cola Andina는 남미 지역에서 활동하는 음료 회사로, AWS를 통해 데이터 레이크를 구축하여 분석 팀의 생산성을 크게 향상시켰습니다.

• 데이터 소스: SAP ERP, CSV 파일, 레거시 데이터베이스.
• 데이터 볼륨: 전체 데이터의 95%를 통합.
• 사용 도구:
  • Amazon S3: 원시 데이터 저장.
  • Amazon Athena: 대화형 쿼리.
  • Amazon QuickSight: 시각화 및 BI.
  • Amazon Personalize 및 SageMaker: ML 모델 개발.
  • AWS Lambda: 서버리스 컴퓨팅.
  • Amazon DynamoDB: 키-값 데이터베이스.
• 아키텍처:
  • S3를 기반으로 한 데이터 레이크 구축.
  • Athena로 데이터 쿼리 및 분석.
  • QuickSight로 시각화 및 보고서 생성.
  • SageMaker와 Personalize로 고급 ML 모델 개발.
• 결과:
  • 분석 팀 생산성 80% 증가.
  • 신뢰할 수 있는 데이터 기반 의사결정 가능.
• 참조: Coca-Cola Andina AWS 사례 연구

BMW Group

BMW Group은 전 세계적으로 운행 중인 차량에서 생성되는 방대한 데이터를 처리하기 위해 AWS를 활용했습니다.

• 데이터 소스: 120만 대의 차량에서 하루 10TB 데이터 생성.
• 사용 도구:
  • Amazon Kinesis Data Firehose: 실시간 데이터 수집.
  • Amazon SageMaker: ML 모델 개발.
  • AWS AppSync: GraphQL API 구축.
  • AWS Glue: ETL 및 데이터 카탈로그 관리.
  • Amazon S3: 데이터 저장.
  • Amazon Athena: 데이터 쿼리.
  • Amazon EMR: 빅데이터 처리.
  • AWS Lambda: 데이터 변환.
• 아키텍처:
  • Cloud Data Hub (CDH) 구축.
  • Kinesis로 실시간 데이터 수집.
  • S3에 데이터 저장.
  • Athena로 쿼리 및 분석.
  • SageMaker로 ML 모델 개발.
• 결과:
  • 실시간 차량 텔레매틱스 분석 가능.
  • 고객 경험 개선 및 혁신 가속화.
• 참조: BMW Group AWS 사례 연구

INVISTA

INVISTA는 화학 및 섬유 제조 회사로, AWS를 통해 제조 과정을 최적화하기 위한 데이터 레이크를 구축했습니다.

• 데이터 소스: 전 세계 공장 데이터.
• 사용 도구:
  • AWS Lake Formation: 데이터 레이크 구축.
  • Amazon S3: 데이터 저장.
  • AWS Glue: ETL 처리.
  • AWS Snowball: 대규모 데이터 이전.
  • Amazon Redshift 및 Redshift Spectrum: 쿼리 및 분석.
  • Amazon Athena: 자가 서비스 쿼리.
  • Amazon SageMaker: ML 모델 개발.
• 아키텍처:
  • Lake Formation으로 데이터 레이크 구축.
  • Glue로 데이터 변환 및 카탈로깅.
  • Snowball로 기존 데이터 이전.
  • Redshift 및 Spectrum으로 고급 분석.
• 결과:
  • 연간 데이터 저장 비용 200만 달러 절감.
  • 제조 과정 개선으로 3억 달러 가치 창출 목표.
• 참조: INVISTA AWS 사례 연구

공통 아키텍처 패턴

조사된 사례를 보면 다음과 같은 몇 가지 공통 패턴이 보이는 듯 합니다.

• 중앙 저장소: Amazon S3는 확장성, 내구성, 비용 효율성으로 인해 데이터 레이크의 중앙 저장소로 자주 사용됩니다.
• 데이터 수집: Kinesis와 같은 도구를 사용하여 실시간 스트리밍, 또는 Segment와 같은 플랫폼을 통해 데이터 수집.
• 처리 및 변환: Amazon EMR, AWS Glue, 또는 Upsolver와 같은 도구로 ETL 수행, 종종 Parquet와 같은 최적화된 형식으로 저장.
• 쿼리 및 분석: Amazon Athena 또는 Redshift Spectrum으로 S3에서 직접 쿼리, 또는 Amazon Redshift로 로드하여 복잡한 쿼리 수행.
• 시각화 및 BI: Power BI, Sisense 소프트웨어 등으로 보고서 및 시각화 생성.
• 실시간 처리: 실시간 분석이 필요한 경우 Kinesis, Lambda와 같은 서비스 통합.
• 비용 최적화: 장기 보관 데이터는 S3 Glacier로 저장하여 비용 절감.

AWS는 데이터 수집, 통합, 표준화, 분석을 위한 유연한 서비스 세트를 제공하며, 기업은 데이터 볼륨, 실시간 처리 필요성, 분석 복잡성, 비용 고려 사항에 따라 맞춤형 데이터 레이크 아키텍처를 구축할 수 있습니다. 위 사례들은 다양한 산업에서 AWS를 어떻게 활용하는지 보여주며, S3를 중심으로 한 설계가 표준화된 접근법임을 확인할 수 있습니다.