Data Platform 개요 & 아키텍처

// 데이터 웨어하우스 스키마 예시 (Star Schema)

-- 팩트 테이블: 주문
CREATE TABLE fact_orders (
    order_id        BIGINT PRIMARY KEY,
    customer_key    INT REFERENCES dim_customer(customer_key),
    product_key     INT REFERENCES dim_product(product_key),
    date_key        INT REFERENCES dim_date(date_key),
    quantity        INT,
    unit_price      DECIMAL(10,2),
    total_amount    DECIMAL(12,2),
    discount_amount DECIMAL(10,2)
) DISTKEY(customer_key) SORTKEY(date_key);

-- 디멘션 테이블: 고객
CREATE TABLE dim_customer (
    customer_key    INT PRIMARY KEY,
    customer_id     VARCHAR(50),
    name            VARCHAR(100),
    email           VARCHAR(100),
    segment         VARCHAR(50),  -- Gold, Silver, Bronze
    region          VARCHAR(50),
    created_at      TIMESTAMP,
    -- SCD Type 2 컬럼
    effective_from  DATE,
    effective_to    DATE,
    is_current      BOOLEAN
);

// 데이터 레이크 구조 예시 (S3)

s3://my-data-lake/
├── raw/                          # 원시 데이터 (Bronze)
│   ├── orders/
│   │   └── year=2024/month=01/day=15/
│   │       └── orders_20240115_001.json
│   ├── clickstream/
│   │   └── dt=2024-01-15/
│   │       └── events_*.parquet
│   └── images/
│       └── product_images/
│           └── *.jpg
│
├── processed/                    # 정제된 데이터 (Silver)
│   ├── orders_cleaned/
│   │   └── year=2024/month=01/
│   │       └── part-*.parquet
│   └── user_sessions/
│       └── dt=2024-01-15/
│           └── sessions.parquet
│
└── curated/                      # 분석용 데이터 (Gold)
    ├── daily_sales_summary/
    │   └── date=2024-01-15/
    │       └── summary.parquet
    └── customer_360/
        └── snapshot_date=2024-01-15/
            └── customer_profiles.parquet

// Apache Iceberg 테이블 예시 (AWS Glue + Athena)

-- Iceberg 테이블 생성
CREATE TABLE my_catalog.my_database.orders (
    order_id        BIGINT,
    customer_id     STRING,
    order_date      DATE,
    total_amount    DECIMAL(12,2),
    status          STRING,
    updated_at      TIMESTAMP
)
PARTITIONED BY (days(order_date))
LOCATION 's3://my-lakehouse/orders/'
TBLPROPERTIES (
    'table_type' = 'ICEBERG',
    'format' = 'parquet',
    'write_compression' = 'zstd'
);

-- MERGE (Upsert) 작업
MERGE INTO orders t
USING orders_updates s
ON t.order_id = s.order_id
WHEN MATCHED THEN
    UPDATE SET status = s.status, updated_at = s.updated_at
WHEN NOT MATCHED THEN
    INSERT (order_id, customer_id, order_date, total_amount, status, updated_at)
    VALUES (s.order_id, s.customer_id, s.order_date, s.total_amount, s.status, s.updated_at);

-- 타임 트래블: 1시간 전 데이터 조회
SELECT * FROM orders FOR SYSTEM_TIME AS OF (current_timestamp - interval '1' hour);

-- 스냅샷 히스토리 조회
SELECT * FROM my_catalog.my_database."orders$snapshots";

// 이커머스 데이터 플랫폼 아키텍처

┌─────────────────────────────────────────────────────────────────────┐
│                         데이터 소스                                   │
│  [웹/앱 클릭스트림] [주문 DB] [상품 DB] [CRM] [결제 시스템] [리뷰]    │
└─────────────────────────────────────────────────────────────────────┘
         │              │           │         │          │
         ▼              ▼           ▼         ▼          ▼
┌─────────────┐  ┌─────────────┐  ┌─────────────────────────────────┐
│   Kinesis   │  │     DMS     │  │           AppFlow               │
│  Firehose   │  │    (CDC)    │  │    (Salesforce, Zendesk)        │
└──────┬──────┘  └──────┬──────┘  └───────────────┬─────────────────┘
       │                │                         │
       └────────────────┼─────────────────────────┘
                        ▼
┌─────────────────────────────────────────────────────────────────────┐
│                    S3 Data Lake (Bronze)                             │
│  s3://ecommerce-lake/raw/clickstream/                               │
│  s3://ecommerce-lake/raw/orders/                                    │
│  s3://ecommerce-lake/raw/products/                                  │
└─────────────────────────────────────────────────────────────────────┘
                        │
                        ▼
┌─────────────────────────────────────────────────────────────────────┐
│                    Glue ETL + dbt (Silver)                          │
│  • 클릭스트림 세션화  • 주문-상품 조인  • 고객 360 뷰 생성          │
└─────────────────────────────────────────────────────────────────────┘
                        │
          ┌─────────────┼─────────────┐
          ▼             ▼             ▼
┌─────────────┐ ┌─────────────┐ ┌─────────────┐
│  Redshift   │ │   Athena    │ │ SageMaker   │
│ (BI 쿼리)   │ │ (Ad-hoc)    │ │ (추천 모델) │
└─────────────┘ └─────────────┘ └─────────────┘
          │             │             │
          └─────────────┼─────────────┘
                        ▼
┌─────────────────────────────────────────────────────────────────────┐
│  QuickSight (대시보드) │ Personalize (실시간 추천) │ 마케팅 자동화   │
└─────────────────────────────────────────────────────────────────────┘

// 금융 데이터 플랫폼 - 보안 강화 아키텍처

┌─────────────────────────────────────────────────────────────────────┐
│                    보안 경계 (VPC + PrivateLink)                     │
│  ┌───────────────────────────────────────────────────────────────┐  │
│  │                     데이터 수집 계층                           │  │
│  │  [Core Banking] ──DMS──▶ [Kinesis] ◀── [Market Data Feed]    │  │
│  │        │                    │                                 │  │
│  │        ▼                    ▼                                 │  │
│  │  ┌─────────────────────────────────────────────────────────┐ │  │
│  │  │           S3 (SSE-KMS 암호화)                           │ │  │
│  │  │  • 버킷 정책으로 접근 제한                              │ │  │
│  │  │  • Object Lock으로 변경 방지                            │ │  │
│  │  │  • 버전 관리 활성화                                     │ │  │
│  │  └─────────────────────────────────────────────────────────┘ │  │
│  │                           │                                   │  │
│  │                           ▼                                   │  │
│  │  ┌─────────────────────────────────────────────────────────┐ │  │
│  │  │              Lake Formation                             │ │  │
│  │  │  • 행/열 수준 접근 제어                                 │ │  │
│  │  │  • 태그 기반 보안 정책                                  │ │  │
│  │  │  • 데이터 마스킹                                        │ │  │
│  │  └─────────────────────────────────────────────────────────┘ │  │
│  │                           │                                   │  │
│  │         ┌─────────────────┼─────────────────┐                │  │
│  │         ▼                 ▼                 ▼                │  │
│  │  ┌───────────┐     ┌───────────┐     ┌───────────┐          │  │
│  │  │ Redshift  │     │  Athena   │     │ SageMaker │          │  │
│  │  │(규제보고) │     │(Ad-hoc)   │     │(사기탐지) │          │  │
│  │  └───────────┘     └───────────┘     └───────────┘          │  │
│  └───────────────────────────────────────────────────────────────┘  │
│                                                                      │
│  [CloudTrail] ──▶ [S3 감사 로그] ──▶ [7년 보존]                     │
│  [Macie] ──▶ [PII 자동 탐지] ──▶ [알림]                             │
└─────────────────────────────────────────────────────────────────────┘

// 헬스케어 데이터 레이크 - HIPAA 준수

┌─────────────────────────────────────────────────────────────────────┐
│                    AWS HealthLake (FHIR 저장소)                      │
│  • HL7 FHIR R4 표준 지원                                            │
│  • 자동 PHI 탐지 및 마스킹                                          │
│  • 자연어 처리 내장                                                  │
└─────────────────────────────────────────────────────────────────────┘
                        │
                        ▼
┌─────────────────────────────────────────────────────────────────────┐
│                    S3 (의료 영상 저장)                               │
│  • DICOM 이미지 저장                                                │
│  • Intelligent-Tiering (접근 빈도 기반)                             │
│  • Cross-Region Replication (재해 복구)                             │
└─────────────────────────────────────────────────────────────────────┘
                        │
          ┌─────────────┼─────────────┐
          ▼             ▼             ▼
┌─────────────┐ ┌─────────────┐ ┌─────────────┐
│ SageMaker   │ │ Comprehend  │ │   Athena    │
│ (영상 AI)   │ │Medical(NLP) │ │ (분석)      │
└─────────────┘ └─────────────┘ └─────────────┘

// 게임 분석 플랫폼 - 대용량 실시간 처리

┌─────────────────────────────────────────────────────────────────────┐
│                    게임 클라이언트/서버                               │
│  [모바일 앱] [PC 클라이언트] [게임 서버] [매치메이킹 서버]           │
└─────────────────────────────────────────────────────────────────────┘
                        │
                        ▼ (초당 100만+ 이벤트)
┌─────────────────────────────────────────────────────────────────────┐
│                    Kinesis Data Streams                              │
│  • 샤드 자동 스케일링                                               │
│  • 24시간 보존 (재처리 가능)                                        │
└─────────────────────────────────────────────────────────────────────┘
         │                              │
         ▼                              ▼
┌─────────────────────┐      ┌─────────────────────┐
│  Kinesis Analytics  │      │   Kinesis Firehose  │
│  (실시간 분석)      │      │   (S3 적재)         │
│  • 치트 탐지        │      │   • Parquet 변환    │
│  • 실시간 대시보드  │      │   • 파티셔닝        │
└─────────────────────┘      └─────────────────────┘
         │                              │
         ▼                              ▼
┌─────────────────────┐      ┌─────────────────────┐
│    OpenSearch       │      │    S3 Data Lake     │
│  (실시간 검색)      │      │  (배치 분석)        │
│  • 플레이어 검색    │      │                     │
│  • 로그 분석        │      │         │          │
└─────────────────────┘      │         ▼          │
                             │  ┌─────────────┐   │
                             │  │   Athena    │   │
                             │  │ (Ad-hoc)    │   │
                             │  └─────────────┘   │
                             └─────────────────────┘