데이터 저장소 - S3 Data Lake 설계

# 권장 S3 경로 구조
s3://{bucket}/{layer}/{domain}/{table}/
    {partition_key}={partition_value}/
    {filename}.{format}

# 예시
s3://acme-data-lake-curated/
    sales/                          # 도메인
        orders/                     # 테이블
            year=2024/              # 파티션
                month=01/
                    day=15/
                        part-00000.parquet

# 파일명 규칙
{table}_{timestamp}_{uuid}.{format}
orders_20240115T103000_abc123.parquet

┌─────────────────────────────────────────────────────────────────────┐
│                    Parquet 파일 구조                                 │
│                                                                      │
│  ┌─────────────────────────────────────────────────────────────────┐│
│  │                         File                                     ││
│  │  ┌─────────────────────────────────────────────────────────────┐││
│  │  │                    Row Group 1                               │││
│  │  │  ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐           │││
│  │  │  │Column A │ │Column B │ │Column C │ │Column D │           │││
│  │  │  │ Chunk   │ │ Chunk   │ │ Chunk   │ │ Chunk   │           │││
│  │  │  │         │ │         │ │         │ │         │           │││
│  │  │  │ [Stats] │ │ [Stats] │ │ [Stats] │ │ [Stats] │           │││
│  │  │  └─────────┘ └─────────┘ └─────────┘ └─────────┘           │││
│  │  └─────────────────────────────────────────────────────────────┘││
│  │  ┌─────────────────────────────────────────────────────────────┐││
│  │  │                    Row Group 2                               │││
│  │  │  ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐           │││
│  │  │  │Column A │ │Column B │ │Column C │ │Column D │           │││
│  │  │  │ Chunk   │ │ Chunk   │ │ Chunk   │ │ Chunk   │           │││
│  │  │  └─────────┘ └─────────┘ └─────────┘ └─────────┘           │││
│  │  └─────────────────────────────────────────────────────────────┘││
│  │  ┌─────────────────────────────────────────────────────────────┐││
│  │  │                    Footer (Metadata)                         │││
│  │  │  • Schema                                                    │││
│  │  │  • Row Group locations                                       │││
│  │  │  • Column statistics (min/max/null count)                    │││
│  │  └─────────────────────────────────────────────────────────────┘││
│  └─────────────────────────────────────────────────────────────────┘│
└─────────────────────────────────────────────────────────────────────┘

컬럼형 저장의 장점:
• SELECT col_a, col_b만 읽으면 해당 컬럼 청크만 스캔
• 같은 타입 데이터가 연속 → 압축 효율 극대화
• Column Statistics로 불필요한 Row Group 스킵

// PySpark - JSON to Parquet 변환

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("JSON to Parquet") \
    .config("spark.sql.parquet.compression.codec", "snappy") \
    .getOrCreate()

# JSON 읽기
df = spark.read.json("s3://data-lake-raw/orders/2024/01/15/")

# 스키마 적용 및 변환
df_cleaned = df.select(
    df.order_id.cast("long"),
    df.customer_id.cast("long"),
    df.amount.cast("decimal(10,2)"),
    df.order_date.cast("date"),
    df.status.cast("string")
)

# Parquet로 저장 (파티셔닝 포함)
df_cleaned.write \
    .mode("overwrite") \
    .partitionBy("order_date") \
    .option("compression", "snappy") \
    .parquet("s3://data-lake-curated/orders/")

┌─────────────────────────────────────────────────────────────────────┐
│                    Data Lake 스토리지 전략                           │
│                                                                      │
│  Analytics Zone (자주 접근)                                          │
│  ┌─────────────────────────────────────────────────────────────────┐│
│  │  S3 Standard                                                     ││
│  │  • 일일 대시보드 데이터                                          ││
│  │  • 실시간 분석 결과                                              ││
│  │  • ML 피처 스토어                                                ││
│  └─────────────────────────────────────────────────────────────────┘│
│                                                                      │
│  Curated Zone (주기적 접근)                                          │
│  ┌─────────────────────────────────────────────────────────────────┐│
│  │  S3 Standard-IA 또는 Intelligent-Tiering                        ││
│  │  • 최근 3개월 데이터: Standard                                   ││
│  │  • 3개월~1년 데이터: Standard-IA                                 ││
│  │  • 1년 이상: Glacier IR                                          ││
│  └─────────────────────────────────────────────────────────────────┘│
│                                                                      │
│  Raw Zone (거의 접근 안 함)                                          │
│  ┌─────────────────────────────────────────────────────────────────┐│
│  │  S3 Standard-IA → Glacier                                       ││
│  │  • 최근 30일: Standard (재처리 대비)                             ││
│  │  • 30일~1년: Standard-IA                                         ││
│  │  • 1년 이상: Glacier Flexible                                    ││
│  │  • 7년 이상: Glacier Deep Archive (규정 준수)                    ││
│  └─────────────────────────────────────────────────────────────────┘│
└─────────────────────────────────────────────────────────────────────┘

// Terraform - S3 Lifecycle Policy

resource "aws_s3_bucket_lifecycle_configuration" "data_lake" {
  bucket = aws_s3_bucket.data_lake.id

  # Raw Zone 정책
  rule {
    id     = "raw-zone-lifecycle"
    status = "Enabled"

    filter {
      prefix = "raw/"
    }

    transition {
      days          = 30
      storage_class = "STANDARD_IA"
    }

    transition {
      days          = 365
      storage_class = "GLACIER"
    }

    transition {
      days          = 2555  # 7년
      storage_class = "DEEP_ARCHIVE"
    }

    # 10년 후 삭제 (규정에 따라 조정)
    expiration {
      days = 3650
    }
  }

  # Curated Zone 정책
  rule {
    id     = "curated-zone-lifecycle"
    status = "Enabled"

    filter {
      prefix = "curated/"
    }

    transition {
      days          = 90
      storage_class = "STANDARD_IA"
    }

    transition {
      days          = 365
      storage_class = "GLACIER_IR"
    }
  }

  # Analytics Zone - Intelligent Tiering
  rule {
    id     = "analytics-zone-lifecycle"
    status = "Enabled"

    filter {
      prefix = "analytics/"
    }

    transition {
      days          = 0
      storage_class = "INTELLIGENT_TIERING"
    }
  }

  # 불완전 멀티파트 업로드 정리
  rule {
    id     = "abort-incomplete-multipart"
    status = "Enabled"

    abort_incomplete_multipart_upload {
      days_after_initiation = 7
    }
  }
}