Iceberg란?
Lake 위에 Warehouse급 기능을 구현하는 테이블 포맷 사양이다.
특징
- ACID 트랜잭션
- Time travel (과거 스냅샷 조회)
- 스키마 진화 (컬럼 추가·삭제 안전)
- 파티션 진화
- 엔진 중립 — Spark·Trino·Flink·Snowflake 모두 읽기
2024~ 업계 표준
Databricks도 Iceberg 지원 추가. 사실상 Lake 테이블 포맷의 승자.
대규모 Data Lake용 오픈 테이블 포맷. Netflix가 오픈소스화. Delta Lake와 경쟁.
Lake 위에 Warehouse급 기능을 구현하는 테이블 포맷 사양이다.
Databricks도 Iceberg 지원 추가. 사실상 Lake 테이블 포맷의 승자.