본문 바로가기

Data#Data#Lake조회 110

Apache Iceberg란?

정의

대규모 Data Lake용 오픈 테이블 포맷. Netflix가 오픈소스화. Delta Lake와 경쟁.

다른 표현아이스버그

Iceberg란?

Lake 위에 Warehouse급 기능을 구현하는 테이블 포맷 사양이다.

특징

ACID 트랜잭션
Time travel (과거 스냅샷 조회)
스키마 진화 (컬럼 추가·삭제 안전)
파티션 진화
엔진 중립 — Spark·Trino·Flink·Snowflake 모두 읽기

2024~ 업계 표준

Databricks도 Iceberg 지원 추가. 사실상 Lake 테이블 포맷의 승자.

📘 관련 기술노트

전체 보기 →

DBdbt-core 1.10 + Apache Iceberg — modern data stack 정착 6개월

DBApache Iceberg vs Delta Lake — 12PB 데이터 레이크 결정

DatabaseApache Iceberg 실전 — Lakehouse 아키텍처 구축 가이드

🔗 함께 보면 좋은 용어

Data 전체 →

데이터 관측성 플랫폼

Monte Carlo·Bigeye·Soda·Datafold·Elementary.

데이터 레이크 파일 포맷

Parquet·ORC·Avro·Arrow. 사용 시나리오별 선택.

임베딩 모델 선택

OpenAI·Cohere·BGE·ko-sroberta 등.

데이터 품질 프레임워크

Great Expectations·Soda·dbt tests·Elementary.

벡터 검색 벤치마크

ANN Benchmarks·VectorDBBench·BEIR.

모던 데이터 스택 2026

Snowflake·Databricks·Fabric·BigQuery 중심의 2026년 현황.