Data Observability란?
앱 관측성처럼 데이터 자체의 건강을 감시한다.
5 Pillar
- Freshness — 신선도
- Volume — 레코드 수 정상인지
- Schema — 스키마 변경
- Quality — NULL·중복·이상값
- Lineage — 의존 관계
Data Observability란?
정의
데이터 파이프라인의 신선도·양·스키마·품질을 모니터링하는 분야.
🔗 함께 보면 좋은 용어
Data 전체 →데이터 관측성 플랫폼
Monte Carlo·Bigeye·Soda·Datafold·Elementary.
데이터 레이크 파일 포맷
Parquet·ORC·Avro·Arrow. 사용 시나리오별 선택.
임베딩 모델 선택
OpenAI·Cohere·BGE·ko-sroberta 등.
데이터 품질 프레임워크
Great Expectations·Soda·dbt tests·Elementary.
벡터 검색 벤치마크
ANN Benchmarks·VectorDBBench·BEIR.
모던 데이터 스택 2026
Snowflake·Databricks·Fabric·BigQuery 중심의 2026년 현황.