본문 바로가기

Data#Data#Format조회 117

Apache Arrow란?

정의

컬럼 지향 인메모리 데이터 포맷 표준. 언어·시스템 간 제로 카피 교환.

Arrow란?

Python·R·Java 등 언어가 같은 데이터를 복사 없이 공유할 수 있는 컬럼 포맷 표준이다.

왜 중요한가

Spark ↔ Python 변환 10배+ 빠름
DuckDB, Polars, Pandas 2.0의 기반
Arrow Flight — gRPC 기반 전송 프로토콜
Parquet ↔ Arrow 자연스러운 변환

🔗 함께 보면 좋은 용어

Data 전체 →

데이터 관측성 플랫폼

Monte Carlo·Bigeye·Soda·Datafold·Elementary.

데이터 레이크 파일 포맷

Parquet·ORC·Avro·Arrow. 사용 시나리오별 선택.

임베딩 모델 선택

OpenAI·Cohere·BGE·ko-sroberta 등.

데이터 품질 프레임워크

Great Expectations·Soda·dbt tests·Elementary.

벡터 검색 벤치마크

ANN Benchmarks·VectorDBBench·BEIR.

모던 데이터 스택 2026

Snowflake·Databricks·Fabric·BigQuery 중심의 2026년 현황.