Arrow란?
Python·R·Java 등 언어가 같은 데이터를 복사 없이 공유할 수 있는 컬럼 포맷 표준이다.
왜 중요한가
- Spark ↔ Python 변환 10배+ 빠름
- DuckDB, Polars, Pandas 2.0의 기반
- Arrow Flight — gRPC 기반 전송 프로토콜
- Parquet ↔ Arrow 자연스러운 변환
컬럼 지향 인메모리 데이터 포맷 표준. 언어·시스템 간 제로 카피 교환.
Python·R·Java 등 언어가 같은 데이터를 복사 없이 공유할 수 있는 컬럼 포맷 표준이다.