한줄평
“파일 기반 데이터셋을 가볍게 서비스로 띄우려는 분석·엔지니어링 팀에 적합합니다. 다만 본격적인 데이터 웨어하우스의 관리 기능을 대체하지는 않습니다.”
이런 분께 데이터 레이크 파일을 그대로 HTTP 로 열고 싶은 데이터 엔지니어께
좋은 점
- 여러 쿼리 엔진(DuckDB·DataFusion)을 골라 사용
- Parquet·Delta 를 옮기지 않고 바로 질의
아쉬운 점
- 트랜잭션·권한 등 DB 수준의 관리 기능은 제한적
- 데이터 형식과 쿼리 지식이 전제됨
데이터프레스 소개
Parquet 와 Delta 형식의 데이터셋을 HTTP 로 질의할 수 있게 열어 주는 서버입니다. 내부적으로 DuckDB 와 DataFusion 같은 여러 백엔드를 선택해 쓸 수 있어 상황에 맞는 엔진으로 빠르게 조회합니다. 데이터 레이크에 쌓인 파일을 별도 데이터베이스로 옮기지 않고 그대로 API 처럼 노출하고 싶을 때 유용합니다. 명령줄로 실행하는 서버 프로그램입니다.
