한줄평
“기존 DB의 데이터를 분석용 Parquet 로 옮기는 배치 작업에 딱 맞는 도구입니다. 다만 용도가 이 한 가지에 특화돼 있어 범용 데이터 이관 도구로 보기는 어렵습니다.”
이런 분께 DB 데이터를 분석용 Parquet 로 추출하려는 데이터 엔지니어께
좋은 점
- SQL 결과를 곧바로 Parquet 로 저장
- 스트리밍 처리로 대용량도 메모리 부담이 적음
아쉬운 점
- ODBC→Parquet 한 방향에 특화돼 용도가 좁음
오디비씨투파케이 소개
ODBC 로 연결한 데이터베이스에 질의한 결과를 Parquet 파일로 바로 내보내는 명령줄(CLI) 도구입니다. SQL 로 뽑은 데이터를 열 지향 형식인 Parquet 로 저장해 두면 이후 분석 도구나 데이터 파이프라인에서 효율적으로 다룰 수 있습니다. 대량 데이터를 나눠 스트리밍으로 처리하도록 만들어져 메모리 부담이 적습니다.
