RAG 파이프라인에서 pgvector를 1년 운영하고 있는데, 벡터 수가 1.2억을 넘어가면서 인덱스 빌드가 6시간 걸리고 p99 검색이 480ms로 안 됩니다. Qdrant로 옮기려고 하는데 다운타임을 어디까지 줄일 수 있을지 막막합니다.
현재 상황
- PG 17 + pgvector 0.8, 1.2억 벡터(1024차원 float16)
- 인덱스 빌드 6h, p99 search 480ms, RAM 96GB
- 쓰기는 분당 800, 읽기는 초당 60
고민:
- dual-write로 한 달간 양쪽에 쓰고 검증한 뒤 cutover? 일관성 어떻게 확인하나요
- 아니면 snapshot dump → Qdrant import → WAL catch-up?
- Qdrant 클러스터 노드는 몇 대가 적당한지 (현재 96GB RAM 1대)
비슷한 규모로 옮겨보신 분 경험 있으시면 공유 부탁드립니다.
댓글 0