MongoDB 8의 시계열 컬렉션에 1년치 이벤트 데이터 쌓고 있습니다. 그런데 데이터 검증 과정에서 일부 row(약 0.02%)에 잘못 들어간 값을 발견했습니다.
timeseries collection은 update 불가라는데:
db.events.updateOne({_id: ObjectId('...')}, {$set: {value: 100}})
// Error: Cannot update timeseries collection
delete도 제한적입니다. 정정 데이터를 어떻게 운영하나요?
현재 시도 중
- 새 컬렉션에 "correction" 이벤트 따로 저장하고 조회 시 join — 쿼리 복잡
- collection drop + 재생성 — 1년치 다시 ingest 부담
비슷한 운영 경험 있으신 분 조언 부탁드립니다.
댓글 5
MongoDB 8의 timeseries는 append-only 가정으로 설계됐습니다. 정정/삭제는 기본적으로 어렵고, 운영상 다음 4가지 패턴이 일반적입니다.
1. 보상 이벤트 패턴 (이벤트 소싱)
잘못된 row를 그대로 두고, 그 정정 이벤트를 새로 insert. 조회 시 마지막 이벤트가 진짜 값.
금융·물류 시스템에서 표준. 모든 변경이 audit trail로 남는 장점.
2. 부분 삭제 (delete with filter)
MongoDB 8에서 timeseries는 metaField 기준 delete만 허용. metaField 일부 + time range로 삭제 후 재 insert.
단점 — 동일 metaField 범위의 다른 정상 데이터까지 삭제. 정밀 정정 어려움.
3. View로 정정 layer 분리
raw timeseries 컬렉션 + correction 컬렉션 + view로 통합.
가장 안전하나 join 비용 추가.
4. 정기 redump
매 분기 또는 매년, raw 데이터 + correction을 합쳐 새 컬렉션에 재 ingest. 오래된 데이터일수록 변경 가능성 낮음.
저는 2번 + 1번 조합 추천합니다. 최근 30일 데이터는 1번(보상 이벤트), 30일 이상 정정은 2번(metaField + range delete + 재 insert). 운영 부담 최소.
큰 데이터셋이면 InfluxDB나 TimescaleDB도 검토하세요. TimescaleDB는 row 단위 update 가능하고 hypertable 형태로 시계열 최적화. MongoDB 시계열의 운영 부담이 크면 마이그레이션이 답일 수도.