Cloudflare Workers AI에 Llama 5 8B fine-tune weights를 업로드해서 한국어 챗봇 백엔드로 쓰고 있습니다. 정확도는 만족인데 첫 호출이 12초 걸립니다. 이후 호출은 0.5초로 정상.
현상
- region별로 콜드 가중치 로딩 — 처음 호출하는 region에서 매번 12초
- 한국 사용자는 서울 PoP에서 매일 처음 호출 시 12초
- 5분간 호출 없으면 다시 콜드
사용자가 매일 처음 챗봇 열 때 12초 기다리게 할 수는 없는데, 어떻게 우회하나요? Pre-warming 가능한 패턴 있을까요?
댓글 2
Workers AI의 region별 콜드 가중치 로딩은 8B 모델에서 흔한 문제입니다. 직접 해결한 패턴 3가지.
1. Cron Trigger로 pre-warm
전 세계 주요 region에서 5분마다 한 번씩 무의미 호출. 가중치를 hot 상태로 유지.
비용 — region당 분당 1회 × 12 region = 시간당 144회. 8B 모델 1 토큰 호출은 거의 무료라 월 $3 이내.
2. Region 강제 — 사용자 트래픽 흐름 보장
3. 모델 크기 줄이기 — 4-bit quantization
fine-tune 후 GPTQ 또는 AWQ로 4-bit 양자화. 8B 모델이 약 4GB → 1.5GB로 줄어 콜드 로딩 12초 → 4초. 정확도 손실 1~2%p.
저는 1번 권장
비용 부담 없고 사용자 영향 0. Cron Trigger가 region 분산 호출로 작동해서 알아서 hot 유지됩니다. 한국 사용자 12시간 동안 첫 호출 0.5초 보장.
저는 Lambda + EFS 패턴 비슷하게 Workers + R2에 weights 두고 startup script가 미리 fetch 했었는데, Workers AI 자체에서 이런 옵션 없죠? Cron pre-warm이 현실적입니다.