Cloudflare Workers AI Llama 5 — fine-tune 업로드 후 첫 호출이 너무 느려요

Question

Cloudflare Workers AI에 Llama 5 8B fine-tune weights를 업로드해서 한국어 챗봇 백엔드로 쓰고 있습니다. 정확도는 만족인데 첫 호출이 12초 걸립니다. 이후 호출은 0.5초로 정상.

현상

region별로 콜드 가중치 로딩 — 처음 호출하는 region에서 매번 12초
한국 사용자는 서울 PoP에서 매일 처음 호출 시 12초
5분간 호출 없으면 다시 콜드

사용자가 매일 처음 챗봇 열 때 12초 기다리게 할 수는 없는데, 어떻게 우회하나요? Pre-warming 가능한 패턴 있을까요?

김영삼 · Accepted Answer

Workers AI의 region별 콜드 가중치 로딩은 8B 모델에서 흔한 문제입니다. 직접 해결한 패턴 3가지. 1. Cron Trigger로 pre-warm 전 세계 주요 region에서 5분마다 한 번씩 무의미 호출. 가중치를 hot 상태로 유지. // wrangler.toml [triggers] crons = ["*/5 * * * *"] // src/scheduled.ts export default { async scheduled(event, env) { // 빈 호출로 가중치 유지 await env.AI.run('@my-org/llama-5-8b-ko-finetune', { messages: [{ role: 'user', content: 'ping' }], max_tokens: 1, }) } } 비용 — region당 분당 1회 × 12 region = 시간당 144회. 8B 모델 1 토큰 호출은 거의 무료라 월 $3 이내. 2. Region 강제 — 사용자 트래픽 흐름 보

데이터사이언스현 · Answer

저는 Lambda + EFS 패턴 비슷하게 Workers + R2에 weights 두고 startup script가 미리 fetch 했었는데, Workers AI 자체에서 이런 옵션 없죠? Cron pre-warm이 현실적입니다.

댓글 0