본문 바로가기
Q&A2026년 5월 29일1분 읽기

Cloudflare Workers AI Llama 5 — fine-tune 업로드 후 첫 호출이 너무 느려요

한
한상우
조회 430댓글 2

Cloudflare Workers AI에 Llama 5 8B fine-tune weights를 업로드해서 한국어 챗봇 백엔드로 쓰고 있습니다. 정확도는 만족인데 첫 호출이 12초 걸립니다. 이후 호출은 0.5초로 정상.

현상

  • region별로 콜드 가중치 로딩 — 처음 호출하는 region에서 매번 12초
  • 한국 사용자는 서울 PoP에서 매일 처음 호출 시 12초
  • 5분간 호출 없으면 다시 콜드

사용자가 매일 처음 챗봇 열 때 12초 기다리게 할 수는 없는데, 어떻게 우회하나요? Pre-warming 가능한 패턴 있을까요?

댓글 2

김김영삼5개월 전

Workers AI의 region별 콜드 가중치 로딩은 8B 모델에서 흔한 문제입니다. 직접 해결한 패턴 3가지.


1. Cron Trigger로 pre-warm


전 세계 주요 region에서 5분마다 한 번씩 무의미 호출. 가중치를 hot 상태로 유지.


// wrangler.toml
[triggers]
crons = ["*/5 * * * *"]

// src/scheduled.ts
export default {
async scheduled(event, env) {
// 빈 호출로 가중치 유지
await env.AI.run('@my-org/llama-5-8b-ko-finetune', {
messages: [{ role: 'user', content: 'ping' }],
max_tokens: 1,
})
}
}

비용 — region당 분당 1회 × 12 region = 시간당 144회. 8B 모델 1 토큰 호출은 거의 무료라 월 $3 이내.


2. Region 강제 — 사용자 트래픽 흐름 보장


// 사용자 첫 호출 전에 백그라운드로 warm-up
const response = await env.AI.run('@my-org/llama-5-8b-ko-finetune', {
messages: [...],
// gateway 옵션으로 region 명시
}, { gateway: { id: 'kor-gateway', cacheTtl: 0 } })

3. 모델 크기 줄이기 — 4-bit quantization


fine-tune 후 GPTQ 또는 AWQ로 4-bit 양자화. 8B 모델이 약 4GB → 1.5GB로 줄어 콜드 로딩 12초 → 4초. 정확도 손실 1~2%p.


저는 1번 권장


비용 부담 없고 사용자 영향 0. Cron Trigger가 region 분산 호출로 작동해서 알아서 hot 유지됩니다. 한국 사용자 12시간 동안 첫 호출 0.5초 보장.

데데이터사이언스현5개월 전

저는 Lambda + EFS 패턴 비슷하게 Workers + R2에 weights 두고 startup script가 미리 fetch 했었는데, Workers AI 자체에서 이런 옵션 없죠? Cron pre-warm이 현실적입니다.

Ctrl+Enter로 등록