Anthropic Claude prompt caching — 5분 TTL 이후 ephemeral 캐시 비용이 줄지 않습니다

네, prompt cache는 hit rate가 충분히 높아야 효과 있습니다. 5분 TTL은 짧고, 1시간 TTL beta가 있긴 한데 cache write 비용이 2.4배. trade-off 정리.

cache write 비용 — 5분 vs 1시간

워크로드별 의사결정

1. hit rate > 70% — 5분 ephemeral OK, 비용 절감 60~80%


2. hit rate 30~70% — 1시간 beta 검토 (충분히 자주 사용 가정)


3. hit rate < 30% — cache 끄기. 사용 안 하는 게 답

저희 운영에서 hit rate < 50%면 1시간 cache도 break-even 어려움.

hit rate 끌어올리는 패턴

1. session pinning

같은 사용자의 연속 호출을 같은 server instance로 라우팅. local cache hit 가능성 증가.

2. cache key 정렬

cache key가 사용자 ID + session이면, 사용자가 활성일 때만 사용. inactive 사용자의 cache는 자동 만료. 비용 정확.

3. 분리 — 공통 vs 사용자 별

messages: [
  {role: 'system', content: SYSTEM, cache_control: { type: 'ephemeral' }},  // 모든 사용자 공유
  {role: 'system', content: CODEBASE, cache_control: { type: 'ephemeral' }},  // 모든 사용자 공유
  {role: 'user', content: USER_HISTORY + question}  // 사용자별
]

공통 부분이 모든 사용자 호출에서 hit. hit rate 폭증.

4. 활성 사용자만 ephemeral cache

분당 1회 이상 호출하는 활성 사용자만 cache. 일반 사용자는 cache 없이 호출.

결론

현재 80% miss면 cache 끄는 게 정답. cache write 비용 부담만. 대신 사용자별 cache 분석 후 hit rate 높은 그룹만 선별 cache 추천.

cache는 hit rate가 결정. 사용자 분포가 long tail이면 거의 효과 없어요. 활성 사용자 비율 추적하는 게 먼저입니다.