Anthropic Claude prompt caching — 5분 TTL 이후 ephemeral 캐시 비용이 줄지 않습니다

Question

Claude 4.9 Sonnet에 prompt caching ephemeral 사용. 시스템 + 코드베이스 800K 토큰을 캐싱합니다.

비용 분석 (월 평균)

cache write — $X (한 번 캐시 만들 때)
cache hit — $X/10 (90% 절감)
5분 TTL 지나고 다시 만들 때 — cache write 다시 발생

사용자가 분산되어 5분 안에 같은 prompt 재사용이 적은 워크로드(80% miss). 비용이 일반 호출 대비 1.25배.

cache가 비용 절감 못 하는 워크로드면 차라리 끄는 게 나을까요?

김영삼 · Accepted Answer

네, prompt cache는 hit rate가 충분히 높아야 효과 있습니다. 5분 TTL은 짧고, 1시간 TTL beta가 있긴 한데 cache write 비용이 2.4배. trade-off 정리. cache write 비용 — 5분 vs 1시간 모드write 비용read 비용break-even 5분 ephemeral1.25x0.1x3회 read 이상 1시간 (beta)2.0x0.1x11회 read 이상 워크로드별 의사결정 hit rate > 70% — 5분 ephemeral OK, 비용 절감 60~80% hit rate 30~70% — 1시간 beta 검토 (충분히 자주 사용 가정) hit rate < 30% — cache 끄기. 사용 안 하는 게 답 저희 운영에서 hit rate < 50%면 1시간 cache도 break-even 어려움. hit rate 끌어올리는 패턴 1. session pinning 같은 사용자의 연속 호출을 같은 server instanc

데이터사이언스현 · Answer

cache는 hit rate가 결정. 사용자 분포가 long tail이면 거의 효과 없어요. 활성 사용자 비율 추적하는 게 먼저입니다.

llm_park · Answer

OpenAI는 cached input price 절반인데(50% 할인) Anthropic은 90% 할인 + write 비용. 워크로드 따라 OpenAI가 유리한 케이스도 있어요. 둘 다 비교해보세요.

코드리뷰러 · Answer

이건 솔직히 vendor lock-in 우려 영역인 것 같아요. 마이그레이션 부담 미리 계산해보는 게 안전합니다.

백수개발자 · Answer

이 부분은 vendor가 다음 minor 버전에서 개선한다는 로드맵 봤어요. 그때까진 위 우회 패턴이 답인 것 같습니다.

깃허브유저 · Answer

주말에 PoC 돌려봤는데 잘 됐어요. 다음 주 production 일부에 단계적 적용 예정입니다.

댓글 0