Claude API 1M 컨텍스트 사용 시 비용이 폭발 — 청킹 전략은?

Question

Claude Opus 4.7의 1M 컨텍스트 기능을 쓰니까 코드베이스 분석에 너무 좋은데, 한 호출에 토큰 30~50만이 들어가면서 호출당 $5~10씩 비용이 폭발합니다.

전체를 한 번에 넣지 않고 잘라서 보내고 싶은데, RAG처럼 임베딩 기반 검색으로 가야 할지, 다른 청킹 전략이 있는지 알려주세요.

김영삼 · Accepted Answer

1M 컨텍스트의 비용 구조를 이해하면 거의 모든 케이스에서 비용을 1/5~1/10로 줄일 수 있습니다. 전략은 4가지가 있고, 워크로드에 따라 선택이 달라집니다.비용 구조 (Claude Opus 4.7)항목가격 (1M 토큰)입력 (일반)$15입력 (cache write)$18.75 (1.25배)입력 (cache hit)$1.50 (0.1배)출력$75핵심 통찰: cache hit가 정가의 10%입니다. 같은 컨텍스트를 반복 호출하면 cache hit로 90% 절감.전략 1) Prompt Caching (가장 효과 큼)// 코드베이스를 cache_control로 마킹
{
  "model": "claude-opus-4-7",
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "<codebase>...300K tokens.

댓글 0