본문 바로가기
2026년 5월 10일1분 읽기

Anthropic API 한국에서 갑자기 latency 폭증입니다 (P50 1.2초 → 8초)

김
김영삼
조회 719댓글 2

저희 서비스가 Claude Sonnet 4.7을 백엔드로 쓰는데, 오늘(5월 10일) 오후 3시쯤부터 갑자기 응답이 엄청 느려졌습니다.

증상:

  • P50 latency: 평소 1.2초 → 4.5초
  • P95: 평소 3초 → 11초
  • P99: 평소 6초 → 22초 (일부 timeout)
  • 503/529(overloaded) 응답률 7% (평소 0%)

오늘 오전까지는 멀쩡했어요. 코드 변경도 없습니다. status.anthropic.com에는 "All Systems Operational"이라 나오는데 실제로는 명백히 느립니다.

저희 사용 패턴은 시스템 프롬프트 4K + 사용자 입력 평균 800 토큰, 출력 max_tokens=1500. 모델은 claude-sonnet-4-7. 한국 사용자가 대부분이라 일본 도쿄 리전으로 호출하고 있고요. 다른 분들도 비슷한 현상 겪고 계신가요? 임시 대응 방법이 있을까요?

댓글 2

김김영삼6개월 전

저희도 같은 시점부터 비슷한 패턴 관측 중입니다. 정확한 원인은 Anthropic 공식 발표 전까지 추정이지만, 정황은 명확합니다.


정황 — Anthropic 한국 진출 발표(5/10)


5/10 오전 Anthropic이 한국 법인 설립을 공식 발표했고, 오후부터 한국 트래픽이 갑자기 폭증한 것으로 보입니다. status 페이지가 "Operational"인 건 거짓이 아니라, API는 응답을 주긴 주고 있어서 다운으로 분류되지 않음입니다. 단지 평소보다 매우 느린 거죠.


이런 상황에서 short-term 우회 방법 3가지를 권장합니다.


1) Prompt Caching 적극 활용 — 가장 효과 큼


4K 시스템 프롬프트를 매 호출마다 보내고 있으면 큰 손해입니다. cache_control로 캐시하면 같은 시스템 프롬프트 호출 시 latency가 30~70% 단축됩니다(서버 측 캐시).


const res = await client.messages.create({
model: 'claude-sonnet-4-7',
max_tokens: 1500,
system: [
{
type: 'text',
text: SYSTEM_PROMPT_4K,
cache_control: { type: 'ephemeral' }, // ← 5분 캐시
},
],
messages: [{ role: 'user', content: userInput }],
})

비용도 70% 절감. 5분 안에 호출이 몰리면 효과 극대화되니까 batch처럼 모아 보내는 것도 고려해보세요.


2) 모델 fallback — Sonnet → Haiku


워크로드 중 일부는 Haiku 4.5로 충분합니다. retry 전략에 모델 강등을 포함하세요.


async function callWithFallback(messages) {
try {
return await callClaude('claude-sonnet-4-7', messages, { timeout: 15000 })
} catch (e) {
if (e.status === 529 || e.code === 'timeout') {
console.warn('Sonnet overloaded, falling back to Haiku')
return await callClaude('claude-haiku-4-5', messages)
}
throw e
}
}

Haiku는 latency 평균 600ms로 압도적으로 빠르고, 트래픽 폭증에도 거의 영향 없습니다.


3) 리전 변경 — AWS Bedrock 활용


Anthropic 직접 API 대신 Bedrock 서울 리전(ap-northeast-2)으로 Sonnet 4.7 호출하면 latency 분리됩니다. 5/14 MS Build에서 Azure OpenAI 서울 리전에 Claude 추가도 발표됐으니, 일주일 내 Azure 옵션도 열립니다.


현재 트래픽 폭증은 며칠 안에 Anthropic 측 인프라 확장으로 정상화될 가능성이 높습니다. status.anthropic.com과 별개로 community.anthropic.com의 incident 채널도 모니터링해보세요. 운영자 코멘트가 거기 먼저 올라오는 경우가 많습니다.

서서버지기영호6개월 전

SRE 관점에서 한 가지 더 — 이런 외부 API 의존도가 높은 서비스는 latency budget을 평소부터 미리 정해두는 게 좋습니다.


저희가 운영 중인 패턴:



  • P50 timeout: 3초 (평소의 2.5배)

  • P95 timeout: 10초

  • P95 timeout 초과 시 자동 모델 강등 (Sonnet → Haiku → 캐시된 fallback 응답)

  • P99 timeout 초과 시 circuit breaker open — 30초 동안 모든 요청 fallback


코드는 opossum(Node) 같은 circuit breaker 라이브러리로 5분이면 적용됩니다. 이번처럼 외부 API가 느려질 때, 사용자가 8초 기다리다 화내는 대신 "지금은 간단 모드로 응답합니다" 같은 UX로 graceful degrade 가능합니다.


그리고 한국 사용자가 대부분이라면 Bedrock 서울 리전 추천드립니다. Anthropic 직접 API와 가격 동일하고, 한국 트래픽 폭증의 영향을 직접 받지 않습니다. IAM 설정만 한 번 해두면 SDK도 거의 호환됩니다(@aws-sdk/client-bedrock-runtime).

Ctrl+Enter로 등록