Claude 4.9로 업그레이드 후 production 챗봇 응답이 가끔 5초로 늘었습니다. 평소 0.8s.
로그 분석 — 응답 시간 5초인 호출은 모두 extended thinking 토큰 4,000+ 사용. 사용자 질문은 단순한 인사 "안녕하세요" 같은 것도 가끔.
"안녕하세요"에 thinking 4,000 토큰... 어떻게 끄나요?
const response = await anthropic.messages.create({
model: 'claude-sonnet-4-9',
max_tokens: 1024,
messages: [{ role: 'user', content: '안녕하세요' }],
})
// 응답 5.2초, thinking 4,200 토큰 사용
댓글 5
4.9에서 extended thinking이 자동 활성되어 단순 질문에도 가끔 가동. 끄는 방법 정리.
1. thinking 비활성
강제로 OFF. 단순 응답 0.5초.
2. budget 제한 — auto일 때
3. 시스템 prompt로 thinking 억제
덜 strict하지만 자연어로 thinking 거의 안 함.
4. 라우터 패턴
질문 유형에 따라 분기. 단순 질문은 Haiku 4.9, 복잡 질문은 Sonnet thinking ON.
저희 운영
평균 응답 시간 1.4초 안정. thinking 비용 -78% 절감.
4.9의 자동 thinking은 좋은 방향이지만 chat 응용 프로그램에서는 latency 부담입니다. budget 200 정도가 안전한 기본값.