이번에 나온 GPT-5.6이 토큰 효율이 좋다길래 기존 모델에서 갈아탔는데, 한 주 써보니 API 비용이 오히려 20% 정도 늘었습니다. 같은 기능, 같은 트래픽인데요. 플래그십(Sol)으로 다 돌리고 있긴 한데, 효율이 좋다면서 왜 더 나오는 건지 모르겠습니다. 제가 뭘 놓치고 있나요?
이번에 나온 GPT-5.6이 토큰 효율이 좋다길래 기존 모델에서 갈아탔는데, 한 주 써보니 API 비용이 오히려 20% 정도 늘었습니다. 같은 기능, 같은 트래픽인데요. 플래그십(Sol)으로 다 돌리고 있긴 한데, 효율이 좋다면서 왜 더 나오는 건지 모르겠습니다. 제가 뭘 놓치고 있나요?
댓글 4
몇 가지가 겹쳤을 가능성이 높습니다. "토큰 효율이 좋다"는 건 같은 작업에 출력 토큰을 덜 쓴다는 뜻이지, 어떤 모델을 골라도 싸진다는 말이 아니거든요. 하나씩 보시죠.
1. 전부 Sol(플래그십)로 돌리고 있진 않나요?GPT-5.6은 Sol·Terra·Luna 3종입니다. Sol은 입력 $5/출력 $30로 가장 비싸요. 작업 대부분이 분류·요약·간단한 추출이라면 Terra($2.50/$15)나 Luna($1/$6)로 라우팅하는 것만으로 절반 이하가 됩니다.
작업권장 모델복잡한 추론·코딩Sol일반 요약·대화Terra분류·간단 추출·대량 처리Luna2. 프롬프트 캐싱을 쓰고 있나요?시스템 프롬프트·문서 컨텍스트가 매 요청 반복된다면, 캐싱을 켜면 그 부분 입력 비용이 크게 줄어듭니다. 안 쓰고 있으면 반복되는 긴 입력을 매번 정가로 내고 있는 거예요.
3. 입력 토큰이 늘지 않았나요?출력은 효율화됐어도, 컨텍스트(대화 이력·RAG 문서)를 예전보다 많이 넣고 있으면 입력 비용이 그만큼 늘어납니다. 실제 요청 로그에서 입력/출력 토큰을 나눠서 어디가 늘었는지 보세요.
먼저 할 일대시보드에서 모델별·작업별 토큰을 쪼개 보시고, 작업 난이도에 따라 모델을 라우팅하는 것부터 하세요. 전부 Sol로 도는 게 비용 증가의 십중팔구 원인입니다.
완벽하게 나눌 필요는 없고, 실용적으로 접근하면 됩니다. 흔히 쓰는 방법들입니다.
제 권장은 기능 단위 고정부터 시작하는 겁니다. 오버엔지니어링하지 말고, 우선 "이 기능엔 이 모델"만 정해도 비용이 눈에 띄게 잡힙니다. 그다음 트래픽 많은 기능만 에스컬레이션으로 정교화하세요.