뉴스

메타가 9월 초 조용히 출시한 Muse Spark 1.3은 보도에 따르면 블렌디드 100만 토큰당 약 $0.10의 저가 모델이다. 이 가격 파괴가 실무 비용에 뭘 바꾸는지, 저가·오픈웨이트 모델을 라우팅·폴백 전략에 어떻게 넣는지 코드와 함께 정리한다.

LLM 서비스 비용의 상당수는 매번 다시 보내는 입력에서 나온다. 프롬프트 캐싱·모델 라우팅·컨텍스트 압축으로 품질을 지키며 토큰 비용을 줄이는 법을 정리했다.