본문 바로가기

NEWS

뉴스

AI, 개발, IT 업계의 최신 소식을 전합니다.

태그 필터:prompt caching
"prompt caching" 태그 뉴스
전체 1건
08.19
AI
LLM 토큰 비용 줄이기 — 프롬프트 캐싱과 모델 라우팅
LLM 서비스 비용의 상당수는 매번 다시 보내는 입력에서 나온다. 프롬프트 캐싱·모델 라우팅·컨텍스트 압축으로 품질을 지키며 토큰 비용을 줄이는 법을 정리했다.