사내 RAG 챗봇을 운영 중인데 이번 달 API 청구액이 갑자기 몇 배로 뛰었습니다. 근데 사용자 수나 대화량은 지난달이랑 비슷해요. 어디서 돈이 새는지 감이 안 잡힙니다.
구조는 흔한 형태예요. 유저 질문 들어오면 벡터DB에서 관련 문서 top-k 뽑아서, system 프롬프트(회사 톤앤매너 + few-shot 예시 몇 개)랑 검색된 문서를 다 합쳐서 매 요청마다 통째로 프롬프트에 넣고 답변을 생성합니다. system이랑 예시는 거의 고정이고, 문서도 질문별로 크게 안 변하는 편이고요.
최근에 검색 품질 높이려고 top-k를 좀 늘리고 문서 청크 크기도 키운 것 말곤 큰 변화가 없는데, 그게 이렇게까지 비용에 영향을 줄까요? 어디를 로그로 찍어봐야 원인이 보일까요?
댓글 0