서비스에 ChatGPT API를 연동했는데 비용이 예상보다 많이 나옵니다.
현재 상황:
- GPT-4o 사용 중, 하루 약 5000건 요청
- 월 비용 약 200만원
- 용도: 사용자 질문에 대한 답변 생성, 텍스트 요약, 분류
비용을 줄이면서도 품질을 유지할 수 있는 방법이 있을까요? 모델을 바꾸거나, 캐싱을 하거나, 프롬프트를 줄이는 것 중에 뭐가 효과적인지 궁금합니다.
서비스에 ChatGPT API를 연동했는데 비용이 예상보다 많이 나옵니다.
현재 상황:
비용을 줄이면서도 품질을 유지할 수 있는 방법이 있을까요? 모델을 바꾸거나, 캐싱을 하거나, 프롬프트를 줄이는 것 중에 뭐가 효과적인지 궁금합니다.
댓글 0