본문 바로가기
Q&A해결2025년 1월 10일1분 읽기

LLM API 비용 줄이는 방법 고민입니다

데이터사이언스현
조회 935댓글 4

서비스에 ChatGPT API를 연동했는데 비용이 예상보다 많이 나옵니다.

현재 상황:

  • GPT-4o 사용 중, 하루 약 5000건 요청
  • 월 비용 약 200만원
  • 용도: 사용자 질문에 대한 답변 생성, 텍스트 요약, 분류

비용을 줄이면서도 품질을 유지할 수 있는 방법이 있을까요? 모델을 바꾸거나, 캐싱을 하거나, 프롬프트를 줄이는 것 중에 뭐가 효과적인지 궁금합니다.

댓글 0

아직 댓글이 없습니다.
Ctrl+Enter로 등록