Temperature란?
LLM이 다음 토큰을 고를 때 확률 분포를 얼마나 평탄하게 만들지 결정하는 하이퍼파라미터다.
값 가이드
- 0 — 가장 확률 높은 토큰만 선택 (결정론적)
- 0.2~0.5 — 사실 기반 답변, 코드, 분류
- 0.7~0.9 — 창의적 글쓰기, 아이디어 도출
- 1.0+ — 매우 무작위, 실험용
Top-p와 조합
Temperature 단독보다 top-p와 함께 쓰는 것이 실무 표준. 한쪽만 쓰고 다른 쪽은 기본값 권장.
LLM 샘플링 시 출력 무작위성을 조절하는 파라미터. 0이면 결정적, 1 이상이면 창의적·예측 불가.
LLM이 다음 토큰을 고를 때 확률 분포를 얼마나 평탄하게 만들지 결정하는 하이퍼파라미터다.
Temperature 단독보다 top-p와 함께 쓰는 것이 실무 표준. 한쪽만 쓰고 다른 쪽은 기본값 권장.