환각(Hallucination)이란?

LLM이 실제로는 틀린 정보를 사실처럼 생성하는 현상이다. 존재하지 않는 API·함수·사람 이름을 지어내는 경우가 대표적이다.

왜 발생하나

  • LLM은 확률적으로 그럴듯한 토큰을 예측 — 진실성 보장 아님
  • 학습 데이터에 없는 최신 정보엔 특히 취약
  • 지시가 모호하면 자신 있게 추측

완화 방법

  • RAG로 근거 문서 주입
  • Tool use로 외부 사실 검증
  • "모르면 모른다고 답하라" 명시
  • 답변에 인용(citation) 요구
  • 체크 루프 — 두 번째 모델이 첫 답변 검증