환각(Hallucination)이란?
LLM이 실제로는 틀린 정보를 사실처럼 생성하는 현상이다. 존재하지 않는 API·함수·사람 이름을 지어내는 경우가 대표적이다.
왜 발생하나
- LLM은 확률적으로 그럴듯한 토큰을 예측 — 진실성 보장 아님
- 학습 데이터에 없는 최신 정보엔 특히 취약
- 지시가 모호하면 자신 있게 추측
완화 방법
- RAG로 근거 문서 주입
- Tool use로 외부 사실 검증
- "모르면 모른다고 답하라" 명시
- 답변에 인용(citation) 요구
- 체크 루프 — 두 번째 모델이 첫 답변 검증