본문 바로가기
Q&A2026년 6월 13일1분 읽기

RAG 챗봇이 제공한 문서를 무시하고 엉뚱한 답을 합니다

m
ml_engineer_kim
조회 834댓글 1

사내 위키로 RAG 챗봇을 만들었는데, 분명 관련 문서가 있는 질문인데도 엉뚱하거나 옛날 정보를 그럴듯하게 답합니다. top_k=5로 뽑아 프롬프트에 넣고 있습니다. 어디부터 봐야 할까요?

환경: 임베딩 기반 벡터 검색 + LLM, 문서 수천 건

댓글 1

김김영삼5개월 전

RAG 오답은 90%가 "생성"이 아니라 "검색" 문제입니다. 먼저 검색된 5개 청크를 눈으로 확인하세요 — 그 안에 정답 근거가 있나요?


근거가 없으면(검색 실패) — 이쪽이 대부분


  • 청킹: 문서를 통째로/너무 크게 임베딩하면 핵심이 평균에 묻힙니다. 300~800토큰, 10~20% 오버랩, 의미 단위로 자르세요.

  • 하이브리드 검색: 벡터만으론 고유명사·코드·에러코드를 놓칩니다. BM25(키워드) + 벡터를 합치면 적중률이 확 오릅니다.

  • 리랭커: top_k를 20~30으로 넓게 뽑은 뒤 리랭커로 상위 5개를 재정렬해 프롬프트에 넣으세요.

근거가 있는데 틀리면(생성 문제)


  • 프롬프트에 "제공된 컨텍스트에만 근거해 답하고, 없으면 '자료에 없음'이라고 답하라" 명시

  • 각 청크에 출처 ID를 붙이고 답변에 인용하게 해 환각을 억제

먼저 "검색된 청크에 답이 있는지"만 확인하면 어느 쪽 문제인지 바로 갈립니다. 보통 청킹+하이브리드만 손봐도 체감이 큽니다.

Ctrl+Enter로 등록