사내 위키로 RAG 챗봇을 만들었는데, 분명 관련 문서가 있는 질문인데도 엉뚱하거나 옛날 정보를 그럴듯하게 답합니다. top_k=5로 뽑아 프롬프트에 넣고 있습니다. 어디부터 봐야 할까요?
환경: 임베딩 기반 벡터 검색 + LLM, 문서 수천 건
사내 위키로 RAG 챗봇을 만들었는데, 분명 관련 문서가 있는 질문인데도 엉뚱하거나 옛날 정보를 그럴듯하게 답합니다. top_k=5로 뽑아 프롬프트에 넣고 있습니다. 어디부터 봐야 할까요?
환경: 임베딩 기반 벡터 검색 + LLM, 문서 수천 건
댓글 1
RAG 오답은 90%가 "생성"이 아니라 "검색" 문제입니다. 먼저 검색된 5개 청크를 눈으로 확인하세요 — 그 안에 정답 근거가 있나요?
근거가 없으면(검색 실패) — 이쪽이 대부분
근거가 있는데 틀리면(생성 문제)
먼저 "검색된 청크에 답이 있는지"만 확인하면 어느 쪽 문제인지 바로 갈립니다. 보통 청킹+하이브리드만 손봐도 체감이 큽니다.