기술노트 — AI·풀스택·인프라 실전 개발 지식 | 영삼넷

본문 바로가기

LLM 평가(Eval) 파이프라인 만들기 — 회귀 없이 프롬프트·모델 배포하기

골든셋·LLM-as-judge·오프라인/온라인 평가·CI 회귀 게이트로 LLM 평가 파이프라인을 만드는 방법을 정리했다. 프롬프트나 모델을 바꿔도 회귀를 배포 전에 잡아내는 실전 코드와, 실무에서 데인 함정까지 담았다.

#LLM평가#eval#LLM-as-judge

RAG 검색 평가지표 — Recall@k·MRR·nDCG로 검색 품질 재기

Recall@k·MRR·nDCG로 검색 단계를, faithfulness로 생성 단계를 재는 RAG 평가지표를 정리했다. 소규모 평가셋 만들기부터 지표를 층으로 나눠 검색이 문제인지 프롬프트가 문제인지 원인을 갈라내는 실전 진단법까지 담았다.

#RAG#검색평가#Recall