기술노트 — AI·풀스택·인프라 실전 개발 지식 | 영삼넷

본문 바로가기

LLM 평가(Eval) 파이프라인 만들기 — 회귀 없이 프롬프트·모델 배포하기

골든셋·LLM-as-judge·오프라인/온라인 평가·CI 회귀 게이트로 LLM 평가 파이프라인을 만드는 방법을 정리했다. 프롬프트나 모델을 바꿔도 회귀를 배포 전에 잡아내는 실전 코드와, 실무에서 데인 함정까지 담았다.

#LLM평가#eval#LLM-as-judge

LLM-as-a-Judge — LLM으로 채점하기, 편향과 보정 실전

정답 없는 LLM 출력을 다른 LLM에게 채점시키는 LLM-as-a-Judge. 위치·장황함 편향을 순서 뒤집기로 잡고, 골든셋 메타 평가로 심판을 검증하는 실전법.

#LLM-as-a-Judge#LLM 평가#쌍 비교