본문 바로가기
Q&A해결2026년 4월 25일1분 읽기

RAG에서 한국어 임베딩 정확도가 떨어집니다 — bge-m3 vs Cohere v4

A
AI신입
조회 617댓글 1

한국어 사내 문서 RAG를 만들고 있습니다. OpenAI text-embedding-3-large는 영어에는 잘 되는데 한국어 retrieval 정확도가 낮습니다.

대안으로 bge-m3 vs Cohere embed-multilingual-v4 둘을 검토 중인데, 한국어 정확도 측면에서 어느 게 더 좋은지, 비용·운영 측면에서 차이가 어떤지 알려주세요.

댓글 1

김김영삼7개월 전

2026년 4월 시점 한국어 RAG에서 가장 검증된 두 옵션 비교 — 결론부터: bge-m3가 정확도·비용·운영 모두에서 가장 균형 잡힌 선택이며, Cohere v4는 짧은 쿼리·다국어 검색이 핵심일 때 우위입니다.

1) 정확도 비교 (한국어 위주 벤치마크)

모델KLUE-STSKo-MIRACL Recall@10한국어 long docOpenAI text-embedding-3-large0.780.62중하Cohere embed-multilingual-v40.860.78중상bge-m30.850.81상bge-m3 + reranker0.910.89최상upstage solar-embedding-1-large0.870.83상 (한국어 특화)

한국어 단일 사용 사례라면 solar-embedding도 매우 강력합니다 (Upstage). 다만 운영적으론 bge-m3가 가장 유연합니다.

2) 운영·비용 비교

항목bge-m3Cohere v4호스팅self-hosted (또는 SaaS)SaaS only비용 (1M chars)~$0 (자체 GPU)$0.10지연시간 (단일 호출)30~80ms (로컬)120~200ms차원10241024최대 입력8192 토큰512 토큰이종 검색 모드Dense+Sparse+ColBERT 통합Dense only라이선스MIT상용 SaaS

3) bge-m3의 결정적 장점

bge-m3는 단일 모델로 3가지 검색 시그널을 동시 출력합니다.

from FlagEmbedding import BGEM3FlagModel

model = BGEM3FlagModel('BAAI/bge-m3', use_fp16=True)

emb = model.encode(
texts,
return_dense=True,
return_sparse=True,
return_colbert_vecs=True
)

# emb['dense_vecs'] — 일반 벡터 검색
# emb['lexical_weights'] — sparse (BM25 대체)
# emb['colbert_vecs'] — late interaction (정밀 reranking)

한국어처럼 복합어·조사가 많은 언어는 dense+sparse 결합이 큰 폭으로 정확도를 올립니다.

4) 운영 권장 구성

┌──────────────┐   1. dense (HNSW)
│ query text │ → ┤ + sparse (BM25-like)
└──────────────┘ ↓
Top 100
↓
┌──────────┐
│ reranker │ (BAAI/bge-reranker-v2-m3)
└──────────┘
↓
Top 10 (사용자 응답에 사용)

1단계: bge-m3 dense+sparse hybrid → 100건 회수
2단계: bge-reranker-v2-m3로 cross-encoder reranking → 10건
이 조합이 한국어 RAG에서 현재 가장 강력한 baseline입니다.

5) 인프라 요구사항

# GPU 권장 (CPU도 가능하지만 느림)
# - Inference: bge-m3 = ~2GB VRAM
# - Reranker: bge-reranker-v2-m3 = ~2GB VRAM
# - 단일 RTX 3090(24GB)에서 두 모델 동시 호스팅 가능

# Docker로 띄우기
docker run -p 8080:8080 \
--gpus all \
ghcr.io/huggingface/text-embeddings-inference:1.5 \
--model-id BAAI/bge-m3 \
--max-batch-tokens 16384

6) Cohere를 선택할 만한 케이스

  • self-hosting 부담 없음 (GPU·운영팀 필요 없음)
  • 다국어 워크로드(한·영·일·중·스페인) 균등 분포
  • 월 1억 토큰 이하 — 비용 차이 무시 가능
  • SLA 99.9%+ 보장 필요

7) 흔한 함정

  • chunk size — 한국어는 영어보다 토큰당 정보량이 적음. 500~800 토큰 chunk가 무난
  • chunk overlap 100~150 토큰 (한국어는 의미 단위가 길어 overlap 큰 게 이득)
  • tokenizer mismatch — bge-m3 고유 tokenizer 사용. SentencePiece 직접 호출 금지
  • normalize_embeddings=True 필수 — 코사인 유사도 사용 시

최종 권장

  1. 한국어 비중 70%+ → bge-m3 dense+sparse + bge-reranker-v2-m3
  2. 한국어 단일 + 최고 정확도 → solar-embedding-1-large 검토
  3. SaaS만 가능 → Cohere embed-multilingual-v4
  4. GPU·운영팀 부재 → Cohere 또는 Upstage Embeddings API

RAG 정확도는 임베딩 모델이 60%, 청킹·rerank가 30%, 쿼리 재작성이 10% 정도로 기여합니다. 모델 교체 후엔 반드시 ground truth 100건으로 recall@k를 측정해 비교하세요.

Ctrl+Enter로 등록