Llama 5 8B fine-tune — H100 1대로 1주일 학습 중인데 loss가 안 떨어집니다

Llama 5 8B로 사내 코드 + 문서 데이터(약 80K 샘플) fine-tune 중입니다. H100 1장, 1주일째 학습 중인데 다음 상황:

Step 8000:
  train_loss: 0.42 (시작 1.8 → 점점 감소)
  eval_loss: 1.12 (시작 1.15 → 거의 변화 없음)
  eval_perplexity: 3.06

train loss는 잘 떨어지는데 eval loss는 거의 그대로. overfit인 것 같은데 — 데이터 적나요? hyperparameter 조정인가요?

설정

• LoRA r=16, alpha=32, dropout=0.1
• lr 2e-4, batch 8, gradient acc 4
• warmup 100 step, cosine schedule
• 3 epoch (현재 2.4 epoch)