GitHub Models로 무료 AI API 사용하기

Question

GitHub에서 AI 모델을 무료로 쓸 수 있다고 들었는데 어떻게 사용하나요?

김영삼 · Accepted Answer

GitHub Models는 GPT-4o, Llama 3, Phi-3 등을 무료로 사용할 수 있는 서비스입니다.

# GitHub 토큰으로 API 호출
curl -X POST "https://models.inference.ai.azure.com/chat/completions" \
  -H "Authorization: Bearer $GITHUB_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o-mini",
    "messages": [{"role":"user","content":"Hello"}]
  }'

사용 가능 모델:

GPT-4o, GPT-4o-mini
Llama 3.1 (8B, 70B, 405B)
Phi-3, Mistral

제한:

Rate limit 있음 (분당 요청 수 제한)
프로덕션 사용은 Azure AI로 전환 필요

프로토타이핑이나 학습 용도로 매우 유용합니다. GitHub 계정만 있으면 됩니다.

댓글 1