기술노트 — AI·풀스택·인프라 실전 개발 지식 | 영삼넷

본문 바로가기

Llama.cpp 로컬 LLM 최적화 — 양자화와 GGUF 포맷

llama.cpp를 활용한 로컬 LLM 실행 시 양자화 수준별 성능 차이와 GGUF 포맷의 구조를 분석하고 최적 설정을 찾는 방법입니다.

#Llama#양자화#GGUF

Ollama 로컬 LLM 실행 — Llama 2·Mistral·Phi

Ollama 로컬 LLM 실행 — Llama 2·Mistral·Phi — 실무에서 바로 적용할 수 있는 가이드입니다.

#Ollama#로컬LLM#Llama