한줄평
“클라우드에 의존하지 않고 로컬에서 LLM 을 돌리려는 사람에게 사실상 기준점입니다. 모델 파일 준비와 옵션 설정은 어느 정도 학습이 필요합니다.”
이런 분께 이런 분께 — 내 컴퓨터에서 직접 LLM 을 돌려 보려는 분
좋은 점
- GPU 없이도 로컬에서 LLM 구동
- 가볍고 이식성이 좋음
아쉬운 점
- 모델 준비·설정에 배경 지식이 필요합니다
라마.cpp 소개
거대 언어 모델(LLM)을 C/C++ 로 구현한 추론 엔진으로, 별도 서버나 GPU 없이도 개인 PC 에서 모델을 돌릴 수 있게 해 줍니다. 양자화된 모델 파일을 불러와 대화·생성·임베딩 등을 로컬에서 처리하며, 여러 로컬 LLM 도구의 바탕이 되는 프로젝트입니다. 명령줄 실행과 내장 서버 모드를 제공하는 개발자·고급 사용자용 도구입니다.
