AI Knowledge HubLL
llama.cpp
CPU만 있어도 대형 모델을 돌리는 경량 추론 엔진
| 분류 | 모델·API·실행 도구 |
|---|---|
| 실행 환경 | 개인 PC · VPS |
| 설치 난이도 | 보통 |
| 공식 홈페이지 | https://github.com/ggml-org/llama.cpp |
| GitHub | https://github.com/ggml-org/llama.cpp |
| 설치·사용 문서 | https://github.com/ggml-org/llama.cpp#readme |
어떤 프로그램인가?
전용 그래픽카드가 없어도 언어 모델을 실행할 수 있게 해주는 C/C++ 엔진입니다. Ollama 등 여러 도구의 밑바탕 기술이기도 합니다.
무엇을 할 수 있는가?
- CPU·GPU 양쪽 지원
- 양자화로 메모리 사용 절감
- 다양한 모델 형식 지원
누구에게 적합한가?
GPU 없이 CPU로 모델을 돌리거나 내부 동작을 이해하려는 사용자.
장점
- CPU 환경에서도 동작
- 가볍고 이식성이 뛰어남
주의사항
- 직접 쓰려면 빌드·명령 사용에 익숙함 필요
- 속도는 하드웨어에 크게 좌우
직접 테스트
아직 직접 테스트 기록이 없습니다. 확인한 내용만 이곳에 추가됩니다.