AI 크롤러 · 수집 기록

봇별 요약 · 최근 24시간
← AI 에이전트 허브
LL

llama-cpp-python

llama.cpp 기반 모델을 파이썬에서 쓰거나 OpenAI 호환 서버로 띄우는 바인딩

분류모델·API·실행 도구
실행 환경개인 PC · VPS
설치 난이도보통
공식 홈페이지https://github.com/abetlen/llama-cpp-python
GitHubhttps://github.com/abetlen/llama-cpp-python
설치·사용 문서https://llama-cpp-python.readthedocs.io/
공식 사이트 방문GitHub설치·사용 문서

어떤 프로그램인가?

llama.cpp를 파이썬 코드에 연결해 GGUF 모델을 직접 불러오거나, OpenAI 호환 API 서버로 실행할 수 있습니다. 로컬 모델을 앱에 내장할 때 유용합니다.

무엇을 할 수 있는가?

  • GGUF 모델 파이썬 바인딩
  • OpenAI 호환 서버 제공
  • GPU 가속 옵션
  • 문법 제약·스펙 샘플링

누구에게 적합한가?

파이썬으로 로컬 LLM을 앱·서비스에 붙이고 싶은 개발자.

장점

  • llama.cpp 성능을 파이썬에서 그대로
  • 서버 모드로 손쉬운 통합
  • 오프라인 동작

주의사항

  • 컴파일·wheel 설치가 다소 까다로움
  • 하드웨어별 빌드 이슈 가능

직접 테스트

아직 직접 테스트 기록이 없습니다. 확인한 내용만 이곳에 추가됩니다.