빅테크에 가려진 숨은 진주 LLM 4선 로컬과 API로 쓰는 실전 가이드
결론부터 말하면, GPT와 Claude, Qwen 같은 매머드급 모델에 가려져 있지만 실전 가성비로는 오히려 앞서는 숨은 고수들이 있다. 코딩과 가벼운 논리 추론은 Phi-4 같은 소형 거인으로 집 컴퓨터 안에서 공짜로 해결하고, 다단계 자동화나 긴 컨텍스트 처리가 필요할 땐 OpenCode 플랫폼을 통해 숨은 고수들을 API로 연결해 쓰는 것이 비용과 스트레스를 모두 잡는 가장 영리한 방법이다. 단, 4종 중 진짜 로컬로 돌아가는 것과 API로만 써야 하는 것을 정확히 구분해야 삽질을 안 한다.
0. 4종 한눈 비교: 로컬 가능 여부를 먼저 보라
| 모델 | 체급 | 로컬 구동 | 권장 사용법 |
|---|---|---|---|
| Phi-4 14B | 14B dense | 가능 (Q4 약 8.4GB) | 집 PC 로컬 상시 대기 |
| Nemotron 3.5 Lightning | 30B (활성 3B) | 가능 (Q4 약 17GB, 24GB GPU) | 로컬 에이전트 실행층 |
| GLM-5.3-Flash | 320B (활성 18B) | 불가 (클러스터급) | API로 연결 (저렴) |
| MiniMax M3 | 428B (활성 23B) | 불가 (클러스터급) | API로 연결 (저렴) |
1. Microsoft Phi-4 14B: 덩치는 미니, 대가리는 천재
마이크로소프트가 합성 데이터로 빚어낸 14B dense 모델이다. MIT 라이선스이며 허깅페이스에서 가중치를 바로 받을 수 있다. 컨텍스트는 16K로 짧지만, 추론 밀도가 체급을 배반한다.
| 벤치마크 | Phi-4 14B | 비교 대상 | 의미 |
|---|---|---|---|
| MMLU | 84.8 | Qwen2.5-14B 79.9 | 동체급 압살 |
| GPQA (박사급 과학) | 56.1 | GPT-4o 50.6 | 스승(GPT-4 계열)을 제자가 이김 |
| MATH | 80.4 | Qwen2.5-72B 80.0 | 5배 큰 모델과 동점 |
| HumanEval (코딩) | 82.6 | Llama-3.3-70B 78.9 | 70B를 이김 |
| MGSM (다국어 수학) | 80.6 | GPT-4o-mini 86.5에 근접 | 소형인데 선방 |
출처는 마이크로소프트 테크리포트(arXiv:2412.08905)와 공식 모델 카드의 simple-evals 실측치다.
추천 용도: 개인 PC 환경에서 안전하게 보안 및 개인 코드 에이전트를 구동하고 싶을 때 최고의 선택지다. 외부 전송 없이 집 안에서 코드를 분석하므로 기밀 코드도 안심이다.
로컬 구동법은 다음과 같다.
ollama pull phi4:14b
ollama run phi4:14b
Q4_K_M 기준 약 8.4GB이므로 12GB 이상 GPU에서는 여유롭게, 8GB GPU에서도 짧은 컨텍스트로는 동작한다. 운영자 환경 측정 기준은 아니나, 14B dense 특성상 16GB 환경이 가장 쾌적하다.
정직한 단점도 있다. 컨텍스트 16K라서 통째로 밀어 넣는 대용량 작업은 불가하고, 지시 이행(IFEval 63.0)이 약해 복잡한 다단계 지시는 한 번에 하나씩 쪼개서 줘야 한다.
2. MiniMax M3: 100만 토큰을 통째로 삼키는 가성비 괴물
MiniMax M3는 총 428B, 활성 23B의 MoE다. MiniMax Sparse Attention(MSA)이라는 자체 희소 어텐션으로 1M 컨텍스트에서 프리필 9배, 디코드 15배 가속을 달성했다. 네이티브 멀티모달(텍스트+이미지+비디오)이며 오픈 웨이트다.
하지만 분명히 말한다. 428B는 로컬 모델이 아니다. 집 PC에 올리겠다는 생각은 버려라. 이 모델의 가치는 OpenRouter나 Z.ai급 API를 OpenCode에 물려 대용량 작업을 싸게 처리하는 데 있다.
추천 용도: 수많은 텍스트 데이터와 참고 자료들을 한 번에 밀어 넣고 분석해야 하는 대용량 지식 관리 자동화 워크플로우에 최적이다. 1M 컨텍스트라서 레포 통째 분석, 장문 문서 일괄 요약을 한 번의 호출로 끝낸다.
# OpenCode에서 저가 라인으로 M3 계열을 호출하는 예시
opencode run --model minimax/m3 "docs/ 폴더 전체를 읽고 API 명세를 정리해줘"
3. GLM-5.3-Flash와 GLM-5.2: 긴 호흡의 코딩과 에이전트 최적화
Zhipu AI의 GLM 형제는 오픈 웨이트 진영의 코딩 최강 라인이다. 두 모델의 관계가 재미있다. 형(GLM-5.2, 744B)은 거대하고, 동생(Flash, 320B)은 작지만 더 싸고 오히려 더 세다.
| 벤치마크 | GLM-5.3-Flash (320B) | GLM-5.2 (744B) | Opus 4.8 (비교) |
|---|---|---|---|
| Terminal-Bench 2.1 | 84.3 | 81.0 | 85.0 |
| DeepSWE v1.1 | 63.4 | 46.2 | 58.0 |
| AutomationBench | 48.8 | 26.2 | 41.0 |
| 컨텍스트 | 1M | 1M | 1M |
Flash가 5.2 가격의 10분의 1이면서 전 항목에서 이긴다. AutomationBench에서는 Opus 4.8마저 넘는다. 비밀은 하이브리드 희소+선형 어텐션과 mHC(Manifold-Constrained Hyper-Connections) 아키텍처, 그리고 활성 파라미터를 18B로 쥐어짠 설계다. MIT 라이선스라 가중치도 공개되어 있다.
추천 용도: 복잡한 API 연동, 브라우저 크롤링, 파일 제어 등 생산성 에이전트 자동화 파이프라인의 메인 뇌로 쓰는 것이 좋다. reasoning_effort 파라미터(low/high/max)로 생각 깊이를 조절할 수 있어, 단순 분류는 low로 싸게, 심층 코딩은 max로 세게 돌리는 탄력 운용이 가능하다.
320B급이라 로컬은 서버 클러스터가 아니면 불가하다. Z.ai 공식 API나 OpenRouter 중계로 OpenCode에 연결해 쓰는 것이 정답이다.
4. NVIDIA Nemotron 3.5 Lightning 30B: 에이전트 특화 하이브리드
엔비디아가 에이전트 실행층을 위해 전문 설계한 모델이다. 총 30B 중 토큰당 3B만 활성화되는 MoE인데, 특이하게 Mamba-2 23층 + 어텐션 6층 + MoE 23층을 섞은 하이브리드다. Mamba가 긴 시퀀스를 선형 시간에 처리하므로 컨텍스트가 최대 1M까지 늘어나면서도 속도가 안 죽는다. Multi-Token Prediction과 DSpark 추론 가속이 기본 탑재되어 있다.
NVFP4 양자화 버전은 DGX Spark나 RTX 5090 단일 GPU에서 돌도록 공식 지원되며, GGUF Q4 기준 약 17GB이므로 RTX 3090/4090 24GB 환경에서 로컬 상시 구동이 가능하다.
추천 용도: 레이턴시가 없어야 하는 실시간 비서 시스템, 도구 호출-결과 검증-하위 에이전트 위임을 반복하는 장시간 에이전트의 실행층 워크호스로 훌륭하다. 생각 모드를 켜고 끌 수 있어 단순 도구 호출은 생각 없이 빠르게, 판단이 필요할 때만 깊게 돌린다.
ollama pull nemotron-3.5-lightning:30b 2>/dev/null || echo "허깅페이스 GGUF를 llama.cpp로 직접 구동"
정직한 단점: 공식 지원 언어가 영어와 유럽어 위주라 한국어는 1급 시민이 아니다. 한국어 기획서 이해는 Phi-4나 Qwen에 맡기고, Nemotron은 영어 프롬프트의 도구 호출 전담으로 쓰는 분업이 현명하다.
5. 최종 배치 전략: 집과 클라우드의 분업
| 역할 | 담당 모델 | 위치 | 비용 |
|---|---|---|---|
| 기밀 코드 분석, 일상 코딩 | Phi-4 14B | 집 PC 로컬 | 0원 |
| 도구 호출, 서브에이전트 실행 | Nemotron 30B | 집 PC 로컬 (24GB) | 0원 |
| 레포 통째 분석, 장문 지식관리 | MiniMax M3 | OpenCode API | 건당 수십원 |
| 복잡 코딩, 장시간 자동화 | GLM-5.3-Flash | OpenCode API | Opus의 10분의 1 이하 |
매머드 모델의 마케팅에 지갑을 열기 전에, 이 숨은 고수 4종으로 로컬은 공짜로, 클라우드는 10분의 1로 해결되는지 먼저 따져보라. 아는 만큼 아끼는 것이 에이전트 시대의 생존법이다.