Qwen 3.8 (27B), 8GB 노트북에서 돌아간다고? 팩트체크
Qwen 3.8 (27B), 8GB 노트북에서 돌아간다고? 팩트체크
최근 유튜브와 로컬 AI 커뮤니티에서 "VRAM 8GB짜리 저사양 노트북에서도 무려 270억 파라미터짜리 최신 Qwen 3.8 모델이 돌아간다"는 식의 영상이나 글이 쏟아지고 있습니다. 결론부터 말씀드리면, "돌아는 간다"는 말은 technically 맞지만, 실무에선 사용이 불가능한 수준입니다.
이 글에서는 동일한 모델, 동일한 조건에서 측정한 실측 데이터를 바탕으로 진짜 실상을 폭로합니다.
1. "돌아는 간다"는 말의 처참한 수치 비교
동일한 모델(Qwen3.8-27B, Q4_K_M 양자화 버전, 디스크 용량 17GB)을 사용하여 완전히 동일한 스크립트와 프롬프트로 측정한 결과입니다.
| 평가 항목 | 8GB 노트북 (RTX 4060) | 클라우드 서버 (RTX 4090) |
|---|---|---|
| 장착 VRAM | 8GB (낚시글들이 말하는 환경) | 24GB (제대로 된 환경) |
| 초당 토큰 생성 수 | 0.26 tokens/sec (한 글자 나오는 데 수 초 걸림) | 86.67 tokens/sec (날아다님) |
| 모델 로딩 속도 | 73.5초 (처음 불러올 때 한참 걸림) | 6.7초 (눈 깜짝 새 로드) |
| VRAM 점유 방식 | 모델의 78%가 CPU(RAM)에 상주 | 모델 100%가 VRAM에 상주 |
333배 차이입니다. 같은 모델이라도 환경에 따라 체감 속도가 완전히 다릅니다.
2. 왜 8GB 노트북에서는 기어갈까? (물리적 원리)
모델의 크기 vs GPU 메모리
Qwen3.8-27B Q4_K_M 양자화 버전의 디스크 크기는 약 17GB입니다. 이것을 GPU 메모리(VRAM)에 올려야 빠르게 추론할 수 있는데, VRAM이 8GB뿐이면 모델의 약 53%만 GPU에 올라갑니다.
나머지 47%는 CPU 메모리(RAM)로 밀려납니다. 이 과정에서 GPU와 CPU 사이를 PCIe 버스로 데이터를 주고받는데, 이 병목이 치명적입니다.
PCIe 대역폭 병목
GPU VRAM 대역폭: ~1,008 GB/s (RTX 4090 GDDR6X)
CPU↔GPU PCIe 대역폭: ~32 GB/s (PCIe Gen4 x16)
차이: 31.5배
모델 가중치의 절반 이상을 CPU에서 GPU로 실시간으로 옮겨가면서 추론해야 하므로, 토큰 생성 속도가 극단적으로 느려집니다.
실제 작동 방식
- GPU가 첫 번째 레이어를 처리
- 다음 레이어가 CPU 메모리에 있으면 PCIe 버스로 데이터 전송 대기
- 전송 완료 후 GPU가 다음 레이어 처리
- 이를 레이어 수만큼 반복
이 과정이 토큰 하나 생성할 때마다 반복되므로, 0.26 t/s라는 수치가 나오는 것입니다.
3. GPU vs CPU: 왜 속도 차이가 이렇게 클까?
LLM 추론은 동일한 연산을 수천 번 반복하는 작업입니다. 이 특성 때문에 GPU와 CPU의 구조적 차이가 속도에 그대로 반영됩니다.
GPU의 특징 (그래픽카드)
| 특성 | 설명 | LLM 추론에 미치는 영향 |
|---|---|---|
| 코어 수 | 수천 개 (RTX 4090: 16,384개 CUDA 코어) | 여러 토큰을 동시에 병렬 처리 가능 |
| 메모리 대역폭 | 매우 높음 (GDDR6X: 1,008 GB/s) | 모델 가중치를 빠르게 읽어옴 |
| 클럭 속도 | 상대적으로 낮음 (2~3 GHz) | 개별 연산 하나는 느림 |
| 설계 목적 | 동일한 연산의 대규모 병렬 처리 | 수천 개가 같은 일을 동시에 하기에 적합 |
핵심: GPU는 "느리지만 수천 명이 동시에 일하는 공장"과 같습니다.
CPU의 특징 (프로세서)
| 특성 | 설명 | LLM 추론에 미치는 영향 |
|---|---|---|
| 코어 수 | 적음 (보통 8~16개) | 동시에 처리할 수 있는 연산이 제한적 |
| 메모리 대역폭 | 낮음 (DDR5 듀얼채널: ~80 GB/s) | 모델 가중치를 천천히 읽어옴 |
| 클럭 속도 | 높음 (4~5 GHz) | 개별 연산 하나는 빠름 |
| 설계 목적 | 다양한 작업의 순차/일부 병렬 처리 | 수천 번 반복에는 맞지 않음 |
핵심: CPU는 "빠르지만 몇 명 안 되는 숙련공"과 같습니다. 복잡한 하나의 작업은 잘하지만, 같은 일을 수천 번 반복하는 데는 비효율적입니다.
직접 비교: LLM 추론 시
[GPU] 수천 개 코어가 동시에 모델의 각 레이어를 처리
-> 1초에 86.67개 토큰 생성 (RTX 4090, 24GB)
[CPU] 8~16개 코어가 번갈아가며 처리
-> 1초에 3~5개 토큰 생성 (고사양 CPU 기준)
[GPU 8GB + CPU 오프로딩] GPU가 처리하다 메모리 부족 -> CPU로 넘김 -> PCIe 대기 -> GPU로 복귀
-> 1초에 0.26개 토큰 생성 (병목의 연속)
메모리 대역폭이 핵심인 이유
LLM 추론은 각 토큰을 생성할 때마다 전체 모델 가중치를 한 번씩 읽어야 합니다. 따라서 토큰 생성 속도는 다음 공식으로 거의 결정됩니다.
토큰 생성 속도 = 메모리 대역폭 (GB/s) / 모델 크기 (GB)
| 환경 | 대역폭 | 모델 크기 | 이론적 TPS | 실제 TPS |
|---|---|---|---|---|
| RTX 4090 (24GB VRAM) | 1,008 GB/s | 17GB | ~59 t/s | 86.67 t/s |
| RTX 4060 (8GB VRAM, CPU 오프로딩) | ~32 GB/s (PCIe) | 17GB | ~1.9 t/s | 0.26 t/s |
| 고사양 CPU만 사용 | ~80 GB/s (DDR5) | 17GB | ~4.7 t/s | ~3~5 t/s |
RTX 4090이 1,008 GB/s로 모델 가중치를 쏟아붓는 동안, 8GB 환경의 PCIe는 32 GB/s로 찔끔찔끔 옮겨야 합니다. 이 31.5배 대역폭 차이가 333배 속도 차이로 이어지는 것입니다.
한눈에 보는 GPU vs CPU
| 비교 항목 | GPU (그래픽카드) | CPU (프로세서) |
|---|---|---|
| 적합한 작업 | 반복적 병렬 연산 (LLM, 이미지 생성) | 다양하고 복잡한 순차 연산 |
| 코어 수 | 수천 개 | 8~16개 |
| 메모리 | VRAM (빠름, 비쌈) | RAM (느림, 쌂음) |
| LLM 속도 | 매우 빠름 (모델이 VRAM에 들어갈 때) | 매우 느림 |
| 가격 | 비쌈 (RTX 4090: 300만원+) | 상대적으로 쌂음 |
| 전력 소비 | 높음 (300~500W) | 낮음 (65~125W) |
4. "기능은 전부 된다"는 말이 나온 이유
8GB 노트북에서도 모델이 "Ⓕ종료"되거나 크래시가 나지 않는 이유가 있습니다. 현재 최신 추론 엔진(llama.cpp, vLLM 등)은 CPU 오프로딩을 통해 모델의 일부를 CPU 메모리에 올려놓고 어떻게든 동작시킵니다.
그래서 다음과 같은 기능들은 원활하진 않지만 작동합니다.
- 생각하기 (Thinking): 계산이나 수학 질문을 던지면 내부 추론 과정을 거친 후 정답을 출력
- Tool Calling: API 스키마를 정확하게 읽고 지시한 규격에 맞는 함수 호출 문법을 반환
- 시각 능력 (Vision): 커스텀 막대그래프를 입력해도 해석 가능
- 코드 에이전트 연동: Qwen 3.8을 두뇌 모델로 런칭하여 개발에 연동하는 작업도 정상 작동
하지만 이 모든 기능이 느리게 작동합니다. "된다"와 "편하게 쓸 수 있다"는 완전히 다른 개념입니다.
5. 실제 체감 속도 비교
| 작업 유형 | 8GB (0.26 t/s) | 24GB (86.67 t/s) |
|---|---|---|
| "안녕" 응답 | 약 30초 (한 문장) | 약 0.5초 |
| 코드 10줄 생성 | 약 5~10분 | 약 3초 |
| 긴 프롬프트 응답 | 10~20분 이상 | 10~30초 |
| 장문 요약 | 사실상 사용 불가 | 1~2분 |
8GB 환경에서는 "問"하고 "答" 사이에 커피 한 잔 마시고 와야 할 정도입니다.
6. VRAM별 현실적인 모델 선택 가이드
| VRAM | 현실적 선택 | 체감 속도 |
|---|---|---|
| 8GB | Qwen3-4B, Gemma4 E4B (Q4_K_M) | 30~50 t/s (쾌적) |
| 12GB | Llama 3.1 8B, Qwen3 8B (Q4_K_M) | 45~75 t/s (쾌적) |
| 16GB | Qwen 2.5 14B (Q4_K_M) | 30~40 t/s (쾌적) |
| 24GB | Qwen3.8-27B (Q4_K_M) | 70~86 t/s (쾌적) |
| 24GB | Qwen3.8-27B (Q8_0) | 45~55 t/s (사용 가능) |
핵심: VRAM 24GB가 27B 모델의 실사용 기준선입니다.
7. 낚시글에 낚이지 않기 위한 최종 결론
8GB 그래픽카드 유저라면
"돌아는 가니까 신기해서 한두 번 테스트해 볼 순 있습니다. 하지만 이걸로 실무를 하거나 실시간 채팅을 하겠다는 생각은 버리세요. 숨이 넘어갈 정도로 느려서 정신건강에 해롭습니다."
차라리 8GB 환경에서는 Qwen3-4B나 Gemma4 E4B 같은 경량 모델을 쓰세요. 30~50 t/s로 쾌적하게 사용할 수 있습니다.
24GB 이상 그래픽카드 유저라면
비전, 생각하기, 툴 콜링이 다 되는 현존 최고의 로컬 채팅용 모델입니다. 로컬 AI용으로 컴퓨터를 맞추실 분들은 그래픽카드의 처리 속도보다 무조건 VRAM 24GB(예: RTX 3090, 4090)라는 기준선을 넘기셔야 제대로 쓸 수 있습니다.
가장 현명한 방법
비싼 돈 들여 하드웨어를 사거나 8GB 노트북으로 고통받지 마시고, RunPod 같은 클라우드 GPU를 빌려 단돈 500원(30분 이용 기준)으로 4090 환경에서 쾌적하게 맛보시는 것을 추천합니다.
핵심 요약
- 모델을 GPU에 올리는 건 물리적 개념 — VRAM이 부족하면 CPU로 밀리고, PCIe 병목으로 속도가 폭락
- "된다"와 "편하게 쓴다"는 완전히 다른 것 — 0.26 t/s는 기술적으로 작동하지만 실무 사용은 불가
- 8GB에서는 경량 모델(4B~8B)이 정답 — 30~50 t/s로 쾌적한 사용 가능
- 27B 모델의 기준선은 VRAM 24GB — 그 이하에서의 사용은 테스트용으로만
- 클라우드 GPU가 가성비 최고 — 월 고정비 없이 필요할 때만 사용 가능