---
title: "DeepSeek-V4.1-Flash 완전 분석: 890바이트 KV 캐시가 바꾸는 에이전트 인프라"
date: 2026-09-23
time: "23:30"
model: "deepseek-v3"
category: knowhow
summary: "552B MoE인데 활성 파라미터는 8~16B. KV 캐시를 890바이트까지 압축해 GPU 한 장에 에이전트 4배를 동시에 굴리는 딥시크의 차세대 모델. mHC 논문까지 포함한 아키텍처 심층 분석."
tags: DeepSeek, V4.1-Flash, MoE, KV 캐시 압축, CSA2, FP4, mHC, 에이전트, 로컬 AI, 딥시크
---

# DeepSeek-V4.1-Flash: 890바이트 KV 캐시가 바꾸는 에이전트 인프라

DeepSeek가 2026년 9월 10일 발표한 V4.1-Flash는 "같은 GPU에 에이전트를 4배 더 많이 올리겠다"는 목표를 달성한 모델입니다.

---

## 1. 핵심 스펙 한눈에 보기

| 항목 | 내용 |
|------|------|
| 총 파라미터 | **552B** (Mixture-of-Experts) |
| 활성 파라미터 | Prefill **8B** / Decode **16B** |
| 아키텍처 | **CED** (Causal Encoder-Decoder), 20+20 레이어 |
| MoE 구조 | 공유 전문가 1개 + 라우팅 전문가 384개 (토큰당 6개 활성화) |
| 컨텍스트 윈도우 | **1M 토큰** (최대 출력 384K) |
| 멀티모달 | 네이티브 이미지 + 텍스트 |
| 라이선스 | **MIT** (오픈 웨이트) |
| 사전 학습 데이터 | **45T 토큰** |
| KV 캐시 크기 | **890 bytes/token** |

---

## 2. CED 아키텍처: 왜 8B+16B인가

일반적인 Transformer는 입력 처리(Prefill)와 출력 생성(Decode)에 동일한 파라미터 세트를 사용합니다. V4.1-Flash는 이 둘을 분리했습니다.

```
[입력 텍스트] → Encoder (8B) → 은닉 상태 → Decoder (16B) → [출력 토큰]
```

**왜 이렇게做的か:**
- Prefill은 읽기 작업 → 상대적으로 단순 → 8B면 충분
- Decode는 생성 작업 → 추론 필요 → 16B로 확장
- 결과: 같은 552B 모델이지만 **실제 연산은 24B 수준**만 소모

이 구조는 KV 캐시 압축과 결합되어 메모리 효율을 극대화합니다.

---

## 3. KV 캐시 890 바이트의 비밀

### 기존 문제

LLM 에이전트가 여러 세션을 동시에 처리하려면 각 세션의 KV 캐시를 GPU 메모리에 올려야 합니다. 일반적인 7B 모델 기준:

| 컨텍스트 길이 | KV 캐시 크기 (FP16) |
|--------------|-------------------|
| 4K 토큰 | ~2.15 GB |
| 32K 토큰 | ~17 GB |
| 128K 토큰 | ~68 GB |

-> GPU 1장(24GB)으로는 7B 모델 하나도 128K 컨텍스트를 온전히 못 돌림.

### V4.1-Flash의 해결책: 3단계 압축

**1단계: CED (Causal Encoder-Decoder)**
- 디코더의 KV 캐시가 인코더 최종 은닉 상태에서 **투사되어 재구성**됨
- 레이어별로 별도로 저장할 필요 없이, 인코더 출력 하나로 디코더 전체 KV 복원

**2단계: CSA2 (Compressed Sparse Attention 2)**
- 레이어 간 KV 표현을 **교차 재사용**하는 스파스 어텐션 기법
- 모든 레이어가 매번 새 KV를 만드는 대신, 이전 레이어의 KV를 부분적으로 재사용

**3단계: FP4 KV 캐시 양자화**
- 기존 FP16(2바이트) 대비 **4비트(0.5바이트)**로 압축
- E2M1 포맷 사용 — 정밀도 손실 최소화

### 최종 결과

| 모델 | 토큰당 KV 캐시 | 비율 |
|------|---------------|------|
| DeepSeek V1 (초기) | ~389 KB | 기준 |
| DeepSeek V4-Flash | ~3.5 KB | V1 대비 111배 절감 |
| **V4.1-Flash** | **890 Bytes** | **V1 대비 437배 절감** |

-> GPU 1장(24GB)에 FP16 KV 캐시 기준 약 **2,700만 토큰**의 컨텍스트를 동시에 수용할 수 있습니다.

---

## 4. mHC 논문: 왜 이게 중요하나

### 문제: Hyper-Connections의 불안정성

대규모 LLM 학습에서 레이어 간 정보 전달을 강화하는 Hyper-Connections(HC) 기술이 있습니다. 그러나 HC는 **항등 사상(identity mapping) 속성을 훼손**시켜 학습이 불안정해지는 치명적인 결함이 있었습니다.

### 해결: Manifold Constraint

딥시크 창업자 량원펑(Liang Wenfeng)이 공동 저자로 참여한 mHC 논문은:

- HC의 잔여 연결 공간을 **Birkhoff 다항체**(이중 확률 행렬의 집합) 위로 투사
- 이 투사가 **항등 사상 속성을 복원**하여 학습 안정성 확보
- 27B 모델에서 BBH 기준 **+2.1% 성능 향상**
- 훈련 오버헤드: **단 6.7%**

-> 이 구조가 V4 시리즈의 **기본 레이어**로 사용되어, 대규모 MoE 학습이 안정적으로 완수될 수 있었습니다.

---

## 5. 실제 벤치마크: 에이전트 강세

DeepSeek 공식 발표 기준 (최대 reasoning effort):

| 벤치마크 | GPT-5.6 Sol | Claude Opus 5.0 | **V4.1-Flash** |
|----------|-------------|-----------------|----------------|
| DeepSWE v1.1 (코딩) | 73.0 | 74.0 | **74.2** |
| Terminal-Bench 2.1 (터미널) | 88.8 | 89.1 | **90.6** |
| AutomationBench (자동화) | 45.8 | 50.3 | **54.8** |
| Agent's Last Exam (에이전트) | 26.7 | 28.6 | **31.8** |
| CyberGym (보안) | 84.5 | — | **88.1** |
| Humanity's Last Exam | — | 63.6 | **63.9** |
| Codeforces rating | — | — | **3471** |

**해석:**
- 에이전트/자동화 벤치마크에서 GPT-5.6 Sol, Claude Opus 5.0을 모두 압승
- 그러나 Terminal-Bench 4.0(Claude 51.8 vs V4.1 31.2), NL2Repo(Claude 75.3 vs V4.1 64.0)에서는 Claude가 아직 앞섬
- **장기 추론(deep reasoning) 영역에서는 Claude Opus가 여전히 우위**

---

## 6. API 가격: 파괴적 수준

| 항목 | 피크 | 오프피크 |
|------|------|----------|
| 입력 (캐시 미스) | $0.30/1M | $0.15/1M |
| 입력 (캐시 히트) | **$0.006/1M** | $0.003/1M |
| 출력 | $1.20/1M | $0.60/1M |

- V4 Pro 대비 **~1/4 수준**
- 캐시 히트 시 입력 비용이 **0.6센트/1M 토큰** — 사실상 무료 수준
- OpenRouter 경유: $0.10/1M 입력, $0.50/1M 출력

---

## 7. 커뮤니티 반응

### Hacker News
- 메인 스레드 **1,015 포인트, 576 댓글** — KV 캐시 압축 기술의 혁신성에 집중 토론

### Reddit r/LocalLLaMA
- MIT 라이선스로 즉시 "abliterated/uncensored" 포크 생성
- 9월 13일까지 최소 2개의 커뮤니티 빌드가 활발한 다운로드 기록

### 핵심 평가
- "Prefill/Decode 분리(8B/16B)가 인상적" — 아키텍처 혁신으로 평가
- "같은 GPU에 에이전트 세션을 4배 더 올릴 수 있다면 서버 비용이 획기적으로 절감"

---

## 8. 로컬 구동 가능 여부

| 항목 | 내용 |
|------|------|
| 총 가중치 크기 | ~100GB (FP16), ~55GB (Q4) |
| 최소 VRAM | **80GB+** (Q4 양자화 기준) |
| 추천 하드웨어 | H100 80GB, A100 80GB, DGX Spark (128GB) |
| Ollama/llama.cpp 지원 | 아직 미지원 (2026년 9월 기준) |
| vLLM/SGLang | 공식 지원 |

-> 로컬 소비자 GPU에서는 구동 불가. 클라우드 API 또는 서버 환경에서만 사용 가능.

---

## 9. 정리: 누가 이 모델을 써야 하나

| 시나리오 | 추천 모델 |
|----------|----------|
| 에이전트 대량 동시 구동 | **V4.1-Flash** (KV 캐시 890B) |
| 장기 추론/심화 분석 | Claude Opus 5.0 |
| 빠른 코딩 자동완성 | GPT-5.6 Sol |
| 로컬 오프라인 구동 | Qwen 3.8-4b, Gemma 4 E4B |
| 가성비 API 호출 | **V4.1-Flash** ($0.30/1M) |

---

## 참고 자료

- [DeepSeek-V4.1-Flash 논문](https://arxiv.org/abs/2609.19969)
- [mHC 논문](https://arxiv.org/abs/2512.24880)
- [mHC GitHub](https://github.com/tokenbender/mHC-manifold-constrained-hyper-connections)
- [DeepSeek 공식 발표](https://www.deepseek.com/en/news/deepseek-v4-1-flash/)
- [HuggingFace 모델](https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash)