"안녕"에 2만 토큰? AI 에이전트의 과도한 추론은 '의도된 덫'이다

> "인사에 2만, 코드 짜는데 4만 토큰씩 녹아내리는 구조를 통제하지 못하면 생산성 향상은커녕 적자만 남게 된다."

특히 최근 에이전트들의 트렌드인 '과도한 추론(Reasoning)' 과정을 지켜보고 있으면, 이건 단순한 기술적 한계가 아니라 철저히 의도된 구조라는 의심을 지울 수 없다.

1. 단순한 인사말 "안녕"에 대형 모델 프롬프트가 통째로 녹아내린다

"안녕" 한마디에 기본 2만 토큰 증발

에이전트 시스템에 연결된 순간, AI는 이 인사가 '스킬을 실행하려는 신호'인지, '옵시디언 노트를 업데이트하라는 명령'인지, '중요 메일을 확인하라는 뜻'인지 혼자서 온갖 시나리오를 짜며 추론(Thinking)을 시작한다.

70여 개가 넘는 스킬리스트(System Prompt)와 과거 대화 내역, 연동된 데이터의 임베딩까지 — 그 짧은 인사말 뒤에 통째로 따라붙는다.

"안녕" 한마디의 실제 토큰 분해:

시스템 프롬프트 (에이전트 규칙 + 스킬 목록):  8,000~12,000 토큰
과거 대화 컨텍스트 (최근 5턴):              3,000~6,000 토큰
도구 스키마 (70개 스킬 정의):                5,000~8,000 토큰
추론 과정 (내부 독백):                      2,000~5,000 토큰
출력 ("안녕하세요! 어떤 도움이 필요하신가요?"):  50~100 토큰
──────────────────────────────────────────────
총: 18,000~31,000 토큰 (평균 약 20,000 토큰)

비용 환산 (모델별):

> Sol/Opus로 "안녕"이라고 하면 약 100원. 하루 인사 50번이면 $5.15 = 약 6,700원. 인사만으로.

추론 토큰의 소름 끼치는 비율

일반적인 에이전트 응답에서 각 구성요소의 토큰 비율:

[추론/내부 독백]  ████████████████████  40~60%
[시스템 프롬프트]  ████████            20~30%
[도구 스키마]     ████               10~15%
[실제 출력]       █                  2~5%

> 실제 유용한 출력은 전체 토큰의 2~5%에 불과하다. 나머지는 에이전트가 혼자서 떠드는 '내부 독백'이다.

2. 클로드 코드 한번 짜면 4만 토큰 뚝딱

코드 수정·생성 시 기본 4만 토큰 소비

단순한 코드 한 줄을 고치거나 추가해 달라고 했을 뿐인데, 에이전트는 오류를 방지한다는 명목하에 내부 독백(Internal Monologue)과 자문자답 루프를 미친 듯돈다.

코드 수정 한 줄의 토큰 분해 (Claude Code 기준):

시스템 프롬프트:                    3,000 토큰
프로젝트 컨텍스트 (파일 구조):       2,000 토큰
대상 파일 전체 내용:                8,000~15,000 토큰
관련 파일 참조 (import 등):          3,000~5,000 토큰
추론 과정 ("이 부분을 이렇게 고치면..."): 5,000~10,000 토큰
출력 (수정된 코드):                  200~500 토큰
──────────────────────────────────────────
총: 21,200~40,500 토큰

"결과물 한 줄 뱉을 때"의 비용:

> 하루에 코드 수정 30번이면 Sonnet 기준 $2.13 = 약 2,800원. 일주일이면 약 2만원.

에이전트의 "사고 과정" 실체

에이전트가 코드를 수정할 때 내부에서 일어나는 일:

1단계: "사용자가 이 파일의 42번째 줄을 수정하라고 했다"
2단계: "이 줄의 함수는 어떤 다른 함수들을 호출하는가?"
3단계: "변경 시 영향을 받는 다른 파일은?"
4단계: "이 방식이 안전한지 검증해야 한다"
5단계: "이전 버전과 비교해보자"
6단계: "오타가 없는지 다시 확인하자"
7단계: "이 코드 스타일이 프로젝트 규칙에 맞는지?"
8단계: "출력을 작성한다"

> 8단계를 거쳐 200줄짜리 코드를 3줄 고쳤다. 나머지 7단계가 전부 토큰이다.

3. 과도한 추론, 과연 기술 부족일까? 의도된 설계일까?

가만히 지켜보면 굳이 깊게 생각할 필요가 없는 뻔한 질문이나 사소한 작업에도 에이전트들은 과도할 정도로 길고 장황한 추론 과정을 거친다.

사용자가 느끼는 것 vs 실제 비용:

왜 이런 구조가 유지되는가

플랫폼과 API 제공업체 입장에서 에이전트가 토큰을 많이 쓰면 쓸수록 이득이 남는 구조다.

에이전트 토큰 소비 ↑ → API 매출 ↑ → 플랫폼 수익 ↑
         ↓
  사용자 체감 "스마트하다"
         ↓
  추가 사용 유도

> "말만 좋은 에이전트 자동화 환경"이 사실상 합법적인 토큰 수탈 구조인 셈이다.

실제 데이터로 증명하는 과도한 추론

동일 작업, 모델별 추론 토큰 비율:

> Sol의 추론 토큰 비율은 DeepSeek 대비 3배. 같은 작업을 한다고 가정할 때.

4. 추론 토큰으로 돈이 새는 5가지 구멍

구멍 1: 시스템 프롬프트의 반복 전송

매 API 호출마다 시스템 프롬프트(에이전트 규칙, 스킬 목록 등)가 전체가 다시 전송된다. 10,000 토큰짜리 시스템 프롬프트를 50번 호출하면 500,000 토큰이 시스템 프롬프트만으로 증발한다.

구멍 2: 도구 스키마의 누적

70개 스킬의 API 스키마가 매 호출마다 포함된다. 각 스키마 100~200 토큰이면 7,000~14,000 토큰이 매번 붙는다.

구멍 3: 컨텍스트 윈도우의 눈덩이

대화가 길어질수록 전체 컨텍스트가 매 턴마다 재전송된다.

턴 1: 5,000 토큰 → $0.015
턴 5: 25,000 토큰 → $0.075
턴 10: 60,000 토큰 → $0.180
턴 20: 150,000 토큰 → $0.450
턴 50: 500,000 토큰 → $1.500

> 턴 1과 �턴 50의 차이는 100배. 같은 양의 작업을 하고 있다고 가정할 때.

구멍 4: 실패와 재시도 스파일

에이전트가 잘못된 도구를 호출하면 실패하고, 더 강력한 모델로 상향 재시도한다. 이 과정에서 토큰이 2~3배로 불어난다.

구멍 5: 그림자 토큰 (Shadow Tokens)

시스템이 보이지 않는 곳에서 토큰을 소비한다:

• 응답 포맷팅 메타데이터
• 안전 필터 검증용 복사본
• 로깅용 토큰 저장
• API 래퍼 오버헤드

> 보이는 토큰의 10~40%가 그림자로 추가 청구된다.

5. 비용을 막는 실전 체크리스트

지금 당장 할 것

[ ] OpenAI/Anthropic 대시보드에서 일일 한도 $5 이하로 설정
[ ] 에이전트 시스템 프롬프트를 3,000 토큰 이내로 압축
[ ] 사용하지 않는 스킬/도구는 비활성화
[ ] "간결하게 답변하라"를 시스템 프롬프트에 포함
[ ] 컨텍스트 윈도우를 8K 이내로 제한 (단순 작업 시)

라우팅 전략으로 비용 10배 절감

> 모든 작업을 Opus에 맡기면 월 $375, 라우팅하면 월 $30~50으로 줄일 수 있다.

결론: 달콤한 환상에서 깨어나 비용 장벽부터 치라

"메일 관리와 지식 관리를 에이전트가 알아서 해준다"는 달콤한 마케팅에 속아 무작정 API 키를 꽂아 쓰다가는 요금 폭탄으로 파산할지도 모른다.

인사에 2만, 코드 짜는데 4만 토큰씩 녹아내리는 구조를 통제하지 못하면 생산성 향상은커녕 적자만 남게 된다.

비용 통제 장치가 없는 에이전트는 스마트한 비서가 아니라, 당신의 돈을 합법적으로 갈취하는 가장 세련된 도둑일 뿐이다.

> 지금 당장 에이전트 실험을 멈추거나, 대시보드에서 하드 한도(Hard Limit)를 아주 낮게 설정하라.

이전 글: AI 에이전트 토큰 비용의 진실 — 70개 스킬이 지갑을 털어가는 과학

출처: Spheron Network, AgentMarketCap, TokenFence, Augment Code, AIMadeTools (2026년 8월 기준)