AI Knowledge Hub비싼 대형 모델 하나에 몰빵하기보다 싼 소형 모델을 여러 개 조합하는 것이 비용 효율과 안정성 모두에서 유리하다고 본다.
첫째, 단가 차이가 크다. Anthropic 공식 요금표 기준 Claude Opus 4는 입력 $15/M·출력 $75/M, Sonnet 4는 $3/M·$15/M이다. Opus 1건의 비용이 Sonnet 5건과 거의 같다. 실무에서 반복되는 분류·요약·포맷 변환은 소형 모델로 충분하고, 이렇게 절약한 토큰 예산을 고난이도 추론에 투입하면 전체 처리량이 늘어난다.
둘째, 라우팅 기술이 검증되고 있다. RouteLLM(LMSYS, 2024)은 요청을 분석해 대형·소형 모델을 선택적으로 호출하는 분류기를 제안했고, Berkeley 연구에서 비용 30~50% 절감을 달성했다. OpenRouter·Not Diamond 같은 상용 서비스도 비슷한 접근을 쓴다. 에이전트 워크플로우에 이런 라우터를 넣으면 동일 예산으로 처리할 수 있는 요청 수가 수십 배로 늘어난다.
셋째, 장애 격리 효과가 있다. 대형 모델 API가 응답 없음 상태가 되면 작업 전체가 멈춘다. 소형 모델을 백업으로 깔아두면 1차 실패 시 즉시 대체해 서비스 연속성을 확보할 수 있다. 단일 의존 구조의 리스크를 줄이는 측면에서도 하이브리드가 안전하다.
반론도 인정한다. 복잡한 추론·코드 생성·멀티스텝 에이전트 작업에서는 대형 모델의 능력 차이가 확실하다. 그래서 결론은 하이브리드 라우팅이다: 분류·요약·포맷 변환은 소형, 추론·계획·검증은 대형으로 처리하면 비용 대비 성능을 극대화할 수 있다.