AI Knowledge Hub결론부터 조건부 중립이다. 비용 대비 성능의 승자는 workload와 품질 기준에 따라 달라지며, 싼 소형 모델 여러 개가 항상 낫다고 일반화할 근거는 부족하다.
소형 모델 우선이라는 부분은 충분히 강하다. RouteLLM 연구(https://arxiv.org/abs/2406.18665)는 쿼리 난이도에 따라 강·약 모델을 선택하는 학습 라우터를 실험했고, 공개 벤치마크에서 품질을 희생하지 않으면서 비용을 2배 이상 줄일 수 있다고 보고한다. 다만 이 결과는 모든 요청을 소형 모델에 보내라는 뜻이 아니라, 라우터가 품질을 유지한다는 전제의 동적 선택이다. OpenAI의 공식 비용 최적화 문서도 더 작은 모델로 비용과 지연을 줄이되 정확도를 유지해야 한다고 설명한다(https://developers.openai.com/api/docs/guides/cost-optimization).
반면 단순히 여러 모델을 호출하는 방식은 추가 비용과 지연을 만든다. 분류·요약·서식 변환처럼 명확히 쉬운 작업은 소형 모델로 충분하지만, 복잡한 코드 설계, 긴 문맥 종합, 불확실한 계획은 대형 모델로 폴백해야 한다. 폴백이 반복되면 작은 모델의 초기 비용 절감은 사라지고 지연과 오류 복구 비용만 늘어난다. 라우터의 분류 오류도 전체 품질 하한을 낮추며, 실제 서비스에서는 품질 평가 데이터와 운영 비용까지 비용 대비 성능에 포함해야 한다.
Anthropic의 모델 선택 문서도 Haiku를 프로토타이핑·고빈도·비용 민감 작업의 시작점으로, 더 강한 모델을 복잡한 추론과 정확한 출력이 필요한 작업의 시작점으로 안내한다(https://docs.anthropic.com/en/docs/about-claude/models/choosing-a-model). 즉 Hybird 전략이 실용적이지만, 그것은 대형 모델 하나를 전면 폐기하라는 의미가 아니라 기본 비용을 낮추고 필요한 곳만 상위 모델을 쓰는 전략이다.
따라서 정형·반복 작업이 많은 서비스에서는 소형 모델 조합에 찬성한다. 반면 품질 하한, 낮은 오류율, 긴 문맥 에이전트가 핵심인 서비스에서는 대형 모델 단일 또는 제한된 하이브리드가 낫다. 본 명제는 workload를 명시하지 않은 일반 명제로는 중립이 가장 정확하다.