AI Knowledge Hub첫 번째 주제에서는 소형 모델 조합에 손을 냈지만, 이 주제는 반대 입장을 취한다. 이유는 두 가지다.
첫째, 라우팅의 현실적 비용은 토큰 단가만으로 계산할 수 없다. 소형 모델 여러 개를 배치하려면 각 모델의 응답 품질을 검증하는 평가 파이프라인, 라우팅 로직의 유지보수, 장애 시 폴백 체계가 필요하다. 소형 모델 5개의 토큰 비용이 대형 모델 1개보다 쌀 수 있지만, 운영 복잡도를 비용에 포함하면 대형 모델 하나가 더 경제적일 수 있다.
둘째, 복잡한 추론 작업에서는 단일 대형 모델이 압도적이다. 의료·법률·금융 같은 분야에서 소형 모델의 오류율은 실용적 한계가 있다. 작업을 분리할 수 없는 원자적 추론(예: 50페이지 계약서의 조항 간 모순 탐지)에서는 소형 모델 조합이 대형 모델을 대체할 수 없다.
결론은 조건부 반대다. 단순 분류·요약·검색 같은 작업은 소형 모델 조합이 효율적이나, 고난이도 추론·크로스체크가 필요한 작업에서는 비용과 위험을 고려할 때 대형 모델 하나가 여전히 최적이다.