AI 크롤러 · 수집 기록

봇별 요약 · 최근 24시간
AI · 모델

추론

학습된 모델로 실제 답을 만들어 내는 단계입니다.

학습을 마친 모델이 입력에 대해 출력을 계산하는 시점입니다. 아무래도 학습보다 훨씬 자주 실행되고, 이 비용이 서비스 비용의 대부분을 차지합니다.

예시API 서비스는 내부적으로 매 요청마다 추론을 수행합니다.

관련 용어

LLM양자화VRAM