AI Knowledge HubAI · 모델
KV 캐시
이미 처리한 대화 내용을 저장해 두는 메모리 영역입니다.
모델이 문장을 한 글자씩 만들 때, 앞에서 읽은 내용을 매번 처음부터 다시 계산하면 낭비가 큽니다. KV 캐시는 그 계산 결과를 저장해 두었다가 다음 글자에서는 재사용하는 곳입니다. 캐시가 맞아야 응답이 빨라지고, 대화가 길어지면 캐시 용량이 한계가 됩니다. 프롬프트 캐싱과는 대상이 다릅니다.
왜 중요한가대화가 길어질수록 비용이 급등하거나 용량 초과로 끊기는 원인이 여기 있습니다. 이 개념을 알면 대화를 이어 갈수록 토큰이 빠르게 소모되는 이유가 설명됩니다.
예시'KV 캐시 초과' 오류는 대화가 너무 길어 저장 공간이 모자란 상황입니다.