프롬프트 캐싱

반복되는 앞부분을 저장해 비용을 줄이는 기능입니다.

같은 내용을 다시 보낼 때 이전에 처리한 부분을 재사용하는 기능입니다. 긴 시스템 프롬프트나 반복 문서를 넣을 때 비용과 대기시간이 크게 줄어듭니다.