프롬프트 캐싱

Prompt Caching은 LLM이 같은 프롬프트(시스템 프롬프트·고정된 문서·long context)를 매번 다시 처음부터 계산하지 않도록, 한 번 계산된 내부 상태를 저장해 다음 호출에서 재사용하는 기능입니다. OpenAI·Anthropic·Google이 모두 자체 방식으로 지원합니다. 캐시 적중 시 입력 토큰 비용이 크게 떨어지고(흔히 50~90% 절감), 첫 토큰 응답 시간(TTFT)도 짧아집니다.

마케팅 관점에서 의미 있는 포인트는 'AI 운영비의 합리화 도구'라는 사실입니다. GEO 모니터링처럼 같은 시스템 프롬프트로 매일 수백~수천 번 동일한 점검 쿼리를 던지는 작업, 사내 RAG처럼 같은 문서 묶음을 반복해서 컨텍스트로 쓰는 작업에서 직접적인 비용 절감이 가능합니다.

현장에선 캐시가 유효하려면 프롬프트 앞부분이 문자 단위로 동일해야 한다는 제약이 있습니다. 즉, '시스템 프롬프트 → 고정 문서 → 가변 사용자 입력' 순으로 구조를 잡는 게 캐시 적중률을 최대화하는 정석 패턴입니다.