프롬프트 캐싱은 무엇을 재사용할까? 반복 요청을 정리하는 법

같은 작성 규칙과 참고 자료를 매번 AI에 보내면 중복되는 입력이 생깁니다. 프롬프트 캐싱은 이런 반복 부분의 처리 결과를 재사용하는 방식입니다. 이미 작성한 답변을 그대로 복사하는 기능으로 이해하면 오해하기 쉽습니다. 이번 글은 OpenAI API 문서를 기준으로 입력을 어떻게 정리하고 효과를 확인할지 살펴봅니다. 공통으로 시작하는 부분을 재사용합니다공식 문서는 프롬프트 앞부분의 변하지 않는 토큰 구간을 prefix라고 설명합니다. 재사용 가능한 캐시가 있고 해당 구간이 일치하면, 그 구간에서 계산한 상태를 다시 활용합니다. 새로운 입력은 별도로 처리하고 답변도 새로 생성합니다. 같은 요청을 반복해도 답변이 언제나 똑같다는 의미는 아닙니다. OpenAI 프롬프트 캐싱 안내설명용 AI 생성 이미지. 공..