프롬프트 캐싱은 무엇을 재사용할까? 반복 요청을 정리하는 법

같은 작성 규칙과 참고 자료를 매번 AI에 보내면 중복되는 입력이 생깁니다. 프롬프트 캐싱은 이런 반복 부분의 처리 결과를 재사용하는 방식입니다. 이미 작성한 답변을 그대로 복사하는 기능으로 이해하면 오해하기 쉽습니다. 이번 글은 OpenAI API 문서를 기준으로 입력을 어떻게 정리하고 효과를 확인할지 살펴봅니다. 공통으로 시작하는 부분을 재사용합니다공식 문서는 프롬프트 앞부분의 변하지 않는 토큰 구간을 prefix라고 설명합니다. 재사용 가능한 캐시가 있고 해당 구간이 일치하면, 그 구간에서 계산한 상태를 다시 활용합니다. 새로운 입력은 별도로 처리하고 답변도 새로 생성합니다. 같은 요청을 반복해도 답변이 언제나 똑같다는 의미는 아닙니다. OpenAI 프롬프트 캐싱 안내설명용 AI 생성 이미지. 공..

• format_list_bulleted AI 기초
• · 2026. 10. 13.
• textsms

AI 토큰과 컨텍스트 차이: 긴 문서 답변이 빠지는 이유

토큰은 AI가 입력과 출력을 처리하는 단위이고, 컨텍스트 창은 한 번의 처리에서 참조할 수 있는 정보량의 범위입니다. 문서가 한도 안에 들어간다고 모든 문장을 정확히 활용한다는 뜻은 아닙니다. 긴 문서의 답변이 빠진다면 한도 초과, 텍스트 추출 오류, 검색 누락, 질문 범위 문제를 구분해 살펴봐야 합니다.토큰을 글자 수로 계산하면 생기는 오해토큰은 단어 전체일 수도 있고 단어의 일부일 수도 있습니다. Google의 공식 토큰 안내는 텍스트뿐 아니라 이미지 등 다른 입력도 토큰 처리 대상이 될 수 있다고 설명합니다. 영어를 기준으로 제시된 글자 수 환산을 한국어 문서에 그대로 적용하면 오차가 생길 수 있으므로, 실제 사용할 모델의 토큰 계산 기능으로 확인하는 것이 낫습니다. Google 토큰 계산 안내서로..

• format_list_bulleted AI 기초
• · 2026. 10. 10.
• textsms