ПаветтаЕсли в каждый запрос уходит один и тот же большой блок — инструкция, база знаний, свод правил, — провайдер запоминает его и при следующем обращении не пересчитывает заново. Такое попадание в кэш тарифицируется по отдельной ставке, обычно в десять раз ниже обычного ввода.
На этом можно строить экономику: чем стабильнее начало запроса, тем чаще срабатывает кэш. Меняющуюся часть логично держать в конце, а неизменную выносить вперёд — тогда попаданий будет больше.
Каждый токен запроса считается по стандартной ставке.
Повторно отправленный блок стоит примерно десятую часть.
У одного из посредников миллион входных токенов Claude Opus 5 стоит 1 000 ₽, а тот же объём при попадании в кэш — 100 ₽. Разницу видно в сравнении цен посредников.
Кэш срабатывает по точному совпадению начала запроса, поэтому порядок блоков имеет значение: постоянную часть кладут в самое начало, переменную — в конец. Любая правка в начале, даже одна запятая, сбрасывает кэш целиком. Записи живут ограниченное время, обычно от нескольких минут, и продлеваются при повторных обращениях.
Экономия считается просто: доля кэшируемой части умножается на разницу в цене. При инструкции на десять тысяч токенов и коротком вопросе кэш снимает почти весь расход на ввод. Смысл в кэше есть при регулярных однотипных обращениях: разовые запросы с уникальным контекстом кэш не ускоряет и не удешевляет.
Частые вопросы
Когда кэширование выгодно?
При регулярных обращениях с одинаковой большой инструкцией или базой знаний в начале запроса: поддержка, обработка документов по шаблону, агенты с постоянным сводом правил. Для разовых запросов с уникальным контекстом выгоды нет.
Почему кэш не срабатывает?
Чаще всего из-за изменений в начале запроса: правка инструкции, подстановка даты, перестановка блоков. Совпадение проверяется по точному префиксу, поэтому переменные части переносят в конец, а постоянные держат неизменными.
Сколько живёт запись в кэше?
Ограниченное время, обычно от нескольких минут, и срок обновляется при повторном попадании. Точные условия и тарифы зависят от поставщика, поэтому расчёт экономии делают по его документации.
Как посчитать экономию?
Разделите запрос на постоянную и переменную части, умножьте объём постоянной части на разницу между обычной и кэш-ставкой и на число обращений. При большой инструкции и коротком вопросе экономия на вводе достигает кратных величин.
Попадание в кэш видно в ответе поставщика: там приходят отдельные счётчики токенов для записи и для чтения из кэша. По ним и считают экономию. Переменные части вроде даты, имени пользователя и номера заказа всегда держат в конце запроса, иначе каждое обращение будет уникальным и кэш перестанет срабатывать.