Если в каждый запрос уходит один и тот же большой блок — инструкция, база знаний, свод правил, — провайдер запоминает его и при следующем обращении не пересчитывает заново. Такое попадание в кэш тарифицируется по отдельной ставке, обычно в десять раз ниже обычного ввода.
На этом можно строить экономику: чем стабильнее начало запроса, тем чаще срабатывает кэш. Меняющуюся часть логично держать в конце, а неизменную выносить вперёд — тогда попаданий будет больше.
Обычный ввод
Полная цена
Каждый токен запроса считается по стандартной ставке.
Попадание в кэш
Доля от цены
Повторно отправленный блок стоит примерно десятую часть.
Пример
У одного из посредников миллион входных токенов Claude Opus 5 стоит 1 000 ₽, а тот же объём при попадании в кэш — 100 ₽. Разницу видно в сравнении цен посредников.