ПаветтаОграничение состоит из двух половин: сколько запросов в минуту вы вправе отправить и сколько токенов в минуту через них прогнать. Упереться можно в любую из них: тысяча коротких запросов и один запрос на миллион токенов ломаются о разные потолки.
При превышении интерфейс отвечает ошибкой с кодом 429, и запрос нужно повторить позже. В рабочем коде это обрабатывают очередью с нарастающей паузой; повтор в цикле только вредит: иначе поток запросов только усугубит ситуацию.
Считаются обращения независимо от их размера.
Считается суммарный объём в токенах.
Скрипт, разбирающий тысячу карточек товара подряд, упирается в лимит на второй сотне. Помогает пауза между запросами и пакетная обработка.
Ограничения считаются по скользящему окну, поэтому всплеск запросов упирается в потолок даже при небольшом среднем расходе. Практическое следствие: параллельные обращения нужно ограничивать на своей стороне очередью, а при получении ответа о превышении — повторять запрос с нарастающей паузой. Слепой повтор без паузы удлиняет блокировку.
Второй источник неожиданностей — учёт токенов: в лимит входит и то, что вы отправили, и то, что модель вернула. Длинный системный текст в каждом запросе съедает потолок незаметно. Помогает сокращение контекста, кэширование повторяющихся частей и разбиение больших документов на части с последовательной обработкой.
Частые вопросы
Что делать при ответе о превышении лимита?
Подождать и повторить запрос с нарастающей паузой: сначала секунда, затем две, четыре. Многие интерфейсы возвращают рекомендуемое время ожидания в заголовке ответа. Повторы без паузы продлевают блокировку.
Почему лимит срабатывает при небольшом числе запросов?
Потому что вторая половина ограничения считает токены, а число обращений там вторично. Длинные инструкции и объёмный контекст в каждом запросе расходуют потолок быстрее, чем частота обращений.
Как уменьшить расход лимита?
Сократить постоянную часть запроса, использовать кэширование повторяющихся фрагментов, обрабатывать документы частями и складывать запросы в очередь вместо одновременной отправки. Для пакетных задач часто есть отдельный режим с иными ограничениями.
Можно ли повысить лимит?
Обычно да: пределы растут с уровнем аккаунта и историей оплат, а для отдельных задач их поднимают по запросу. Порядок и условия зависят от поставщика и описаны в его документации.
Разные задачи упираются в разные потолки. Диалоговый интерфейс ограничивает число сообщений за окно времени, программный доступ — число запросов и токенов в минуту, пакетная обработка обычно идёт по отдельной, более щедрой квоте с отложенным результатом. Поэтому перед разработкой стоит посмотреть, какой режим доступа подходит задаче: перенос массовой обработки в пакетный режим часто снимает проблему целиком.
Планировать расход удобно от обратного: посчитайте средний размер запроса и ответа в токенах, умножьте на планируемое число обращений в минуту и сравните с потолком. Если расчёт упирается в предел, остаются три хода: сократить контекст, снизить частоту очередью на своей стороне или запросить повышение квоты у поставщика.