Ограничение состоит из двух половин: сколько запросов в минуту вы вправе отправить и сколько токенов в минуту через них прогнать. Упереться можно в любую из них: тысяча коротких запросов и один запрос на миллион токенов ломаются о разные потолки.
При превышении интерфейс отвечает ошибкой с кодом 429, и запрос нужно повторить позже. В рабочем коде это обрабатывают очередью с нарастающей паузой; повтор в цикле только вредит: иначе поток запросов только усугубит ситуацию.
Запросы в минуту
Сколько раз обратиться
Считаются обращения независимо от их размера.
Токены в минуту
Сколько текста прогнать
Считается суммарный объём в токенах.
Пример
Скрипт, разбирающий тысячу карточек товара подряд, упирается в лимит на второй сотне. Помогает пауза между запросами и пакетная обработка.