ПаветтаНейросеть не читает буквы и не читает слова — она читает токены. Английское слово чаще всего укладывается в один токен, русское разбивается на два-три. Из-за этого один и тот же текст на русском стоит дороже, чем на английском: токенов в нём просто больше.
Токены считают отдельно на вход и на выход. Входные — это ваш запрос вместе со всей историей диалога и приложенными файлами. Выходные — то, что модель написала в ответ. Выходные дороже входных обычно в пять-шесть раз, и именно они дают основную часть счёта.
Инструкция, история переписки и приложенные документы. Дешевле выхода.
То, что модель сгенерировала. Дороже входа в пять-шесть раз.
Фраза «Сколько стоит миллион токенов» на русском разбирается примерно на девять токенов, её английский перевод — на пять. Посчитать свой месячный счёт можно в калькуляторе стоимости токенов.
Для оценки расхода удобно правило приближения: в русском тексте на токен приходится примерно два-три символа, в английском — около четырёх. Страница обычного текста на русском занимает порядка семисот-девятисот токенов. Точный счёт дают токенизаторы поставщиков, но для планирования бюджета хватает приближения: символы делят на три и умножают на цену.
В счёт идут обе стороны обмена: отправленный запрос вместе со всей историей и полученный ответ, причём вывод обычно дороже ввода. Отсюда два способа сэкономить: сокращать контекст и ограничивать длину ответа, когда нужен короткий результат. Подробности про предел объёма — в статье о контекстном окне.
Частые вопросы
Сколько символов в одном токене?
Для русского текста примерно два-три символа, для английского около четырёх. Поэтому один и тот же текст на русском обходится дороже. Для оценки бюджета достаточно разделить число символов на три.
Оплачивается ли ответ модели?
Да, и обычно по более высокой ставке, чем ввод. Поэтому ограничение длины ответа снижает счёт так же ощутимо, как сокращение запроса, особенно когда нужен короткий результат вроде классификации или извлечения полей.
Как посчитать стоимость обработки документа?
Разделите число символов на три, чтобы получить токены, добавьте ожидаемый объём ответа и умножьте каждую часть на свою ставку. Для повторяющихся задач добавьте расчёт экономии от кэширования постоянной части.
Почему счёт больше, чем кажется?
Потому что в каждое обращение уходит вся история переписки и служебная инструкция вместе с последним вопросом. Длинный диалог дорожает с каждым шагом, даже когда сами сообщения короткие.
Правила разбиения у моделей разные, поэтому один и тот же текст в разных семействах занимает неодинаковое число токенов, и переносить расчёт бюджета с одной модели на другую напрямую нельзя. Отдельная строка расхода — рассуждающие модели: они тратят токены на внутренние шаги, которых нет в видимом ответе, и счёт растёт быстрее ожидаемого.