Калькулятор стоимости токенов

Как считаются токены и почему выход дороже входа

Языковые модели считают деньги за токены — куски текста примерно по четыре символа в английском. Слово «token» — это один токен, «неопределённость» разбивается на несколько. Русский текст токенизируется хуже английского: на тот же смысл уходит примерно вдвое больше токенов, и счёт за одинаковый по объёму текст выходит больше.

Вход и выход тарифицируются раздельно, и выход обычно в три-пять раз дороже. Поэтому длинный контекст в запросе стоит дёшево, а длинный ответ — заметно дороже. Отдельная строка расходов — повторная отправка всей переписки: в диалоге каждый новый вопрос уносит вместе с собой всю предыдущую историю, и стоимость обращения растёт от реплики к реплике.

Цены объявляют за миллион токенов, и это сбивает ощущение масштаба. Миллион токенов — примерно семьсот тысяч английских слов, то есть несколько толстых книг. Обычная переписка за месяц редко выходит за сотни тысяч токенов, а вот обработка базы документов или массовая генерация текстов уходит в миллионы, и там разница в тарифах между моделями превращается в разницу в бюджете.

История: от алгоритма сжатия до тарифов за миллион

Разбивать текст на куски машины научились задолго до нейросетей: в статистической обработке языка слова резали на части, чтобы справляться с редкими формами. Метод BPE, на котором построена токенизация современных моделей, придумали в 1994 году как алгоритм сжатия данных, а к языковым моделям его приспособили в 2015-м для машинного перевода.

Цена вычислений всё это время падала. Обучение и работа моделей идут на видеокартах, и стоимость одного и того же ответа за несколько лет снизилась на порядки: тарифы на массовые модели с 2023 года упали в десятки раз при выросшем качестве. Отсюда привычка пересчитывать бюджет каждые несколько месяцев — старая табличка с ценами устаревает быстрее, чем заканчивается квартал.

Как посчитать бюджет и на чём экономить

Счёт уменьшают тремя способами. Первый — короткие системные инструкции: они уходят с каждым запросом. Второй — обрезка истории диалога до последних сообщений. Третий — разделение задач между моделями: простую классификацию и разбор форматов отдают дешёвой модели, а рассуждения и длинные тексты — дорогой. На потоке в тысячи обращений такая раскладка меняет счёт в разы. Помогает и кэширование одинаковых начал запроса: провайдеры считают повторно отправленный неизменный кусок дешевле обычного входа, и для ботов с длинной инструкцией экономия заметная. Прикидку удобно делать на неделю вперёд, а потом сверять со счётом в личном кабинете: расхождение почти всегда объясняется длиной ответов, которую забыли ограничить.