ПаветтаВ контекстное окно помещается всё сразу: служебная инструкция, история переписки, приложенные документы и сам вопрос. Когда объём превышает лимит, начало разговора отбрасывается — модель перестаёт помнить, о чём вы договорились в первых сообщениях.
Размер окна у современных моделей доходит до миллиона токенов, но большое окно оплачивается: вся история уходит в счёт как входные токены при каждом запросе. Длинный диалог дорожает сам по себе, даже если вы пишете короткие реплики.
Инструкция, история, файлы и текущий вопрос считаются вместе.
Ранние сообщения выпадают, и модель их больше не видит.
Диалог на 200 000 токенов истории при каждом новом вопросе списывает эти 200 000 заново — плюс токены самого вопроса и ответа.
Практический предел наступает раньше формального: чем ближе объём к пределу, тем хуже модель удерживает детали из середины текста. Поэтому длинные документы разбивают на части и обрабатывают по очереди, а промежуточные выводы собирают отдельно. Для переписки помогает периодическое подведение итогов: короткая сводка договорённостей вместо всей истории.
Второй эффект — деньги. Всё, что лежит в окне, оплачивается на каждом обращении, поэтому история переписки на сотню сообщений дорожает с каждым шагом. Сокращение контекста до нужного минимума и кэширование постоянной части дают заметную экономию при той же задаче.
Частые вопросы
Что происходит при переполнении окна?
Самая старая часть разговора отбрасывается, и модель перестаёт помнить начальные договорённости. В интерфейсах это выглядит как внезапная потеря контекста: ответы противоречат тому, о чём вы условились в первых сообщениях.
Как работать с документами больше окна?
Разбивать на части и обрабатывать последовательно, собирая промежуточные выводы. Для поиска по большому корпусу применяют схему с предварительным отбором нужных фрагментов: в окно попадает только то, что относится к вопросу.
Полностью ли модель использует большое окно?
Формально да, практически качество удержания деталей из середины длинного текста заметно ниже, чем из начала и конца. Поэтому важные инструкции держат в начале, а ключевой вопрос повторяют в конце запроса.
Как объём контекста влияет на счёт?
Напрямую: всё содержимое окна оплачивается при каждом обращении. Длинная история переписки дорожает с каждым сообщением, поэтому её сокращают до сводки, а постоянные инструкции кэшируют.
Для больших баз знаний применяют другой подход: документы заранее разбивают на фрагменты, по вопросу отбирают несколько подходящих и в окно кладут только их. Так объём запроса остаётся небольшим независимо от размера базы, а ответ опирается на конкретные куски, которые можно показать человеку как источник.
Размер окна указывают в токенах, поэтому одна и та же страница на русском занимает в нём заметно больше места, чем на английском. При планировании объёма считают по формуле приближения: число символов делят на три и добавляют запас под ответ модели.