Оплата контекстного окна дважды
Обновлено September 1, 2026 · впервые опубликовано September 1, 2026
Контекстное окно рекламируют как ёмкость: 200,000 токенов, миллион токенов, место под всё, что нужно. Ёмкость не является единицей оплаты. Вам выставляют счёт за то, что вы отправляете, а в многоходовом диалоге вы отправляете большую часть этого заново на каждом ходе.
Это и есть вторая оплата. Документ в 30,000 токенов, загруженный в начале диалога из двадцати ходов, — это не 30,000 входных токенов. Выходит ближе к 600,000, потому что второй ход отправляет его снова, и двадцатый тоже.
Арифметика, которую никто не делает
Стоимость растёт пропорционально квадрату длины диалога, а не линейно. Удвоение числа ходов примерно учетверяет входные токены, если контекст продолжает накапливаться. Команды, которые считают "стоимость одного сообщения" и умножают её на число сообщений, сильно недооценивают длинные сессии, и ошибка растёт именно у тех пользователей, которых вы больше всего хотите удержать.
Часто сверху добавляется и третья плата: многие провайдеры считают запросы выше порога длинного контекста по повышенной ставке. Одно лишнее вложение может перевести запрос через эту черту и пересчитать весь вызов, и вход, и выход, а не только токены, которые перешли порог.
Что измерять
Отслеживайте использование контекста: сколько токенов отправлено и сколько модели действительно нужно было. Это ближайшая к метрике потерь величина в этой области. Отслеживайте входные токены на диалог, а не на запрос, и следите за p99 — именно там живут сессии, которые стоят в двадцать раз дороже медианы.
Настройте оповещения на запросы, пересекающие порог цены за длинный контекст. Это скачок, а не градиент, и в дневном итоге он ничем не будет выделяться.
Три исправления, от самого дешёвого
Кэшируйте стабильный префикс. Если системный промпт и загруженные документы не меняются в ходе диалога, кэширование промпта превращает повторяющуюся стоимость в долю от неё. Это самое отдачное изменение для любого многоходового продукта.
Обрезайте историю осознанно. Старые ходы редко окупают свою повторную отправку. Суммируйте начало длинного диалога и отбрасывайте сырые ходы: нить сохраняется, а полную плату за неё вы больше не платите.
Отправляйте фрагмент, а не корпус. Для этого и существует retrieval. То, что окно достаточно большое, чтобы вместить целый документ, не является аргументом для того, чтобы вкладывать в него целый документ.
Связанное
По теме
Хотите применить это к своему стеку? Принесите счета провайдеров, логи шлюза и ключевые рабочие процессы — мы определим драйверы затрат и пути экономии. Заказать бесплатный аудит →