Цикл повторов, незаметно добавляющий расходы на инференс
Обновлено August 27, 2026 · впервые опубликовано August 27, 2026
Повтор не является бесплатной устойчивостью. Это еще один вызов модели, и агент может превратить одну временную ошибку в пять оплачиваемых попыток, прежде чем кто-либо заметит сбой. Первый контроль — измерить налог на повторы: расходы на повторы и фолбэки, деленные на весь расход на инференс, с разбивкой по workflow и причине сбоя.
Считайте все дерево попыток
Логируйте родительский запрос, номер попытки, провайдера, модель, вызов инструмента, задержку, класс ошибки, токены и итоговый результат. Одного request ID недостаточно, когда вызов инструмента запускает вложенный запрос к модели. Фиксируйте связи родитель-потомок, чтобы задачу пользователя можно было восстановить как дерево.
Отделяйте полезные повторы от бесполезных
Повтор при превышении лимита запросов может спасти ценную задачу. Повтор ошибки валидации с тем же промптом обычно приносит еще одну такую же ошибку. Таймаут провайдера, некорректный ввод инструмента, переполнение контекста и отказ по качеству требуют разных политик. Для каждого класса ошибок задайте максимальное число попыток и путь эскалации.
Ставьте бюджеты на границе цикла
Используйте потолок токенов на запрос, потолок в долларах на workflow и максимальную длительность по часам. Мягкий потолок может направить следующую попытку на более компактную модель; жесткий потолок останавливает цикл и возвращает восстанавливаемое состояние. Не полагайтесь на ежемесячный алерт для контроля запроса, который может сжечь бюджет за секунды.
Оценивайте налог вместе с качеством
Низкая доля повторов сама по себе не хороша, если первая попытка проваливается чаще. Отслеживайте стоимость успешной задачи, долю завершенных задач, задержку и налог на повторы вместе. Начинайте с самых крупных статей: дублирующие вызовы инструментов, раздутый контекст при повторах, цепочки фолбэков, повторяющие ту же возможность, или валидаторы, которые отклоняют ответы без изменения промпта.
Устойчивое решение — не «отключить повторы». Нужно сделать каждую дополнительную попытку видимой, ограниченной и оправданной измеримым улучшением результата.
Связанное
- Ограничители расходов агентов
- Мониторинг затрат на LLM
- Стоимость успешной задачи
По теме
Хотите применить это к своему стеку? Принесите счета провайдеров, логи шлюза и ключевые рабочие процессы — мы определим драйверы затрат и пути экономии. Заказать бесплатный аудит →