Стоимость успешной задачи важнее стоимости запроса
Обновлено August 27, 2026 · впервые опубликовано August 27, 2026
Стоимость на запрос полезна, но это не та единица, которую на самом деле покупает пользователь. Запрос, который упал, трижды повторился или выдал непригодный ответ, не является успешной единицей работы. Для продакшн-AI более сильная метрика — стоимость успешной задачи: все расходы провайдеров и инструментов, разделенные на задачи, которые проходят заданный порог качества.
Метрика
Используйте successful_task_cost = total attributable spend / successful tasks. Учитывайте стоимость входа, выхода, кэша, рассуждений, инструментов, повторов и запасных вариантов. Определите успех до измерения: ответ поддержки, принятый пользователем, классификация выше порога уверенности или процесс, завершенный без ручной доработки.
Почему средние по запросам вводят в заблуждение
Средние по запросам выглядят лучше, если считать дешевые неудачные попытки. Они также скрывают длинный хвост: у функции может быть низкая медианная стоимость запроса, а дорогие сбойные случаи съедают вызовы с рассуждениями и время людей на проверку. Сегментируйте по функции, модели, когорте клиентов и результату. Показывайте p50 и p95 стоимости успешной задачи рядом с долей успехов.
Инструментируйте знаменатель
Каждый спан модели нужен с ID запроса и тегом функции; приложение затем должно отправлять событие результата, связанное с этим ID. Фиксируйте успех, причину сбоя, ручную доработку, задержку и ценность для бизнеса, где она есть. Сверяйте счета провайдеров с числителем и выборочно проверяйте завершенные задачи, чтобы подтвердить знаменатель.
Используйте метрику для выбора оптимизации
Если стоимость запроса высокая, а успешность тоже высокая, помогут маршрутизация или кэширование. Если стоимость запроса низкая, а стоимость успешной задачи высокая, проблема в качестве: повторы, слабые модели, нехватка контекста или плохие правила остановки. Оптимизируйте метрику, которая включает стоимость сбоев, и затем проверьте, что качество не просело.
Связанное
- Мониторинг затрат на LLM
- Стоимость запроса как продуктовый KPI
- Атрибуция затрат на LLM
По теме
Хотите применить это к своему стеку? Принесите счета провайдеров, логи шлюза и ключевые рабочие процессы — мы определим драйверы затрат и пути экономии. Заказать бесплатный аудит →