O ciclo de retries que aumenta o custo de inferência
Updated August 27, 2026 · first published August 27, 2026
Um retry é outra chamada ao modelo, não resiliência gratuita. Meça o imposto de retries: despesa de retries e fallbacks dividida pela inferência total.
Registe a árvore
Guarde pedido pai, tentativa, fornecedor, modelo, ferramenta, erro, tokens e resultado. Chamadas aninhadas precisam de relações pai-filho.
Limite o ciclo
Defina limites de tentativas, tokens, dólares e tempo por classe de erro. Um erro determinístico não deve ser repetido sem alteração.
Não desligue todos os retries: torne cada tentativa visível, limitada e justificada por um resultado melhor.
Related
Want this applied to your own LLM spend? FinOps LLM runs a free audit of your AI costs and shows where the savings are. Book free audit →