Boucle de reprises et coût d’inférence
Updated August 27, 2026 · first published August 27, 2026
Une reprise est un nouvel appel modèle, pas une résilience gratuite. Mesurez sa taxe: dépenses de reprises et bascules divisées par toute l’inférence.
Tracer l’arbre
Conservez requête parente, tentative, fournisseur, modèle, outil, erreur, tokens et résultat. Les appels imbriqués doivent garder leur relation parent-enfant.
Limiter la boucle
Attribuez à chaque classe d’erreur un nombre maximal de tentatives, un plafond de tokens, un plafond financier et une durée maximale. Une erreur déterministe ne doit pas être rejouée sans changement.
Ne supprimez pas toutes les reprises: rendez chaque tentative visible, bornée et justifiée par un meilleur résultat.
Related
Want this applied to your own LLM spend? FinOps LLM runs a free audit of your AI costs and shows where the savings are. Book free audit →