Die Retry-Schleife, die Inferenzkosten heimlich erhöht
Updated August 27, 2026 · first published August 27, 2026
Ein Retry ist ein weiterer Modellaufruf, keine kostenlose Resilienz. Messen Sie die Retry-Steuer: Retry- und Fallback-Kosten geteilt durch die gesamte Inferenz.
Den vollständigen Baum erfassen
Speichern Sie Elternanfrage, Versuch, Anbieter, Modell, Tool, Fehler, Tokens und Ergebnis. Verschachtelte Aufrufe brauchen Eltern-Kind-Beziehungen.
Die Schleife begrenzen
Definieren Sie je Fehlerklasse Versuchszahl, Token-, Dollar- und Zeitlimit. Deterministische Fehler dürfen nicht unverändert wiederholt werden.
Deaktivieren Sie Retries nicht pauschal. Jeder Versuch muss sichtbar, begrenzt und durch ein besseres Ergebnis begründet sein.
Related
Want this applied to your own LLM spend? FinOps LLM runs a free audit of your AI costs and shows where the savings are. Book free audit →