Die Retry-Schleife, die Inferenzkosten heimlich erhöht
Aktualisiert August 27, 2026 · erstveröffentlicht August 27, 2026
Ein Retry ist ein weiterer Modellaufruf, keine kostenlose Resilienz. Messen Sie die Retry-Steuer: Retry- und Fallback-Kosten geteilt durch die gesamte Inferenz.
Den vollständigen Baum erfassen
Speichern Sie Elternanfrage, Versuch, Anbieter, Modell, Tool, Fehler, Tokens und Ergebnis. Verschachtelte Aufrufe brauchen Eltern-Kind-Beziehungen.
Die Schleife begrenzen
Definieren Sie je Fehlerklasse Versuchszahl, Token-, Dollar- und Zeitlimit. Deterministische Fehler dürfen nicht unverändert wiederholt werden.
Deaktivieren Sie Retries nicht pauschal. Jeder Versuch muss sichtbar, begrenzt und durch ein besseres Ergebnis begründet sein.
Weiterführend
Möchten Sie das auf Ihren Stack anwenden? Bringen Sie Anbieterrechnungen, Gateway-Protokolle und die wichtigsten Workflows mit; wir ordnen Kostentreiber und Einsparpotenziale zu. Kostenlose Prüfung buchen →