De stille kostprijs van de retry-loop in LLM's
Updated August 27, 2026 · first published August 27, 2026
Een retry is geen gratis vorm van veerkracht. Het is een volwaardige nieuwe modelaanroep, en een autonome agent kan één tijdelijke fout ongemerkt omzetten in vijf betaalde pogingen voordat er überhaupt een foutmelding verschijnt. De eerste noodzakelijke beheersmaatregel is het kwantificeren van de retry-belasting (retry tax): de uitgaven aan herhaalpogingen en fallbacks gedeeld door de totale inferentiekosten, gesegmenteerd per workflow en storingsreden.
Registreer de volledige boomstructuur van pogingen
Log het hoofdverzoek, het pogingnummer, de provider, het model, de toolcall, de latentie, de foutklasse, de tokens en de uiteindelijke uitkomst. Een enkelvoudig request-ID schiet tekort zodra een toolcall een geneste modelaanroep start. Leg ouder-kindrelaties vast zodat een complete gebruikerstaak als een boomstructuur gereconstrueerd kan worden.
Scheid nuttige van verspillende retries
Het opnieuw proberen bij een rate-limit kan een waardevolle transactie redden. Het opnieuw proberen van een validatiefout met exact dezelfde prompt resulteert vrijwel altijd in een identieke mislukking. Een provider-timeout, foutieve JSON-invoer, contextoverloop en kwaliteitsafwijzingen vereisen elk een specifiek protocol met een strikt pogingsmaximum.
Stel budgetplafonds in op de lusgrenzen
Hanteer een tokenplafond per verzoek, een financieel plafond per workflow en een maximale looptijd in seconden. Een zacht plafond kan routeren naar een lichter model; een hard plafond stopt de lus onmiddellijk en retourneert een herstelbare status.
Related
Want this applied to your own LLM spend? FinOps LLM runs a free audit of your AI costs and shows where the savings are. Book free audit →