El bucle de reintentos que añade gasto de inferencia
Updated August 27, 2026 · first published August 27, 2026
Un reintento no es resiliencia gratuita: es otra llamada al modelo. Mide el impuesto de reintentos como gasto de reintentos y fallbacks dividido por todo el gasto de inferencia.
Registra el árbol completo
Guarda solicitud padre, intento, proveedor, modelo, herramienta, error, tokens y resultado. Las llamadas anidadas necesitan relaciones padre-hijo.
Separa fallos
Un límite de tasa puede merecer un reintento; un error de validación repetido no. Define intentos máximos por clase de fallo.
Controla el bucle
Usa límites de tokens por solicitud, dólares por flujo, intentos y tiempo. El límite duro debe detener el bucle en segundos, no esperar a una alerta mensual.
No desactives todos los reintentos: haz que cada intento sea visible, limitado y justificado por un mejor resultado.
Related
Want this applied to your own LLM spend? FinOps LLM runs a free audit of your AI costs and shows where the savings are. Book free audit →