Retry döngüsü ve gizli inference maliyeti
Güncellendi August 27, 2026 · ilk yayın August 27, 2026
Bir retry, bedava bir dayanıklılık mekanizması değildir. Bu, bir model çağrısı daha demektir ve bir agent, tek bir geçici hatayı kimse bir arıza görmeden beş ücretli denemeye dönüştürebilir. İlk kontrol retry vergisini ölçmektir: retry ve fallback harcamasının toplam inference harcamasına oranı, iş akışına ve hata nedenine göre ayrıştırılmış olarak.
Tüm deneme ağacını say
Üst istek, deneme numarası, sağlayıcı, model, araç çağrısı, gecikme, hata sınıfı, token sayısı ve nihai sonucu kaydedin. Bir araç çağrısı iç içe bir model isteği tetikleyebildiğinden tek başına bir istek ID'si yeterli değildir. Bir kullanıcı görevinin ağaç olarak yeniden kurulabilmesi için üst-alt ilişkilerini kaydedin.
Faydalı ve israf olan retry'ları ayırın
Rate limit hatasını yeniden denemek değerli bir görevi kurtarabilir. Aynı prompt ile doğrulama hatasını yeniden denemek ise çoğunlukla aynı hatayı tekrar satın almak demektir. Sağlayıcı zaman aşımı, bozuk araç girdisi, bağlam taşması ve kalite reddi farklı politikalar gerektirir. Her hata sınıfına bir maksimum deneme sayısı ve bir yükseltme yolu atayın.
Bütçeleri döngü sınırında belirleyin
İstek başına bir token tavanı, iş akışı başına bir dolar tavanı ve bir maksimum duvar saati süresi kullanın. Yumuşak bir tavan bir sonraki denemeyi daha küçük bir modele yönlendirebilir; sert bir tavan ise döngüyü durdurur ve kurtarılabilir bir durum döndürür. Saniyeler içinde bütçesini tüketebilecek bir isteği aylık bir uyarıyla kontrol etmeye çalışmayın.
Vergiyi kaliteyle birlikte gözden geçirin
İlk denemenin daha sık başarısız olduğu durumda düşük bir retry oranı otomatik olarak iyi değildir. Başarılı görev maliyetini, tamamlanma oranını, gecikmeyi ve retry vergisini birlikte izleyin. En büyük dolarları önce düzeltin: tekrarlanan araç çağrıları, retry'larda aşırı büyük bağlam, aynı yeteneği tekrarlayan fallback zincirleri veya prompt'u değiştirmeden yanıtları reddeden doğrulayıcılar.
Kalıcı çözüm “retry'ları kapatmak” değildir. Her ekstra denemeyi görünür, sınırlı ve ölçülebilir bir sonuç iyileşmesiyle gerekçelendirilmiş hale getirmektir.
İlgili
- Agent harcama korkulukları
- LLM maliyet izleme
- Başarılı görev başına maliyet
İlgili
Bunu kendi altyapınıza uygulamak mı istiyorsunuz? Sağlayıcı faturalarını, ağ geçidi kayıtlarını ve ana iş akışlarını getirin; maliyet etkenlerini ve tasarruf yolunu çıkaralım. Ücretsiz denetim planlayın →