Loop retry yang diam-diam menambah biaya inferensi
Diperbarui August 27, 2026 · pertama terbit August 27, 2026
Retry bukan ketahanan tanpa biaya. Setiap retry adalah panggilan model lagi, dan sebuah agen bisa mengubah satu error sementara menjadi lima percobaan berbayar sebelum ada yang melihat kegagalan. Kontrol pertama adalah mengukur pajak retry: pengeluaran retry dan fallback dibagi total pengeluaran inferensi, disegmentasi menurut workflow dan alasan kegagalan.
Hitung seluruh pohon percobaan
Catat permintaan induk, nomor percobaan, provider, model, panggilan tool, latensi, kelas error, token, dan hasil akhir. ID permintaan saja tidak cukup ketika sebuah panggilan tool memicu permintaan model bersarang. Catat hubungan induk-anak agar satu tugas pengguna bisa direkonstruksi sebagai pohon.
Pisahkan retry yang berguna dari retry yang boros
Mencoba ulang rate limit mungkin memulihkan tugas yang berharga. Mencoba ulang error validasi dengan prompt yang sama biasanya hanya menghasilkan kegagalan identik lagi. Timeout provider, input tool yang rusak, context overflow, dan penolakan kualitas memerlukan kebijakan yang berbeda. Berikan setiap kelas kegagalan jumlah percobaan maksimum dan jalur eskalasi.
Tetapkan anggaran di batas loop
Gunakan batas token per permintaan, batas dolar per workflow, dan durasi waktu nyata maksimum. Batas lunak bisa mengarahkan percobaan berikutnya ke model yang lebih kecil; batas keras menghentikan loop dan mengembalikan status yang bisa dipulihkan. Jangan mengandalkan peringatan bulanan untuk mengendalikan permintaan yang bisa menghabiskan anggarannya dalam hitungan detik.
Tinjau pajak bersama kualitas
Tingkat retry yang rendah belum tentu baik jika percobaan pertama lebih sering gagal. Lacak biaya tugas yang berhasil, tingkat penyelesaian, latensi, dan pajak retry secara bersamaan. Perbaiki dulu sumber dolar terbesar: panggilan tool duplikat, konteks berlebih pada retry, rantai fallback yang mengulang kapabilitas yang sama, atau validator yang menolak jawaban tanpa mengubah prompt.
Perbaikan yang tahan lama bukan “matikan retry.” Yang diperlukan adalah membuat setiap percobaan tambahan terlihat, terbatas, dan dibenarkan oleh peningkatan hasil yang bisa diukur.
Terkait
- Guardrail pengeluaran agen
- Pemantauan biaya LLM
- Biaya per tugas yang berhasil
Terkait
Ingin menerapkannya pada stack Anda? Bawa tagihan penyedia, log gateway, dan alur kerja utama; kami akan memetakan pendorong biaya dan jalur penghematan. Pesan audit gratis →