Ukryte wydatki na ponowienia
Zaktualizowano August 27, 2026 · pierwsza publikacja August 27, 2026
Ponowienie to nie darmowa odporność. To kolejne wywołanie modelu, a agent może zamienić jeden przejściowy błąd w pięć płatnych prób, zanim ktokolwiek zobaczy awarię. Pierwszą kontrolą jest zmierzenie podatku od ponowień: wydatków na ponowienia i fallbacki podzielonych przez całkowity wydatek na inferencję, z podziałem na przepływ pracy i przyczynę błędu.
Policz całe drzewo prób
Zapisuj żądanie nadrzędne, numer próby, dostawcę, model, wywołanie narzędzia, opóźnienie, klasę błędu, tokeny i ostateczny wynik. Samego identyfikatora żądania nie wystarczy, gdy wywołanie narzędzia uruchamia zagnieżdżone żądanie do modelu. Zapisuj relacje rodzic-dziecko, aby jedno zadanie użytkownika dało się odtworzyć jako drzewo.
Oddziel użyteczne ponowienia od marnotrawnych
Ponowienie po limicie szybkości może uratować cenne zadanie. Ponowienie błędu walidacji tym samym promptem zwykle kupuje kolejną identyczną porażkę. Timeout dostawcy, źle sformatowane dane wejściowe narzędzia, przepełnienie kontekstu i odrzucenie ze względu na jakość wymagają różnych zasad. Każdej klasie błędu przypisz maksymalną liczbę prób i ścieżkę eskalacji.
Ustaw budżety na granicy pętli
Stosuj limit tokenów na żądanie, limit dolarów na przepływ pracy i maksymalny czas rzeczywisty. Miękki limit może skierować kolejną próbę do mniejszego modelu; twardy limit zatrzymuje pętlę i zwraca stan, który da się odzyskać. Nie polegaj na miesięcznym alercie, by kontrolować żądanie, które może wydać swój budżet w ciągu sekund.
Oceniaj podatek razem z jakością
Niski wskaźnik ponowień nie jest automatycznie dobry, jeśli pierwsza próba częściej zawodzi. Śledź razem koszt zadania zakończonego sukcesem, wskaźnik ukończenia, opóźnienie i podatek od ponowień. Naprawiaj najpierw największe kwoty: zduplikowane wywołania narzędzi, zbyt duży kontekst przy ponowieniach, łańcuchy fallbacków powtarzające tę samą zdolność albo walidatory odrzucające odpowiedzi bez zmiany promptu.
Trwałym rozwiązaniem nie jest „wyłącz ponowienia”. Jest nim uczynienie każdej dodatkowej próby widoczną, ograniczoną i uzasadnioną mierzalną poprawą wyniku.
Powiązane
- Zabezpieczenia wydatków agentów
- Monitorowanie kosztów LLM
- Koszt zadania zakończonego sukcesem
Powiązane
Chcesz zastosować to w swoim stosie? Przynieś faktury dostawców, logi bramy i najważniejsze przepływy pracy; wskażemy czynniki kosztów i ścieżkę oszczędności. Umów bezpłatny audyt →