Koszt udanego zadania bije koszt żądania
Zaktualizowano August 27, 2026 · pierwsza publikacja August 27, 2026
Koszt na żądanie jest użyteczny, ale to nie jednostka, za którą płacą użytkownicy. Żądanie, które się nie udaje, ponawia trzy razy albo daje nieużyteczną odpowiedź, nie jest udaną jednostką pracy. W produkcyjnym AI mocniejszą miarą jest koszt udanego zadania: wszystkie koszty dostawców i narzędzi podzielone przez zadania, które spełniają zdefiniowany próg jakości.
Miara
Użyj successful_task_cost = total attributable spend / successful tasks. Uwzględnij koszty wejścia, wyjścia, cache, rozumowania, narzędzi, ponowień i fallbacków. Zdefiniuj sukces przed pomiarem: odpowiedź wsparcia zaakceptowaną przez użytkownika, klasyfikację powyżej progu pewności albo przepływ ukończony bez naprawy przez człowieka.
Dlaczego średnie z żądań wprowadzają w błąd
Średnie z żądań poprawiają się, gdy liczysz tanie nieudane próby. Ukrywają też długi ogon: funkcja może mieć niski medianowy koszt żądania, podczas gdy jej nieudane przypadki zużywają drogie wywołania rozumowania i przegląd przez człowieka. Segmentuj według funkcji, modelu, kohorty klientów i wyniku. Raportuj p50 i p95 kosztu udanego zadania obok wskaźnika sukcesu.
Instrumentuj mianownik
Każdy span modelu potrzebuje identyfikatora żądania i znacznika funkcji; aplikacja musi następnie wysyłać zdarzenie wyniku powiązane z tym identyfikatorem. Zapisuj sukces, powód porażki, naprawę przez człowieka, opóźnienie oraz wartość przychodową lub usługową, jeśli jest dostępna. Uzgadniaj faktury dostawców z licznikiem i próbkuj ukończone zadania, aby zweryfikować mianownik.
Użyj jej do wyboru optymalizacji
Jeśli koszt żądania jest wysoki, ale wskaźnik sukcesu też, pomocny może być routing lub cache. Jeśli koszt żądania jest niski, a koszt udanego zadania wysoki, problemem jest jakość: ponowienia, słabe modele, brakujący kontekst albo złe reguły zatrzymania. Optymalizuj miarę, która zawiera koszt porażki, a potem sprawdź, czy jakość się nie pogorszyła.
Powiązane
- Monitorowanie kosztów LLM
- Koszt na żądanie jako KPI produktu
- Atrybucja kosztów LLM
Powiązane
Chcesz zastosować to w swoim stosie? Przynieś faktury dostawców, logi bramy i najważniejsze przepływy pracy; wskażemy czynniki kosztów i ścieżkę oszczędności. Umów bezpłatny audyt →