Runbook produkcyjny dla skoku kosztów LLM
Zaktualizowano August 27, 2026 · pierwsza publikacja August 27, 2026
Gdy wydatki na LLM gwałtownie rosną, nie zaczynaj od zmiany modelu. Najpierw zabezpiecz dowody, potwierdź sygnał z rozliczenia i ustal, czy zmiana wynika z wolumenu, stawki, miksu czy efektywności. Dobra reakcja zabezpiecza incydent, zanim zniszczy dane potrzebne do jego wyjaśnienia.
Pierwsze 15 minut: potwierdź i zabezpiecz
Zapisz fakturę dostawcy lub eksport zużycia, bieżący ruch, miks modeli, typy tokenów, ponowienia i ostatnie wdrożenia. Odnotuj czas rozpoczęcia, dotknięte konta i użyte pulpity. Porównaj rozliczenie dostawcy z telemetrią bramki, aby błąd pulpitu nie wywołał niebezpiecznej zmiany na produkcji.
Kolejne 30 minut: bezpieczne ograniczenie
Zastosuj najwęższą kontrolę, która zatrzyma dalsze straty: wstrzymaj niekontrolowany przepływ pracy, ogranicz agenta, przekieruj pracę w tle do wsadu albo wyłącz jedną świeżo wydaną funkcję. Zachowaj ruch krytyczny dla jakości i dla przychodów. Każda awaryjna kontrola potrzebuje właściciela, czasu wygaśnięcia i warunku wycofania.
Znajdź przyczynę
Sprawdź najpierw wolumen, potem miks modeli, skład tokenów, ponowienia i ścieżki zapasowe, długość kontekstu, rozgałęzienie wywołań narzędzi oraz zmiany cen dostawcy. Porównaj koszt na udane zadanie w p50 i p95 z poprzednim okresem. Wzrost liczby żądań przy stałym koszcie na zadanie oznacza popyt; wzrost kosztu na zadanie oznacza problem z efektywnością lub miksem.
Zamknij incydent
Usuń tymczasowe kontrole dopiero wtedy, gdy metryka wróci poniżej progu, a jakość mieści się w SLO. Spisz oś czasu, wpływ w dolarach, przyczynę główną, lukę w wykrywaniu i trwałe działanie. Uzgodnij końcowy wpływ z fakturami dostawców i oznacz dotknięte funkcje, aby przegląd po incydencie dało się audytować.
Runbook zadziałał, gdy zespół potrafi odpowiedzieć, co się zmieniło, co zostało ochronione, ile to kosztowało i która kontrola zapobiegnie powtórzeniu.
Powiązane
- Monitorowanie kosztów LLM
- Zabezpieczenia wydatków agentów
- Alokacja kosztów AI
Powiązane
Chcesz zastosować to w swoim stosie? Przynieś faktury dostawców, logi bramy i najważniejsze przepływy pracy; wskażemy czynniki kosztów i ścieżkę oszczędności. Umów bezpłatny audyt →