Koszt tokenów trybu JSON i schematów
Zaktualizowano September 1, 2026 · pierwsza publikacja September 1, 2026
Poproszenie modelu o strukturalne wyjście wygląda na wybór formatu. Na rachunku to wybór wolumenu, i pojawia się w trzech miejscach naraz.
Schemat to koszt wejścia w każdym żądaniu
Format odpowiedzi lub definicja narzędzia są serializowane do żądania. Skromny schemat — kilkanaście pól, opis każdego z nich, kilka zagnieżdżonych obiektów — to kilkaset tokenów. To niewiele, dopóki nie pomnożysz tego przez każde wywołanie, każdą turę, przez cały okres działania funkcji. Schemat z 400 tokenami przy milionie wywołań to 400 milionów tokenów wejścia, za które płacisz, żeby opisać kształt, który nigdy się nie zmienia.
Gorzej, że w naiwnych implementacjach schemat zwykle stoi za zmienną częścią promptu, co łamie zbuforowany prefiks. Wtedy schemat kosztuje pełną stawkę za każdym razem i niszczy zniżkę na wszystko, co jest przed nim.
Składnia to koszt wyjścia
Każdy nawias klamrowy, cudzysłów, przecinek i nazwa pola w odpowiedzi to wygenerowany token, za który płacisz stawką wyjścia. Rozwlekłe nazwy pól to stały, powtarzalny koszt: customer_shipping_address_line_one kosztuje na zawsze więcej niż addr1. Głęboko zagnieżdżone obiekty płacą za własne rusztowanie. Przy krótkich odpowiedziach owinietych w duży envelope struktura może realnie przewyższać treść.
Ponowienia to najdroższa część
Ograniczone dekodowanie u głównych dostawców sprawia, że naruszenia schematu są rzadkie, ale błędy walidacji wciąż się zdarzają — pole, którego model nie może uczciwie wypełnić, enum bez poprawnej odpowiedzi, schemat dwuznaczny dla czytelnika. Każda awaria to pełne ponowienie: znowu całe wejście, znowu całe wyjście, do tego opóźnienie. Wskaźnik 2% nieprawidłowych odpowiedzi na endpoincie o dużym wolumenie to 2% wyższy koszt bez żadnej korzyści.
Co faktycznie zrobić
Umieść schemat w stabilnym prefiksie, żeby się buforował, i trzymaj go identycznego między wywołaniami. Proś tylko o pola, które konsumujesz — dodatkowe pola są płacone dwa razy, raz w schemacie i raz w odpowiedzi. Preferuj krótkie nazwy pól i płaskie struktury. Jeśli wyjście to pojedyncza wartość, nie owijaj jej wcale w obiekt. I mierz wskaźnik błędów walidacji: to jedyna część tego wszystkiego, która jest czystą stratą.
Powiązane
Powiązane
Chcesz zastosować to w swoim stosie? Przynieś faktury dostawców, logi bramy i najważniejsze przepływy pracy; wskażemy czynniki kosztów i ścieżkę oszczędności. Umów bezpłatny audyt →