Biaya token mode JSON dan skema
Diperbarui September 1, 2026 · pertama terbit September 1, 2026
Meminta output terstruktur terlihat seperti pilihan format. Di tagihan, itu pilihan volume, dan dampaknya muncul di tiga tempat sekaligus.
Skema adalah biaya input di setiap permintaan
Format respons atau definisi tool diserialisasi ke dalam permintaan. Skema yang sederhana — belasan field, deskripsi di tiap field, beberapa objek bersarang — berukuran beberapa ratus token. Itu kecil sampai dikalikan setiap panggilan, di setiap giliran, sepanjang umur fitur. Skema 400 token pada satu juta panggilan berarti 400 juta token input yang Anda bayar hanya untuk mendeskripsikan bentuk yang tidak pernah berubah.
Lebih buruk lagi, dalam implementasi naif skema biasanya diletakkan setelah bagian prompt yang berubah-ubah, sehingga prefiks yang di-cache rusak. Skema kemudian dibayar harga penuh setiap kali dan menghilangkan diskon untuk semua yang ada sebelumnya.
Sintaks adalah biaya output
Setiap kurung kurawal, tanda kutip, koma, dan nama field dalam respons adalah token yang dihasilkan dan ditagih dengan tarif output. Nama field yang panjang adalah biaya berulang: customer_shipping_address_line_one selamanya lebih mahal daripada addr1. Objek yang sangat bersarang membayar untuk scaffolding-nya sendiri. Untuk jawaban pendek yang dibungkus amplop besar, strukturnya bisa benar-benar melebihi isinya.
Retry adalah bagian yang mahal
Constrained decoding di penyedia besar membuat pelanggaran skema jarang, tetapi kegagalan validasi tetap terjadi — field yang tidak bisa diisi model secara jujur, enum tanpa jawaban yang tepat, atau skema yang ambigu bagi pembaca. Setiap kegagalan menimbulkan retry penuh: seluruh token input lagi, seluruh token output lagi, ditambah latensi. Tingkat tidak valid 2% pada endpoint volume tinggi berarti kenaikan biaya 2% tanpa hasil apa pun.
Yang sebenarnya harus dilakukan
Letakkan skema di prefiks yang stabil agar ter-cache, dan jaga agar tetap identik di setiap panggilan. Minta hanya field yang benar-benar Anda pakai — field ekstra dibayar dua kali, sekali di skema dan sekali di respons. Utamakan nama field yang pendek dan struktur yang datar. Jika outputnya satu nilai saja, jangan bungkus dalam objek sama sekali. Dan ukur tingkat kegagalan validasi Anda: itulah satu-satunya bagian dari ini yang murni pemborosan.
Terkait
Terkait
Ingin menerapkannya pada stack Anda? Bawa tagihan penyedia, log gateway, dan alur kerja utama; kami akan memetakan pendorong biaya dan jalur penghematan. Pesan audit gratis →