Runbook produksi untuk lonjakan biaya LLM
Diperbarui August 27, 2026 · pertama terbit August 27, 2026
Saat belanja LLM melonjak, jangan mulai dengan mengubah model. Pertama amankan bukti, pastikan sinyal penagihannya, dan tentukan apakah perubahannya berasal dari volume, tarif, komposisi, atau efisiensi. Respons yang baik menahan insiden sebelum insiden itu menghancurkan data yang dibutuhkan untuk menjelaskannya.
15 menit pertama: pastikan dan amankan
Simpan faktur atau ekspor penggunaan dari penyedia, lalu catat lalu lintas saat ini, komposisi model, jenis token, retry, dan deployment terbaru. Catat waktu mulai, akun yang terdampak, dan dasbor yang digunakan. Bandingkan tagihan penyedia dengan telemetri gateway agar bug pada dasbor tidak memicu perubahan produksi yang berisiko.
30 menit berikutnya: tahan dengan aman
Terapkan kontrol paling sempit yang menghentikan kerusakan lebih lanjut: jeda workflow yang tidak terkendali, batasi agen, alihkan pekerjaan latar belakang ke batch, atau nonaktifkan satu fitur baru yang baru dirilis. Pertahankan lalu lintas yang kritis untuk kualitas dan pendapatan. Setiap kontrol darurat harus punya pemilik, waktu kedaluwarsa, dan kondisi rollback.
Temukan penyebabnya
Periksa volume terlebih dahulu, lalu komposisi model, komposisi token, retry dan fallback, panjang konteks, jumlah pemanggilan alat, dan perubahan harga penyedia. Bandingkan biaya p50 dan p95 per tugas yang berhasil dengan periode sebelumnya. Kenaikan jumlah permintaan dengan biaya per tugas yang tetap berarti permintaan memang naik; kenaikan biaya per tugas berarti masalah efisiensi atau komposisi.
Tutup insiden
Hapus kontrol sementara hanya setelah metrik kembali di bawah ambangnya dan kualitas tetap dalam SLO. Tulis lini masa, dampak dalam dolar, akar penyebab, celah deteksi, dan tindakan permanen. Cocokkan dampak akhir dengan faktur penyedia dan beri tag pada fitur terdampak agar postmortem dapat diaudit.
Runbook ini berhasil jika tim bisa menjawab apa yang berubah, apa yang dilindungi, berapa biayanya, dan kontrol mana yang mencegah terulangnya.
Terkait
- Pemantauan biaya LLM
- Pagar pengaman belanja agen
- Analisis selisih belanja AI
Terkait
Ingin menerapkannya pada stack Anda? Bawa tagihan penyedia, log gateway, dan alur kerja utama; kami akan memetakan pendorong biaya dan jalur penghematan. Pesan audit gratis →