Adaptives Denken und Kostenprognose
Updated September 1, 2026 · first published September 1, 2026
Das Denkbudget war früher eine Zahl, die Sie gesetzt haben. Sie übergaben budget_tokens: N, und N war Steuerung und Prognose zugleich: schlimmstenfalls kostete jede Anfrage N Reasoning-Tokens.
Dieser Parameter ist auf Opus 4.6 und Sonnet 4.6 abgekündigt, und auf den neuesten Modellen — Fable 5 und 5.1, Sonnet 5, Opus 5, 4.8 und 4.7 — führt er zu einem 400. Ersatz ist thinking: {type: "adaptive"}: das Modell entscheidet nach Schwierigkeit, wie viel es denkt.
Was sich in den Zahlen ändert
Die mittleren Kosten je Anfrage sinken meist, weil einfache Anfragen kein unnötiges Reasoning mehr bezahlen. Die Varianz steigt, weil schwere Anfragen nicht mehr an Ihrer Obergrenze abgeschnitten werden. Ein Budget als Maximum je Anfrage hat keinen Anker mehr.
Prognostizieren Sie die Verteilung
Führen Sie Reasoning-Tokens als eigene Zeitreihe — sie stehen bereits im Usage-Objekt jeder Antwort.
Budgetieren Sie über Perzentile: p50 und p99 je Route statt "N Tokens je Anfrage".
Alarmieren Sie auf das Verhältnis, nicht die Summe: der Anteil der Reasoning-Tokens bewegt sich zuerst, wenn eine Prompt-Änderung das Modell härter arbeiten lässt.
Wo eine Grenze weiterhin hingehört
Ausgabelimits je Route und je Mandant funktionieren weiterhin und fangen Endlosschleifen ab. Dorthin gehört das Sicherheitsnetz: an die Grenze, die Ihnen gehört.
Related
Want this applied to your own LLM spend? FinOps LLM runs a free audit of your AI costs and shows where the savings are. Book free audit →