適応的思考とコスト予測
Updated September 1, 2026 · first published September 1, 2026
推論の予算は、かつては自分で決める数値でした。budget_tokens: N を渡せば、N は制御であると同時に予測でもありました。最悪でも 1 リクエストあたり N トークンです。
このパラメータは Opus 4.6 と Sonnet 4.6 で非推奨となり、最新モデル — Fable 5 および 5.1、Sonnet 5、Opus 5、4.8、4.7 — では送信すると 400 が返ります。代わりに thinking: {type: "adaptive"} を使い、難易度に応じてモデル自身が思考量を決めます。
数字はどう変わるか
1 リクエストあたりの平均コストは通常下がります。簡単な要求が不要な推論の代金を払わなくなるからです。一方で分散は上がります。難しい要求が上限で打ち切られなくなるためです。「1 リクエストあたり N トークン」という形の予算は、拠り所を失います。
上限ではなく分布を予測する
推論トークンを独立した系列として追跡する。各レスポンスの usage にすでに含まれています。
パーセンタイルで予算を立てる。ルートごとに p50 と p99 を置きます。
合計ではなく比率で警報を出す。プロンプト変更でモデルの負荷が増えたとき、最初に動くのは総トークンに占める推論トークンの比率です。
それでも上限が要る場所
ルート単位・テナント単位の支出上限は今も有効で、暴走ループを止めてくれます。ガードレールを置くべきなのは、そこ、つまり自分が管理する境界です。
Related
Want this applied to your own LLM spend? FinOps LLM runs a free audit of your AI costs and shows where the savings are. Book free audit →