Server-Tools sind eine eigene Rechnung
Updated September 1, 2026 · first published September 1, 2026
Die meisten LLM-Kostenmodelle haben einen Zähler: Tokens rein, Tokens raus, Preis je Million. Das stimmte, solange eine Anfrage nur Text erzeugte. Mit serverseitigen Tools stimmt es nicht mehr.
Websuche, Web-Fetch und Codeausführung laufen auf der Infrastruktur des Anbieters, und mehrere davon tragen eine eigene Nutzungsgebühr zusätzlich zu den Tokens, die sie erzeugen. Ein Agentenzug kann Sie also doppelt belasten.
Der kumulative Teil
Die zweite Gebühr wird übersehen. Jedes Tool-Ergebnis wird an die Konversation angehängt, und jeder folgende Zug sendet alles erneut als Eingabe. Zehn Suchen früh in einem langen Lauf sind nicht zehn Gebühren, sondern zehn Gebühren plus ihre Nutzlast, in jedem weiteren Zug erneut gelesen.
Deshalb wirken Agentenkosten nichtlinear, obwohl die Token-Rechnung Linearität nahelegt. Die Nutzungsgebühr ist der sichtbare Teil; das Kontextwachstum ist der größere und landet unbeschriftet in Ihrer Eingabe-Token-Zeile.
Ohne Zuordnung keine Steuerung
Protokollieren Sie Tool-Aufrufe je Anfrage neben dem Usage-Objekt: welches Tool, wie viele Aufrufe, und wie groß in Tokens das jeweilige Ergebnis war. Letzteres macht die Kumulation sichtbar.
Berechnen Sie dann Kosten je Agentenlauf, nicht je API-Aufruf.
Drei wirksame Kontrollen
Begrenzen Sie Tool-Aufrufe je Lauf — das deckelt beide Kosten zugleich.
Kürzen Sie, was in den Kontext gelangt — zusammenfassen vor dem Anhängen entlastet jeden folgenden Zug.
Cachen Sie das stabile Präfix — Systemprompt und Tool-Definitionen sind konstant; Caching entfernt den größten wiederholten Posten.
Related
Want this applied to your own LLM spend? FinOps LLM runs a free audit of your AI costs and shows where the savings are. Book free audit →