Streaming-Antworten und abgebrochene Token
Aktualisiert September 9, 2026 · erstveröffentlicht September 9, 2026
Streaming suggeriert Schnelligkeit, doch wenn der Nutzer den Tab schließt oder auf Stop klickt, rechnet der Modellprovider oft bis zum Tokenlimit weiter ab. Die sichtbare Ausgabe ist kurz, die Rechnung aber hoch.
Abbrüche nach Upstream propagieren
Reichen Sie Client-Disconnections per AbortController direkt an die API des Providers durch, um verwaiste Token zu vermeiden.
Häufige Fragen
Warum kosten abgebrochene Streaming-Antworten Geld?
Weil der Cloud-Provider im Backend solange Tokens generiert und verrechnet, bis ein explizites HTTP-Abbruchsignal eintrifft.
Wie verhindert man Kosten durch verwaiste Generierungen?
Indem man Verbindungsabbrüche des Browsers per AbortController unmittelbar an den Upstream-Modellprovider weiterleitet.
Weiterführend
Möchten Sie das auf Ihren Stack anwenden? Bringen Sie Anbieterrechnungen, Gateway-Protokolle und die wichtigsten Workflows mit; wir ordnen Kostentreiber und Einsparpotenziale zu. Kostenlose Prüfung buchen →