Pourquoi une réponse arrêtée est-elle facturée?

Parce que le fournisseur calcule les tokens générés côté serveur tant qu'aucun signal d'interruption HTTP ne lui parvient.

Comment éliminer le gaspillage du streaming abandonné?

En propageant instantanément la rupture du client via un AbortController jusqu'à la requête API du fournisseur de modèle.

Quick answer: Une déconnexion côté navigateur n'interrompt pas toujours la facturation chez le fournisseur d'API. Propagez le signal d'annulation au proxy LLM.

Streaming et coût des générations abandonnées

Updated September 9, 2026 · first published September 9, 2026

Une déconnexion côté navigateur n'interrompt pas toujours la facturation chez le fournisseur d'API. Propagez le signal d'annulation au proxy LLM.

Coût caché des boucles de retry

Want this applied to your own LLM spend? FinOps LLM runs a free audit of your AI costs and shows where the savings are. Book free audit →

Back to research

Streaming et coût des générations abandonnées

Related