Streaming et coût des générations abandonnées
Mis à jour September 9, 2026 · première publication September 9, 2026
Une déconnexion côté navigateur n'interrompt pas toujours la facturation chez le fournisseur d'API. Propagez le signal d'annulation au proxy LLM.
Questions fréquentes
Pourquoi une réponse arrêtée est-elle facturée?
Parce que le fournisseur calcule les tokens générés côté serveur tant qu'aucun signal d'interruption HTTP ne lui parvient.
Comment éliminer le gaspillage du streaming abandonné?
En propageant instantanément la rupture du client via un AbortController jusqu'à la requête API du fournisseur de modèle.
À lire aussi
Vous souhaitez appliquer cela à votre plateforme ? Transmettez vos factures fournisseurs, journaux de passerelle et principaux workflows ; nous cartographierons les coûts et les économies possibles. Demander un audit gratuit →