Perché le generazioni abbandonate vengono addebitate?

Perché il fornitore continua a computare i token in uscita finché non riceve un'interruzione di connessione sulla chiamata HTTP.

Come eliminare i token fantasma nello streaming?

Propagando l'evento di chiusura del client via AbortController direttamente alla chiamata verso il provider di inferenza.

Quick answer: Chiudere il browser non ferma il modello senza un segnale esplicito. Propaga l'interruzione all'endpoint del provider per evitare token fantasma.

Streaming e costi delle generazioni abbandonate

Updated September 9, 2026 · first published September 9, 2026

Chiudere il browser non ferma il modello senza un segnale esplicito. Propaga l'interruzione all'endpoint del provider per evitare token fantasma.

Costi nascosti nei loop di retry

Want this applied to your own LLM spend? FinOps LLM runs a free audit of your AI costs and shows where the savings are. Book free audit →

Back to research

Streaming e costi delle generazioni abbandonate

Related