Streaming e costi delle generazioni abbandonate
Aggiornato September 9, 2026 · pubblicato inizialmente September 9, 2026
Chiudere il browser non ferma il modello senza un segnale esplicito. Propaga l'interruzione all'endpoint del provider per evitare token fantasma.
Domande frequenti
Perché le generazioni abbandonate vengono addebitate?
Perché il fornitore continua a computare i token in uscita finché non riceve un'interruzione di connessione sulla chiamata HTTP.
Come eliminare i token fantasma nello streaming?
Propagando l'evento di chiusura del client via AbortController direttamente alla chiamata verso il provider di inferenza.
Correlati
Vuoi applicarlo al tuo stack? Porta le fatture dei provider, i log del gateway e i flussi di lavoro principali: mapperemo i costi e i possibili risparmi. Prenota un audit gratuito →