Por que respostas abandonadas continuam sendo cobradas?

Porque a infraestrutura do provedor segue gerando tokens até o limite configurado se não receber um comando de cancelamento.

Como conter gastos com streaming não visualizado?

Propagando desconexões de clientes com AbortController através do gateway até a chamada original do provedor do modelo.

Quick answer: A interrupção visual no cliente não cancela a geração na nuvem sem uma propagação explícita de encerramento HTTP. Evite desperdício invisível de saída.

Streaming e o custo de gerações abandonadas

Updated September 9, 2026 · first published September 9, 2026

A interrupção visual no cliente não cancela a geração na nuvem sem uma propagação explícita de encerramento HTTP. Evite desperdício invisível de saída.

Gastos ocultos em loops de retentativa

Want this applied to your own LLM spend? FinOps LLM runs a free audit of your AI costs and shows where the savings are. Book free audit →

Back to research

Streaming e o custo de gerações abandonadas

Related