流式输出与未竟生成的成本控制
Updated September 9, 2026 · first published September 9, 2026
流式输出（Streaming）大幅改善了用户交互体验，但也制造了“前端已关闭，后端仍在疯狂计费”的成本黑洞。当用户浏览前两行已解决问题并关闭网页时，若未配置即时中断机制，大模型服务商仍会生成完剩余的数百个 Token 并全额扣款。工程师必须通过 AbortController 链路将中断信号秒级传递至模型网关。
Related
Want this applied to your own LLM spend? FinOps LLM runs a free audit of your AI costs and shows where the savings are. Book free audit →