스트리밍 응답과 중단된 생성 비용
업데이트 September 9, 2026 · 최초 게시 September 9, 2026
화면 렌더링이 멈춰도 백엔드 연결이 유지되면 공급자는 토큰을 계속 과금합니다. AbortController를 통한 업스트림 취소 전파가 필수적입니다.
자주 묻는 질문
사용자가 중단한 스트리밍이 과금되는 이유는?
클라이언트 연결 끊김이 공급자 API 서버에 취소 신호로 전달되지 않으면 설정된 한도까지 토큰 생성이 완료되기 때문입니다.
버려지는 스트리밍 토큰 낭비를 막는 방법은?
클라이언트 이탈 이벤트를 게이트웨이를 거쳐 모델 호출 엔드포인트의 AbortController로 즉시 전파하는 것입니다.
관련 글
이 내용을 현재 스택에 적용하고 싶으신가요? 공급업체 청구서, 게이트웨이 로그, 주요 워크플로를 가져오시면 비용 요인과 절감 경로를 정리해드립니다. 무료 감사 예약 →