추론 비용을 조용히 증폭시키는 재시도 루프 제어
Updated August 27, 2026 · first published August 27, 2026
재시도는 무료 복원력이 아닙니다. 엄연히 유료 모델 호출이며, 자율 에이전트는 일시적인 장애 하나를 사용자에게 알리기 전에 5번의 유료 시도로 바꿀 수 있습니다. FinOps 팀의 첫 번째 통제 조치는 재시도 세금(재시도 및 폴백 지출을 전체 추론 지출로 나눈 비율)을 측정하는 것입니다.
호출 트리 전체 기록
부모 요청 ID, 시도 횟수, 공급업체, 모델, 도구 호출, 지연 시간, 오류 유형, 토큰 수 및 최종 결과를 기록하십시오. 중첩된 도구 호출을 추적하려면 부모-자식 관계를 명시적으로 보존하여 단일 작업의 전체 실행 트리를 재구성할 수 있어야 합니다.
가치 있는 재시도와 낭비성 재시도의 분리
속도 제한(Rate Limit)으로 인한 재시도는 가치 있는 작업을 복구할 수 있습니다. 반면 스키마 검증 실패를 동일한 프롬프트로 재시도하는 것은 동일한 유료 실패를 반복 구매하는 것에 불과합니다. 오류 유형별로 최대 시도 횟수와 에스컬레이션 경로를 다르게 지정하십시오.
루프 경계에서의 예산 상한 설정
요청당 토큰 한도, 워크플로당 달러 한도, 최대 벽시계 실행 시간(Timeout)을 강제하십시오. 소프트 리밋은 더 저렴한 모델로 라우팅하고, 하드 리밋은 루프를 즉시 중단하여 복구 가능한 상태를 반환해야 합니다.
근본적인 해결책은 재시도를 전면 금지하는 것이 아니라, 모든 추가 시도를 가시화하고 한도를 설정하며 성공률 개선으로 정당화하는 것입니다.
Related
Want this applied to your own LLM spend? FinOps LLM runs a free audit of your AI costs and shows where the savings are. Book free audit →