요청당 비용보다 성공 작업당 비용을 측정해야 하는 이유
Updated August 27, 2026 · first published August 27, 2026
요청당 비용(Cost per request)은 유용한 지표이지만, 사용자가 구매하는 최종 결과 단위가 아닙니다. 실패하거나, 3번 재시도하거나, 사용할 수 없는 답변을 낸 요청은 완료된 작업이 아닙니다. 프로덕션 AI 환경에서 실질적인 경쟁력을 결정짓는 지표는 성공 작업당 비용(Cost per successful task)입니다. 즉, 정의된 품질 임계값을 충족한 작업 수로 모든 공급업체 및 도구 비용을 나눈 값입니다.
핵심 산식
성공 작업당 비용 = 귀속 총지출 / 성공 작업 수 산식을 적용하십시오. 입력, 출력, 캐시, 추론 토큰 및 도구 호출, 재시도, 폴백 비용을 모두 분자에 포함해야 합니다. 사용자가 수락한 응답, 신뢰도 임계값을 넘은 분류 결과, 수동 개입 없는 완료 등 성공 기준을 사전에 확정하십시오.
요청당 평균의 함정
실패한 저가 호출이 많아지면 요청당 평균 단가는 오히려 저렴해 보이는 착시가 발생합니다. 또한 롱테일 고비용 이상치를 은폐합니다. 기능의 중위 요청 비용은 낮을 수 있지만, 실패 사례가 값비싼 추론 호출과 사람의 검토 시간을 대량으로 소모할 수 있습니다. 성공률과 함께 p50 및 p95 성공 작업당 단가를 측정하십시오.
분모의 계측
모든 모델 스팬에 요청 ID와 기능 태그를 부여하고, 애플리케이션은 해당 ID와 연결된 결과 이벤트를 발행해야 합니다. 공급업체 청구서와 분자를 대사하고, 완료된 작업을 샘플링하여 분모의 유효성을 정기적으로 검증하십시오.
Related
Want this applied to your own LLM spend? FinOps LLM runs a free audit of your AI costs and shows where the savings are. Book free audit →