Coloque controlo de custos no pipeline de avaliação LLM
Updated August 27, 2026 · first published August 27, 2026
As avaliações LLM precisam de uma política própria de custo. Um job de CI com muitos prompts pode custar mais do que a funcionalidade. Use orçamento por execução, amostragem, cache e limites de qualidade.
Orçamente a execução
Limite prompts, modelos, retries e dólares antes de começar. Separe smoke tests, regressões e certificação.
Controle qualidade e custo
Pare ao ultrapassar o custo ou falhar a qualidade e registe modelo, tokens, cache, retries, custo e resultado.
Related
Want this applied to your own LLM spend? FinOps LLM runs a free audit of your AI costs and shows where the savings are. Book free audit →