Ba ngân sách vận hành để kiểm soát agent tự động
Cập nhật August 27, 2026 · đăng lần đầu August 27, 2026
Một agent tự động cần nhiều hơn một cảnh báo chi tiêu hằng tháng. Nó cần ba ngân sách được thi hành ngay trong vòng lặp: một ngân sách yêu cầu cho mỗi lần gọi model, một ngân sách quy trình cho toàn bộ tác vụ, và một ngân sách ngày cho chủ sở hữu hoặc tenant. Mỗi ngân sách bắt một kiểu lỗi khác nhau.
1. Ngân sách yêu cầu
Ngân sách yêu cầu giới hạn token, số lượng lời gọi tool, độ trễ hoặc số tiền cho một lần thử. Nó bảo vệ trước ngữ cảnh quá lớn, đầu ra dài bất thường, hoặc một tool gây ra lời gọi lồng nhau. Hãy áp dụng trước khi gửi yêu cầu tới nhà cung cấp và trước mỗi lần dispatch tool. Ngưỡng mềm có thể hạ cấp model; ngưỡng cứng sẽ từ chối lần thử kèm lý do rõ ràng.
2. Ngân sách quy trình
Ngân sách quy trình theo dõi một ý định của người dùng xuyên suốt các lượt hội thoại, lần thử lại, phương án dự phòng và subagent. Nó cần một correlation ID và một sổ cái cộng dồn, không phải một bộ đếm cục bộ trong một tiến trình. Hãy dừng khi sổ cái vượt trần, ngay cả khi từng yêu cầu riêng lẻ vẫn nằm dưới giới hạn. Đây là cơ chế bắt được độ sâu ủy quyền quá lớn và các vòng lặp không hội tụ.
3. Ngân sách ngày
Ngân sách ngày giới hạn tổng chi tiêu của một nhóm, tenant, tính năng hoặc tài khoản dịch vụ. Đây là công cụ kiểm soát tính công bằng và phạm vi ảnh hưởng khi có sự cố. Khi gần cạn, hãy chuyển công việc đủ điều kiện sang batch hoặc model nhỏ hơn, và dành riêng dung lượng cho các quy trình có giá trị cao. Đặt lại theo một múi giờ đã khai báo và ghi nhận việc reset vào sổ cái.
Làm cho việc từ chối có ích
Một lần từ chối vì ngân sách phải cho biết ngân sách nào đã kích hoạt, đã tiêu bao nhiêu và được phép khôi phục bằng cách nào. Hãy trả về trạng thái có thể tiếp tục, không phải một câu trả lời rỗng im lặng. Ghi một sự kiện bất biến cho mỗi lần đặt chỗ, chi tiêu, giải phóng và từ chối để bộ phận tài chính có thể đối chiếu sổ cái với hóa đơn nhà cung cấp.
Đi cùng ngân sách là chất lượng
Ngân sách không phải là lý do để làm giảm chất lượng mọi phản hồi. Hãy theo dõi chi phí cho mỗi tác vụ thành công, tỷ lệ hoàn thành, độ trễ và điểm đánh giá từ người dùng hoặc evaluator, song song với số lần từ chối. Một chính sách ngân sách được coi là lành mạnh khi nó chặn được công việc chạy mất kiểm soát, đồng thời giữ được SLO chất lượng cho các quy trình được phép chạy.
Ba ngân sách tạo ra ba ranh giới: một lần thử, một kết quả và một kỳ. Cùng nhau, chúng biến một agent không giới hạn thành một hệ thống có thể vận hành và kiểm toán.
Liên quan
- Lan can kiểm soát chi tiêu agent
- Quản trị ngân sách LLM
- Chi phí mỗi tác vụ thành công
Liên quan
Bạn muốn áp dụng điều này cho hệ thống của mình? Hãy mang theo hóa đơn nhà cung cấp, nhật ký gateway và các quy trình chính; chúng tôi sẽ xác định yếu tố chi phí và hướng tiết kiệm. Đặt lịch kiểm toán miễn phí →