System One Models và Jev là gì?

System One là một mô hình nhỏ, nhanh và đã được hiệu chuẩn. Jev là cổng định tuyến kiểm tra độ tin cậy của System One và chỉ leo thang lên mô hình cao cấp khi độ tin cậy dưới ngưỡng. Được công bố vào tháng 9 năm 2026.

Định tuyến theo hiệu chuẩn có thể tiết kiệm bao nhiêu?

Benchmark của Jev cho thấy giảm 76% chi phí so với luôn dùng Astra (từ $1.73 xuống $0.41 mỗi tác vụ), đồng thời giữ được 98% độ chính xác của Astra trên Artificial Analysis Index.

Định tuyến theo hiệu chuẩn có làm tăng độ trễ không?

System One phản hồi trong khoảng 200ms. Leo thang thêm một vòng gọi khứ hồi (tổng khoảng 400ms). Với 80% yêu cầu không leo thang, độ trễ thấp hơn so với gọi trực tiếp Astra.

Tôi có thể dùng Jev với framework agent hiện có không?

Có. Jev cung cấp API tương thích OpenAI. Chỉ cần đổi base URL sang endpoint của Jev; các agent hoạt động không đổi. System One là mô hình mặc định; các mô hình cao cấp được cấu hình trong bảng định tuyến của Jev.

Ngưỡng tin cậy phù hợp là bao nhiêu?

Bắt đầu từ 0.90. Đo tỷ lệ leo thang và độ chính xác. Tăng lên 0.95 cho chat hướng khách hàng; giảm xuống 0.85 cho khối lượng batch nơi lỗi rẻ hơn.

System One Models và tối ưu chi phí với Jev

Cập nhật September 27, 2026 · đăng lần đầu September 27, 2026

Được công bố vào tháng 9 năm 2026, System One Models và Jev tạo thành một lớp định tuyến theo hiệu chuẩn cho agent LLM. Thay vì định tuyến theo loại tác vụ hay quy tắc tĩnh, Jev định tuyến theo hiệu chuẩn: một mô hình rẻ (System One) trả lời trước; nếu độ tin cậy của nó dưới ngưỡng, yêu cầu được leo thang lên mô hình cao cấp. Với FinOps, điều này nghĩa là chỉ trả tiền cho suy luận khi mô hình rẻ thực sự không biết.

Cách hoạt động

System One Model (nhỏ, nhanh, rẻ) tạo ra một câu trả lời cùng điểm tin cậy đã hiệu chuẩn.
Cổng Jev kiểm tra: độ tin cậy có ≥ ngưỡng (ví dụ 0.9) không?
Nếu có: Trả về câu trả lời của System One. Chi phí: khoảng $0.10/1M token.
Nếu không: Leo thang lên mô hình cao cấp (Astra, Opus 5.5, v.v.). Chi phí: $10-50/1M token.

So sánh chi phí

Chiến lược	Chi phí trung bình/tác vụ	Độ chính xác
Luôn dùng Astra (nỗ lực tối đa)	$1.73	50.9
Luôn dùng Sol	$0.28	44.2
Định tuyến tĩnh (dễ → Sol, khó → Astra)	$0.94	48.1
Định tuyến hiệu chuẩn của Jev (ngưỡng 0.9)	$0.41	49.8

Số liệu từ các benchmark của Jev trên Artificial Analysis Intelligence Index. Định tuyến theo hiệu chuẩn đạt độ chính xác gần bằng Astra với 24% chi phí.

Vì sao hiệu chuẩn hơn định tuyến tĩnh

Định tuyến tĩnh phân loại sai 15-20% tác vụ (tác vụ dễ bị đánh dấu là khó, tác vụ khó bị đánh dấu là dễ). Hiệu chuẩn tự điều chỉnh: mô hình biết khi nào nó không biết. Ngưỡng của Jev có thể điều chỉnh: tăng để có độ chính xác cao hơn, giảm để có chi phí thấp hơn.

Triển khai FinOps

Triển khai Jev như một cổng: Mọi lưu lượng agent đi qua Jev; System One là mặc định.
Đặt ngưỡng theo từng quy trình: Chat hướng tới khách hàng = 0.95; batch nền = 0.85.
Theo dõi tỷ lệ leo thang: Mục tiêu 10-20% leo thang. Cao hơn nghĩa là System One chưa được huấn luyện đủ; thấp hơn nghĩa là bạn đang trả quá nhiều.
Lập ngân sách cho tầng cao cấp: Giới hạn chi tiêu leo thang hàng tháng; cảnh báo ở mức 80%.

Tích hợp với agent hiện có

Jev bọc bất kỳ endpoint nào tương thích OpenAI. Các agent hiện có gọi Jev thay vì gọi trực tiếp mô hình. Không cần sửa mã logic agent, chỉ thay đổi base URL và API key.

Kết luận

Định tuyến theo hiệu chuẩn là nguyên thủy FinOps đầu tiên tối ưu tại thời điểm suy luận, không phải tại thời điểm thiết kế. System One cùng Jev biến câu hỏi "dùng mô hình nào?" từ một quyết định kiến trúc tĩnh thành một cơ chế kiểm soát chi phí động cho từng yêu cầu.

Liên quan

Bạn muốn áp dụng điều này cho hệ thống của mình? Hãy mang theo hóa đơn nhà cung cấp, nhật ký gateway và các quy trình chính; chúng tôi sẽ xác định yếu tố chi phí và hướng tiết kiệm. Đặt lịch kiểm toán miễn phí →

Quay lại finopsllm.com