System One Models 与 Jev 成本优化
更新于 September 27, 2026 · 首次发布 September 27, 2026
2026 年 9 月发布的 System One Models 与 Jev 构成了 LLM 智能体的一层基于校准的路由。Jev 不按任务类型或静态规则路由，而是按校准来路由：先由一个便宜的模型（System One）作答；如果它的置信度低于阈值，请求就升级到高端模型。对 FinOps 而言，这意味着只有在便宜模型确实不知道答案时，才为推理付费。
工作原理
- System One 模型（小型、快速、便宜）生成答案及经过校准的置信度分数。
- Jev 网关检查：置信度是否 >= 阈值（例如 0.9）？
- 若是：返回 System One 的答案。成本：约 $0.10/1M token。
- 若否：升级到高端模型（Astra、Opus 5.5 等）。成本：$10-50/1M token。
成本对比
| 策略 | 每任务平均成本 | 准确率 |
|---|---|---|
| 始终使用 Astra（最大力度） | $1.73 | 50.9 |
| 始终使用 Sol | $0.28 | 44.2 |
| 静态路由（简单→Sol，困难→Astra） | $0.94 | 48.1 |
| Jev 校准路由（阈值 0.9） | $0.41 | 49.8 |
数据来自 Jev 在 Artificial Analysis Intelligence Index 上的基准测试。校准路由以约 24% 的成本达到接近 Astra 的准确率。
为什么校准胜过静态路由
静态路由会误判 15-20% 的任务（简单任务被标为困难，困难任务被标为简单）。校准具有自我修正能力：模型知道自己何时不知道。Jev 的阈值可以调节：调高以换取更高准确率，调低以降低成本。
FinOps 落地方式
- 将 Jev 部署为网关：所有智能体流量都经过 Jev，System One 为默认模型。
- 按工作流设置阈值：面向客户的聊天设为 0.95；后台批处理设为 0.85。
- 跟踪升级率：目标是 10-20% 的升级率。过高说明 System One 训练不足；过低则说明你在多付钱。
- 为高端层级做预算：限制每月的升级支出上限；达到 80% 时发出告警。
与现有智能体集成
Jev 可以包装任何兼容 OpenAI 的端点。现有智能体改为调用 Jev，而不是直接调用模型。智能体逻辑无需改代码，只需更换基础 URL 和 API 密钥。
结论
基于校准的路由是第一个在推理时而非设计时进行优化的 FinOps 基础能力。System One + Jev 把“用哪个模型？”从静态的架构决策，变成了每个请求都可动态控制的成本手段。
相关文章
想将这些方法用于您的技术栈吗？ 请准备好供应商账单、网关日志和主要工作流；我们会梳理成本驱动因素与节省空间。 预约免费审查 →