Real-SWE 每个已解决 issue 的成本
更新于 September 27, 2026 · 首次发布 September 27, 2026
Real-SWE 于 2026 年 9 月 12 日发布，在 Hacker News 上获得 275 个点数和 158 条评论。它的前提恰恰是大多数成本模型出错的地方：基准测试套件是公开的、会被记忆的，并不能代表你的智能体实际接触的代码。Real-SWE 让模型在私有的真实企业代码仓库上运行。
为什么成本数字比分数更重要
公开基准只给你一个通过率，不给成本。每个已解决 issue 的成本需要三样东西同时具备：
- 通过率，针对困难的私有任务。
- 每次尝试消耗的 token 数，包括失败的尝试。
- 尝试次数 — 模型是否需要重试、修订计划，或者进入对比差异再重新思考的循环？
把它们相乘，你就得到唯一一个能对应到费用条目的数字。一个比领先者低 4 分、却能一次尝试解决 issue、且只消耗三分之一 token 的模型，每个已解决 issue 的成本更低；在真实的待办队列上，这种差异的累积速度比分数差距所暗示的更快。
为什么公开基准会高估质量
企业代码库具有打破公开基准假设的特性：很长的内部约定、没有文档记录的不变量、编码了历史偶然性的测试，以及没人能完全理解的构建系统。能在公开仓库中识别模式的模型，无法在一个有 400 个文件、积累了三年决策的 monorepo 中做到同样的事。这就是为什么本月一个被广泛讨论的结果是：一个 27B 的开放权重创意写作模型据报道达到 Fable 5 水平，价格便宜 40x — 开放权重模型从本地仓库的先验出发，而 API 模型缺乏这种先验。
实际算一下
以一个有 40 个 issue 在范围内的真实后端仓库为例。假设较便宜的模型在一次尝试中以 60K 输入 / 8K 输出解决了 22 个，而高端模型以 1.4x 的重试倍率、90K 输入 / 14K 输出解决了 26 个。按 Opus 5.5 的费率（$4/$20，缓存读取 $0.20）计算：
| 模型 | 解决数 | 每个 issue 的成本 | 总计 |
|---|---|---|---|
| 低价档 | 22 | $0.32 | $7.04 | 高价档 | 26 | $0.61 | $15.86 |
高价档的总成本是 2.3x，却只多解决了 18% 的 issue。在 40 个 issue 的待办队列上，多出 $9。同样的权衡放在每月 4,000 个 issue 上是 $880 — 而且仍然只多买到 18% 的吞吐量。低价档并非明显错误；你是在用解决率换取吞吐量，正确答案取决于一个未解决的 issue 是否会造成超过一美元的损失。
需要埋点监控什么
- 每个已解决 issue 的成本，而不是每次尝试的成本。分母是已合并的 PR，而不是请求数。
- 每个模型的重试倍率。倍率为 1.4x 的模型，在计入其他任何因素之前，就已经占去了标价的三分之一。
- 每个被接受的 diff 所消耗的 token 数，包括 diff 中从不显示的计划和自我审查 token。
- 人工审查分钟数。便宜 12% 但审查耗时多 20% 的模型，反而更贵。
结语
公开基准衡量的是与你的待办队列并不相似的任务上的能力。Real-SWE 是朝着更诚实版本迈出的早期尝试。在你自己的仓库上运行之前，请把每一次模型比较都当作关于每个已解决 issue 成本的假设，并用你自己的 token 数来为这个假设定价。
相关文章
想将这些方法用于您的技术栈吗？ 请准备好供应商账单、网关日志和主要工作流；我们会梳理成本驱动因素与节省空间。 预约免费审查 →