Qu'est-ce que Real-SWE ?

Un benchmark publié le 12 septembre 2026 qui évalue les modèles sur des bases de code d'entreprise réelles et privées plutôt que sur des dépôts publics. Il a récolté 275 points et 158 commentaires sur Hacker News.

Pourquoi le coût par issue résolue vaut-il mieux que le taux de réussite ?

Le taux de réussite ignore la consommation de tokens et le nombre de tentatives. Deux modèles séparés de quelques points peuvent différer de 3x en coût par issue résolue une fois comptés les nouveaux essais, les révisions du plan et les diffs rejetés.

Comment calculer en interne le coût par issue résolue ?

Dépense totale imputable au travail agentique, divisée par les PR fusionnées auxquelles l'agent a contribué de façon substantielle. Suivez séparément le multiplicateur de nouvelles tentatives et les minutes de relecture humaine, car ce sont deux coûts réels.

Les modèles à poids ouverts ont-ils un avantage sur les bases de code privées ?

Ils partent d'un a priori de dépôt local que les modèles d'API hébergés n'ont pas. Ce mois-ci, un modèle de 27B à poids ouverts a été signalé au niveau de Fable 5 pour un prix environ 40x moins élevé, ce qui est la tendance à surveiller.

Coût Real-SWE par issue résolue

Mis à jour September 27, 2026 · première publication September 27, 2026

Real-SWE est sorti le 12 septembre 2026 et a récolté 275 points et 158 commentaires sur Hacker News. Sa prémisse est ce que la plupart des modèles de coûts négligent : les suites de benchmarks sont publiques, mémorisées et peu représentatives du code que vos agents manipulent réellement. Real-SWE exécute les modèles sur des dépôts d'entreprise réels et privés.

Pourquoi le coût compte plus que le score

Un benchmark public vous donne un taux de réussite. Il ne vous donne pas un coût. Le coût par issue résolue exige trois éléments à la fois :

Le taux de réussite sur les tâches difficiles et privées.
Les tokens consommés par tentative, échecs compris.
Le nombre de tentatives — le modèle a-t-il eu besoin d'un nouvel essai, d'une révision du plan, d'une boucle de comparaison du diff et de reformulation ?

Multipliez ces trois éléments et vous obtenez le seul chiffre qui correspond à une ligne budgétaire. Un modèle qui score 4 points sous le leader mais résout les issues en une tentative avec un tiers des tokens est moins cher par issue résolue, et sur un vrai backlog cet écart se cumule plus vite que ne le suggère l'écart de score.

Pourquoi les benchmarks publics surestiment la qualité

Les bases de code d'entreprise possèdent les propriétés qui font voler en éclats les hypothèses des benchmarks publics : de longues conventions internes, des invariants non documentés, des tests qui encodent des accidents historiques et des systèmes de build que personne ne comprend entièrement. Un modèle qui reconnaît des motifs dans un dépôt public ne peut pas le faire dans un monorepo de 400 fichiers et trois ans de décisions accumulées. C'est pourquoi un résultat très commenté ce mois-ci était celui d'un modèle d'écriture créative de 27B à poids ouverts, au niveau de Fable 5 pour un prix annoncé 40x moins élevé — les poids ouverts partent d'un a priori de dépôt local que les modèles d'API n'ont pas.

Faire le calcul

Prenez un vrai dépôt backend avec 40 issues dans le périmètre. Supposons que le modèle le moins cher en résolve 22 en une tentative avec 60K en entrée / 8K en sortie, et que le modèle premium en résolve 26 avec un multiplicateur de nouvelles tentatives de 1.4x et 90K en entrée / 14K en sortie. Aux tarifs d'Opus 5.5 ($4/$20, lectures de cache $0.20) :

Modèle	Résolues	Coût par issue	Total
Palier économique	22	$0.32	$7.04
Palier premium	26	$0.61	$15.86

Le premium coûte 2.3x le total pour 18 % d'issues résolues en plus. Sur un backlog de 40 issues, cela fait $9 de plus. Le même arbitrage à 4,000 issues par mois représente $880 — et n'achète toujours que 18 % de débit supplémentaire. Le palier économique n'a rien d'évidemment mauvais ; vous échangez du taux de résolution contre du volume, et la bonne réponse dépend de la question de savoir si une issue manquée coûte plus d'un dollar.

Ce qu'il faut instrumenter

Le coût par issue résolue, pas par tentative. Le dénominateur, ce sont les PR fusionnées, pas les requêtes.
Le multiplicateur de nouvelles tentatives par modèle. Un modèle à 1.4x pèse un tiers de son prix catalogue avant de compter quoi que ce soit d'autre.
Les tokens par diff accepté, y compris les tokens de plan et d'auto-relecture que le diff ne montre jamais.
Les minutes de relecture humaine. Un modèle 12 % moins cher qui demande 20 % de relecture en plus coûte plus cher.

En résumé

Les benchmarks publics classent la capacité sur des tâches qui ne ressemblent pas à votre backlog. Real-SWE est une première tentative de version honnête. Tant que vous ne l'avez pas exécuté sur vos propres dépôts, traitez chaque comparaison de modèles comme une hypothèse de coût par issue résolue et chiffrez cette hypothèse avec vos propres volumes de tokens.