OpenAI démonte les failles de SWE-Bench Pro

OpenAI publie une analyse critique de SWE-Bench Pro, révélant que ce benchmark de référence en évaluation de modèles de codage contient des biais méthodologiques importants qui faussent les résultats de performance. Le problème : les tests actuels ne distinguent pas correctement les vrais améliorations de modèle des artéfacts de benchmark. Certains cas de test acceptent plusieurs approches valides sans les reconnaître, d'autres présentent des incohérences d'annotation. Résultat, les classements publiés peuvent être trompeurs. OpenAI propose des critères de validation plus stricts et appelle à réviser les évaluations existantes. Cette critique met en lumière un problème structurel : les benchmarks de codage restent des outils imparfaits, et les comparaisons « scientifiques » entre modèles sur ces outils doivent être lues avec prudence. Pour les équipes qui choisissent un modèle de codage, le message est clair : ne pas se fier uniquement au score SWE-Bench. Tester directement sur votre codebase et vos patterns de travail reste l'étalon-or.