Benchmarks (SWE-bench, MMLU)

IA / LLM 🟡 Mid

Définition

Jeux d'évaluation publics. MMLU (Hendrycks et al., soumis le 7 septembre 2020) : questions à choix multiples sur 57 disciplines, aujourd'hui saturé. SWE-bench (Jimenez et al., soumis le 10 octobre 2023) : 2 294 issues GitHub réelles de 12 dépôts Python à résoudre par patch ; le meilleur modèle résolvait alors 1,96 %. Sur SWE-bench Verified, l'agrégateur llm-stats donnait en septembre 2026 Claude Fable 5 à 95,0 %. Les scores sont souvent auto-déclarés et dépendent du harnais.

Analogie

Le bac : utile pour comparer, mais personne n'embauche uniquement sur la mention.

Exemple de code

// Un benchmark maison vaut mieux qu'un classement public : même harnais pour tous
const models = ['claude-sonnet-5', 'claude-opus-5-5'];
const suite = await loadCases('./evals/support-tickets.jsonl');   // vos vrais cas

for (const model of models) {
  let ok = 0, cost = 0;
  for (const c of suite) {
    const r = await runCase(model, c);       // même prompt, même température
    ok += Number(r.passed); cost += r.costUSD;
  }
  console.log(`${model}: ${(100 * ok / suite.length).toFixed(1)} % réussite, ${cost.toFixed(2)} $`);
}

Cas d'usage

Présélectionner des modèles avant vos propres evals ; comprendre une fiche de lancement.

Anti-pattern

Choisir un modèle sur 0,5 point de SWE-bench : l'écart est dans le bruit du harnais.

Termes liés

#ia#modeles#qualite#interview

En entretien

Explique-moi ce que mesurent MMLU et SWE-bench.
MMLU teste des questions à choix multiples sur 57 disciplines et est aujourd'hui saturé, alors que SWE-bench fait résoudre par patch de vraies issues GitHub de dépôts Python. Ce sont deux benchmarks publics, mais ils ne mesurent pas du tout la même chose.
Quand est-ce que tu te méfierais d'un score de benchmark affiché par un fournisseur ?
Quand l'écart avec un concurrent est faible, genre 0,5 point, car les scores sont souvent auto-déclarés et dépendent fortement du harnais utilisé pour les faire tourner. Je préfère toujours refaire mes propres evals sur des cas réels avant de choisir.
Comment tu utiliserais ces benchmarks dans ton travail au quotidien ?
Je m'en sers pour présélectionner des modèles avant de lancer mes propres evals, un peu comme le bac sert à comparer sans être un critère d'embauche suffisant. Je ne baserais jamais un choix de production uniquement dessus.

Sources

Fiche mise à jour le 2026-09-27