Benchmark IA : définition, classements de LLM et évaluation sur vos tâches

Que mesure un benchmark IA ?

Un benchmark IA mesure le taux de réussite d’un modèle sur un jeu fixe de tâches, avec la même notation pour tous. Les tâches varient : questions à choix multiples, mathématiques, code, missions d’un agent IA. Certains bancs d’essai mesurent plus que l’exactitude : en 2022, HELM, à Stanford, suivait sept indicateurs, dont la robustesse, l’équité et la toxicité.

Un classement de grands modèles de langage, ou LLM leaderboard, agrège ces résultats.

• Les classements par score compilent des résultats de bancs d’essai. L’institut de recherche Epoch AI fait tourner une partie des tests lui-même, avec les mêmes réglages pour tous.

• Les classements par vote reposent sur des préférences humaines. Sur Chatbot Arena (LMArena, devenu Arena en janvier 2026), un internaute compare les réponses de deux modèles anonymes et vote. Un modèle statistique tire le classement de ces duels.

Pourquoi un bon score ne garantit-il pas un bon résultat chez vous ?

Un score public mesure des tâches générales, dans des conditions que vous ne maîtrisez pas. Le chiffre annoncé n’est pas forcément faux. En septembre 2025, Epoch AI a retrouvé les scores des éditeurs pour leurs modèles récents de tête sur un test scientifique, GPQA Diamond. Quatre effets l’éloignent pourtant de votre usage.

• La contamination. Les questions d’un test public finissent parfois dans les données d’entraînement. En 2024, des chercheurs de Scale AI ont fait écrire 1 205 problèmes inédits, calqués sur un test de mathématiques connu (GSM8k). Certains modèles y perdent jusqu’à 8 points d’exactitude ; les plus avancés, peu.

• Les erreurs du test. Selon des chercheurs de l’université d’Édimbourg notamment (2024), 6,49 % des questions de MMLU, un test très cité, sont erronées.

• Les réglages. Un même nom de test cache parfois des versions et des mises en œuvre différentes. Selon Epoch AI (décembre 2025), le fournisseur qui sert le modèle crée les plus grands écarts, surtout pour les modèles ouverts. Le calcul accordé au modèle au moment de répondre, ou test-time compute, change aussi le score.

• Le vote. Un vote mesure une préférence, pas une exactitude. En 2024, les organisateurs d’Arena ont constaté que le style (longueur, titres, listes) pesait fortement sur le classement. Depuis mai 2025, leur classement par défaut corrige cet effet. L’étude « The Leaderboard Illusion » (avril 2025) vient surtout de chercheurs de Cohere. Selon elle, quelques fournisseurs testent des variantes en privé et peuvent retirer les scores qui leur déplaisent. Arena conteste plusieurs de ses chiffres. Meta en a testé 27 avant la sortie de Llama 4.

Benchmark public ou évaluation sur vos tâches : quelle différence ?

Le benchmark public compare des modèles entre eux ; votre évaluation dit si un modèle fait votre travail.

Votre évaluation repose sur un jeu de test : des cas réels, la réponse attendue et une grille de notation écrite avant les essais. L’éditeur Anthropic conseille d’y refléter la répartition réelle des tâches, cas limites compris. Gardez ce jeu chez vous et rejouez-le à chaque nouvelle version ou changement de fournisseur. Le guide choisir un LLM pour l’entreprise montre comment construire ce jeu.

Ne confondez pas l’évaluation avec le red teaming : l’une mesure la qualité sur des demandes normales, l’autre cherche en adversaire les failles.

LLM-as-a-judge : un modèle peut-il noter les réponses d’un autre ?

Oui, si vous vérifiez le juge. Le LLM-as-a-judge confie à un modèle la notation des réponses d’un autre, à la place d’évaluateurs humains.

En 2023, Zheng et ses coauteurs (Berkeley notamment) ont mesuré qu’un juge comme GPT-4 s’accordait avec des humains dans plus de 80 % des duels sans égalité. C’est autant que les humains entre eux. Les auteurs relèvent aussi ses biais : il favorise une réponse selon sa place, préfère les réponses longues et peut favoriser les siennes. Il note mal une question de mathématiques dont il ignore la solution.

Les parades existent : inverser l’ordre des réponses, fournir une réponse de référence, choisir un juge différent du modèle évalué.

Que change le benchmark pour votre décision ?

Un classement sert à présélectionner ; votre propre évaluation sert à décider. Un comparatif IA ou un LLM leaderboard aide à retenir deux ou trois modèles à tester.

• Demandez au fournisseur ses mesures et sa méthode. Quel test, quelle version, quels réglages, et qui l’a lancé ? Pour un système à haut risque, l’AI Act exige que la notice d’utilisation indique ses niveaux d’exactitude (article 15). Cette obligation s’applique à partir du 2 décembre 2027 ou du 2 août 2028, selon le type de système.

• Budgétez le jeu de test comme un actif. Il demande du temps d’expert : choisir les cas, écrire les bonnes réponses, fixer la grille.

• Faites valider le juge par vos experts. Comparez ses notes aux leurs sur un échantillon. Anthropic recommande de tester la fiabilité du juge avant de l’employer à grande échelle.

• Suivez la qualité en production. Un même service d’IA peut changer de comportement en quelques mois. Des chercheurs de Stanford et de Berkeley ont vu GPT-4 passer de 84 % à 51 % de réussite sur les nombres premiers. Ils comparaient ses versions de mars et de juin 2023. Le NIST américain recommande de tester un système d’IA avant son déploiement, puis régulièrement en fonctionnement. C’est le rôle de l’observabilité. Nous conseillons de journaliser demandes, réponses et coûts, puis de faire noter un échantillon de réponses pour repérer les hallucinations.