[Edito] L'importance relative des benchmarks

Cet édito ne prétend pas inventer la poudre, mais simplement souligner un fait souvent oublié par les lecteurs des articles.

Depuis toujours, la réalisation d’un test ou d’un comparatif ne se conçoit presque jamais sans la présence de benchmarks, des représentations chiffrées (graphiques ou non) de la performance d’un matériel donné pour un test donné. Ces tests varient suivant le matériel, par exemple les jeux ou SPEC Viewperf pour les cartes graphiques, les utilitaires de compression ou de manipulation d’image pour les CPU, CPU Burn + logiciel de mesure de la température pour les systèmes de refroidissement CPU, etc.

Le problème vient du fait que sur la quasi-totalité des comparatifs (du web ou d’ailleurs), les scores mis en avant sur ces tests sont faux ou tout au moins inexacts. Toutefois, cela n’est pas forcément évident pour tout le monde, et il convient de distinguer d’une part les résultats faux, et d’autre part ceux qui sont imprécis.

Les premiers sont plus courants qu’on ne pourrait le penser, mais peuvent être éliminés en comparant les résultats obtenus à ce qu’ils devraient logiquement être (ce qui présuppose une analyse approfondie de l’architecture du matériel). Ils n’ont pas pour origine une erreur volontaire du testeur, mais plutôt une erreur d’inattention, une méconnaissance du matériel testé et des outils composants le protocole de test, etc. Le testeur peut donc s’en rendre compte et les corriger s’il maîtrise son sujet et connaît les sources d’incertitudes de chaque test. Cet article de JF Maquiné met d’ailleurs très bien en évidence ces types d’erreurs, et prouve qu’ils ne sont pas si rares bien que très rarement relevés ou corrigés une fois l’article publié.

Les seconds sont encore plus insidieux et restent quasiment impossibles à éviter, même si les différences sont grandes d’un comparatif à un autre. Il suffit pour s’en convaincre de consulter ces tests qui précisent jusqu’à 5 chiffres significatifs au niveau des benchmarks. Quelque soit l’objet d’un comparatif, les sources d’imprécision sont innombrables, même si certains composants y sont plus sensibles. Prenons l’exemple d’un comparatif de systèmes de refroidissement CPU où il est facile d’énumérer quelques facteurs parmi tant d’autres (contrôle de la température et de l’humidité de l’air arrivant sur l’échangeur à air, contrôle de la quantité et de la répartition de la pâte thermique sur la source de chaleur, contrôle de la pression exercée par le système de fixation sur la source de chaleur, contrôle de la stabilité de la tension délivrée au ventilateur ou à la pompe à l’origine de la convection forcée, contrôle du niveau de charge du processeur et de sa dissipation réelle dans le temps, contrôle de la quantité de chaleur s’échappant via le PCB, contrôle de la dégradation de la surface de contact avec la source de chaleur, contrôle des résidus de pâte thermique restant sur la source de chaleur et améliorant au fil du temps et du comparatif l’échange thermique, etc. etc. - pour plus de précisions sur l’impact de certains de ces facteurs, nous vous recommandons la relecture des trois dernières pages de notre article).

Des exemples similaires sont trouvables dans n’importe quel domaine. Et le pire de tout cela, c’est qu’il est également impossible d’évaluer la précision, la marge d’erreur de ses résultats, vu qu’il n’est même pas possible de quantifier dans quelle mesure chaque facteur amène une imprécision. On est donc loin d’avoir des résultats viables au sens scientifique du terme. Evidemment, l’établissement d’un solide protocole permet de réduire significativement la marge d’erreur, mais sans pouvoir quantifier précisément cette dernière, comment être sûr qu’elle permet effectivement de départager le matériel comparé ?

Or dans le même temps, il semble qu’une proportion non négligeable de lecteurs ne retiennent essentiellement des comparatifs que les benchmarks. Il y a donc là un paradoxe qui est assez dangereux, car suivant le type de matériel concerné, l’écart entre chaque « prétendant » est assez faible voir infime. C’est d’autant plus vrai lorsque l’on considère du matériel haut de gamme où, généralement, les différences de performances aux différents tests pratiques sont anecdotiques, alors que dans le même temps ce sont ces derniers 2 % ou même 0,2 % qui sont le plus recherchés par ceux prêts à investir des sommes considérables dans cette catégorie de matériel.

Si les benchmarks restent et resteront des éléments indispensables à la majorité des comparatifs, il serait bon qu’ils ne soient pas les seuls à être pris en compte, particulièrement dans le cas d’écarts faibles. Les éventuelles remarques du testeur concernant ceux-ci, la synthèse (voir à ce sujet cet edito), l’aspect fonctionnalités (s’il a lieu) ou encore le prix me paraissent tout aussi importants, voir plus. Car indépendamment de l’imprécision ou de l’inexactitude des benchmarks, n’oublions pas non plus que ceux-ci ne valent que pour une configuration matérielle et logicielle bien précise, alors que les conditions d’utilisation finales seront aussi variées qu’il existera d’acheteurs du matériel considéré.

Ainsi, tester une carte graphique sur un CPU très haut de gamme permet d’éviter que celui-ci devienne le facteur limitant, afin de mieux mettre en avant les différences entre chaque GPU. Mais combien d’utilisateurs vont choisir leur carte pour un écart inférieur à 10 %, alors qu’ils disposent d’un CPU qui bridera dans la majorité des cas le framerate (ou d’une insuffisance de RAM, ou d’une configuration logicielle inapte à tirer le meilleur parti de ce matériel, etc. etc.) ?

Notez d’ailleurs que c’est cette même prédominance des benchmarks dans les comparatifs qui pousse certains constructeurs à privilégier (de manière plus ou moins « honnête ») les performances à la qualité, à l’instar des constructeurs de GPU. Mais de ce côté, il est vrai aussi que rares sont les tests à prendre en compte la qualité de l’image lors de chaque bench/jeu.

Au final, s’il est clair que le testeur à sa part de responsabilité dans la prépondérance et l’imprécision des benchmarks, il semble aussi évident que certains lecteurs doivent évoluer et faire preuve de plus de recul et d’esprit critique lors de la lecture des comparatifs. Bienheureux celui qui prétend pouvoir résumer à un chiffre les qualités et défauts intrinsèques d’un composant.