Importance de la synthèse dans les tests

Si la sortie de 3Dmark03 a provoqué le raz de marée de connexions attendue, et si le bench s’est montré finalement assez fidèle à la philosophie de Futuremark, c’est un revanche la première fois que la sortie d’un benchmark a suscité une telle polémique et un tel débat.

Il est d’ailleurs intéressant de noter que le mécontentement général des « joueurs », manifestement déçus de ne pouvoir obtenir des scènes fluides même avec le dernier PC de combat du moment, en est fortement à l’origine. L’utilisation massive des shaders a rendue cette nouvelle mouture presque complètement indépendante du CPU ou de la ram, ce qui va à l’encontre des jeux actuels. Mais plus encore, c’est sur les nombreuses réactions de nos confrères que j’aimerais revenir ici.

Pour Kyle Bennett tout d’abord, la trop grande importance donnée par les testeurs à 3DMark fait que les différents constructeurs optimisent beaucoup plus leurs drivers pour ce benchmark, que pour les vrais jeux. La solution selon lui serait de pousser les développeurs de jeux à instaurer beaucoup plus souvent de véritables outils de benchmark dans leurs productions, et de faire de 3DMark un outil plus basé sur ces solutions.

Dave Altavilla met quand à lui très bien en avant la position contradictoire tenue par Futuremark. Tout en clamant que leur « benchmark DirectX 9 » se veut représentatif du parc de jeux qui sera disponible d’ici 1 an ½, ils clament que le score final ne prend en compte qu’à hauteur de 20 % la scène ‘Mother Nature’, qui ne fait que partiellement recours à DirectX 9 (notre article). Les autres jeux restent DirectX 7 ou 8 : difficile à croire pour les jeux qui sortiront d’ici 1 an ½…

En revanche, la position adoptée par Ed Stroligo m’est plus irritante dans sa manière. En proposant l’analogie à ce que pourrait donner un bulletin météo ne précisant que la température moyenne du pays, il s’oppose fermement au concept d’un score unique, qui synthétiserait les performances d’une configuration.

C’est donc au problème plus complexe de l’utilité de la synthèse qu’il s’attaque. Ou en d’autres termes, comment informer le mieux les lecteurs qui, soit par manque de temps, soit par manque de connaissances, ne lisent la totalité d’un test ou d’un comparatif publié, et veulent néanmoins connaître de la manière la plus précise et la plus juste, ce que vaut le matériel en question. Je pense que c’est un enjeu majeure, dans la mesure ou il devient de plus en plus complexe de décortiquer le matériel et de le tester à fond, ce qui génère fatalement une grande quantité d’information que doit saisir le lecteur.

La question n’est donc plus de savoir s’il faut synthétiser ou non les résultats, puisque cela est une nécessité, mais plutôt de définir les conditions de cette synthèse. Et dans ce cadre, il me paraît effectivement maladroit de proposer un score qui se voudrait un indicateur de performance global. Tout simplement parce qu’un test, s’il est correctement effectué, se doit d’établir les performances d’un matériel donné sur les domaines d’applications les plus larges possibles – tout en restant dans les limites évidentes définies par le constructeur.

Prenons l’exemple d’un test processeur. De par son rôle centrale et généraliste, le processeur a une importance capitale sur les performances de beaucoup de logiciels très différents. Proposer un indice générale, ce serait indiquer au lecteur pressé, un indice résultant à la fois de performances sous des jeux, des logiciels de bureautique, des encodeurs multimédias, des applications professionnelles, des logiciels de compression, de calcul, des outils d’édition graphique, etc. (la liste est longue et loin d’être exhaustive !).

Or, une grande majorité de notre lectorat n’est surtout intéressée que par une partie bien spécifique de cette batterie de tests. Ainsi, les uns privilégieront surtout les performances sous les jeux, alors que d’autres se porteront plus sur les applications professionnelles, etc. Dès lors, leur proposer ce score de nature si éclectique, ne répondrait évidemment que très mal à leurs interrogations.

La solution me paraît pourtant simple : elle consiste à présenter dans un bilan, et de manière toute aussi synthétique, les différentes performances que l’utilisateur final pourra espérer, suivant ses motivations.

Evidemment, cette solution augmentera encore l’importance et la responsabilité du testeur, puisque jamais il ne devra être aussi objectif, complet et clairvoyant que lors de ce bilan, là ou les scores fournis par les benchmarks sont un peu plus reposants.