Partie n°2

Ceci s'explique de par la difficulté que l'on rencontre pour trouver des jeux présentant les qualités nécessaires, qui ne soient pas particulièrement optimisés pour une carte, mais aussi qui intègrent un mode ‘benchmark'. Dès lors, et à l'instar de ce qui se passe pour 3DMark, il est très probable que cette poignée de jeux soit « sur-optimisée » par les constructeurs, mais uniquement pour les scènes destinées au benchmark.

La solution à ce problème est simple sur le principe, mais moins sur la mise en pratique. Elle consiste à élargir le champ de jeux utilisé, et surtout, à ne plus utiliser les scènes pré-programmées pour le bench. Chaque scène devra être préalablement choisie et enregistrée par le testeur suivant les critères qu'il souhaite mettre en avant. Puis, la mesure des performances de la carte devra se faire à l'aide de certains utilitaires tels que Fraps, pour les jeux ne prévoyants pas d'outils de mesure.

Cela augmentera légèrement les erreurs de mesure, mais au moins les chiffres risquent d'être beaucoup plus révélateurs des performances des cartes en utilisation réelle pour le joueur. Dès lors, le seul moyen pour les constructeurs d'améliorer les performances sera d'optimiser leurs drivers pour l'ensemble des jeux utilisés par le testeur. Ce qui élargira le champ de jeux optimisés, et surtout, bénéficiera directement et entièrement aux joueurs, et pas simplement aux scènes destinées qu'aux testeurs.

En poussant le raisonnement jusqu'au bout, on en viendrai à n'utiliser que des jeux pour les articles de test. Ceci resterait absurde dans la mesure où des outils tels les tests spécifiques de 3DMark et autres, restent indispensables pour tenter d'extrapoler les performances d'une carte pour les jeux de demain, mais aussi pour tenter d'expliquer et de comprendre les résultats des cartes sous les jeux actuels. A quels benchmarks peut-on dès lors faire confiance ?
3DMark03, Futuremark semblant visiblement prendre les mesures nécessaires pour désactiver les triches (mais avec du retard !). SPECViewPerf semble également être fréquemment mis à jour dans cette optique. Pour les autres benchmarks, n'étant pas payants et donc n'assurant pas de suivi particulier à ce niveau, il tient au testeur de contrôler l'affichage des scènes, tout en sachant qu'il lui est impossible de savoir comment la carte parviens à ce résultat. La plus grande prudence reste donc de mise...

Notez que certains ont tentés d'apporter un élément de réponse à la nécessité d'utiliser des benchmarks synthétiques pour prévoir les performances sur les prochaines générations de jeux, en fournissant des scores sur une préversion de Doom 3 approuvée par John Carmack. Préversion fournie par nVidia, sans détails sur les rendering paths utilisés (même s'il est facile de les deviner), l'utilisation qui en a été faite n'a pas été des plus pertinente, même si la démarche va dans le bon sens. Et sur ce plan là, nos prochains tests devraient introduire de nouveaux éléments.

Enfin, la résultante de tout cela sera l'augmentation de la difficulté, mais aussi de la responsabilité qui incombera au testeur. Les différences de résultats entre les différents articles vont encore s'accroître, et les choix du testeur devront être d'avantage motivés. Ce qui, au final, aura peut-être un impact positif...