Positionnement et limite du benchmark

Une remarque initiale indispensable à la compréhension de ce qui suit, est que nous avons ici évalué 3DMark05 dans le cadre d’une utilisation en temps que benchmark, dans notre protocole de test de cartes graphiques. Et pas comme une démonstration technologique ou une demomaker, où là indéniablement 3DMark05 se pare d’atouts évidents, notamment avec la démo très réussie. Mais il ne faut pas se tromper d’objectif.

Un des problèmes principaux de 3DMark05, et qui n’est d’ailleurs pas spécifique à cette nouvelle version, provient de la difficulté que semble avoir Futuremark à se situer entre les deux outils traditionnels qu’utilisent les testeurs, à savoir les tests synthétiques et les tests pratiques.

Les tests synthétiques permettent par définition de mettre en avant un point particulier de l’architecture testée, et de mesurer ses performances sur cette spécificité. Il s’agît de tests fondamentaux à tout protocole solide, puisque ce sont les seuls à permettre d’analyser plus tard les performances en situations réelles, et de connaître les points forts et faibles du composant testé.

Les tests pratiques en revanche, sont directement issus d’applications réelles que l’utilisateur exécutera presque systématiquement sur sa configuration en achetant le composant testé. Le but est alors d’exécuter ces tests de manière contrôlée afin d’obtenir des résultats reproductibles et comparables, mais également de la manière la plus proche de l’utilisateur. Cette alchimie est complexe et source de beaucoup de complications pour les testeurs. C’est ainsi par exemple que pour tester des cartes graphiques sur Far Cry, nous devons actuellement choisir entre le patch 1.1 officiel et très répandu mais allégeant les calculs et la qualité sur les GeForce 6, et le patch 1.2 non officiel mais mettant les GeForce 6 et Xx00 sur un pied d’égalité.

Tel qu’il est présenté, 3DMark05 est une suite de tests complète distinguant d’une part les tests synthétiques (‘Feature tests’) et d’autre part les tests pratiques (‘Game tests’), avec même des outils de vérification de la qualité du rendu. Mais la réalité est plus complexe et les choix qu’ont réalisé Futuremark trahissent un embarras plus profond.

Au niveau des « Feature tests » d’abord, le problème vient du fait que ces tests sont conçus suivant la logique d’extraire des jeux (où plutôt ici des « Game tests ») des fonctionnalités spécifiques, plutôt que de concevoir de vrais tests théoriques mettant uniquement à l’épreuve la partie matérielle concernée. La nuance est importante ; ainsi le test Pixel Shader par exemple est limité par la bande passante mémoire, de l’aveu même de Futuremark. L’explication donnée est que les jeux utilisant des shaders complexes au niveau des matières auront certainement recours à de larges textures. C’est vrai, mais du coup ce test n’est plus vraiment un test théorique de Pixel Shader, mais plutôt du comportement des Pixel Shader tels qu’utilisés dans les jeux. Ce test n’isole donc pas spécifiquement la puissance en Pixel Shader d’une carte et ainsi, il pourra potentiellement donner une score faible à une carte très puissante en Pixel Shader mais très limitée par la bande passante. Alors que nous cherchons au contraire à nous abstraire des autres facteurs de performances dans le cadre d’une étude synthétique.

Cela dit, signalons à la décharge de Futuremark qu’il semble avoir un mieux à ce sujet, comme en témoigne le test de fillrate, moins joli et limité par la bande passante mémoire, mais plus efficace pour mesurer ce qu’on lui demande.

Parlons maintenant des « Game tests ». Le défaut le plus flagrant à ce niveau se situe dans la (très) théorique interdiction d’optimiser les drivers pour 3DMark. Cette interdiction a été décrétée par Futuremark dans ses Optimisations Guidelines, suite au conflit qui l’opposa à nVidia. Or, de notre point de vue toujours, il n’y a rien de mal à ce qu’un constructeur optimise ses drivers spécifiquement pour les jeux (remplacement de shaders par exemple via détection d’application), dans la mesure où la qualité visuelle n’est pas affectée. La situation des tests pratiques est en effet très différente des tests synthétiques puisque ici l’objectif reste d’exécuter l’application le plus rapidement possible tout en conservant la qualité d’affichage initialement définie, peu importe les moyens.

Tout ceci concerne donc la difficulté de positionnement de Futuremark entre benchmark synthétique et pratique. Au sein même des tests pratiques, il existe par ailleurs une distinction dont il faut être conscient. Pour la majorité des jeux, notre volonté de se rapprocher au maximum de la situation des joueurs se traduit par la mesure de scènes de gameplay, qui englobent donc tout ce qui fait un jeu : le moteur 3D bien sûr, mais également le moteur physique, les calculs d’IA, de son, etc. Ceci nous permet de présenter des valeurs de framerate réelles, et de mesurer l’importance globale des performances du GPU sur le jeu, qui est parfois plus limité par le CPU. Une autre manière de procéder, complémentaire, consiste à isoler les performances graphiques via l’utilisation d’un mode Timedemo, à l’instar de Doom 3. Dans ce cas, les framerates affichés sont bien plus élevés que lors de l’exécution du jeu, puisque tous les calculs ne concernant pas la 3D sont évincés. Le but est alors de mettre plus particulièrement en avant les performances des cartes 3D afin de mieux les différencier entre elles.

Futuremark n’étant pas développeur de jeux, ses « Game tests » qu’il définit comme des tests pratiques, ne prennent en compte que les calculs graphiques. C’est sans aucun doute ce qu’il y a de plus approprié dans l’optique de comparer les performances des cartes graphiques, mais le fait qu’aucun test n’ajoutant des calculs autres que la 3D ne soit présent (à l’inverse de ce qui avait été tenté avec 3DMark03 avec notamment les tests sons et Ragtroll) constitue une autre limite de ce benchmark en tant que « The gamer’s benchmark ». Concrètement, les scores obtenus aux « Game tests » amplifient donc les écarts entre les différentes cartes graphiques, et s’éloignent des performances réelles lorsque l’on joue aux jeux.