Bilan, conclusion

Bilan

Venons-en à la question qui nous intéressait plus particulièrement, à savoir l’ajout ou non de 3DMark05 à notre protocole de test de cartes 3D.

En ce qui concerne les Feature Test, la réponse est non. Contrairement à ce qu’affirme Futuremark, il existe en réalité de nombreux outils gratuits qui permettent de mesurer plus particulièrement certaines fonctionnalités, et avec bien plus de finesse que ne le permet les quelques tests de 3DMark05 (cf. nos différents tests de cartes 3D). Une exception réside toutefois : les « Batch Size Tests », qui mesurent une fonctionnalité que nous n’avions rencontré auparavant, et qui peut être intéressante à certains égards.

En ce qui concerne les Game Tests la réponse est plus compliquée. Ce qui est clair c’est qu’ils ne peuvent intégrer notre section ‘Tests pratiques’, puisque le critère indispensable et commun à tous les tests de cette section réside dans l’utilisation d’un moteur 3D utilisé par un jeu. Même si le moteur de 3DMark05 a été conçu de manière à se rapprocher de la manière dont les jeux 3D seront conçus (préparation et optimisation des données destinées à être rendues par le GPU via le CPU), il ne sera pas directement utilisé dans un jeu. Au passage, notez à ce propos que 3DMark05 est plus dépendant des performances du CPU et de la mémoire que 3DMark03, et qu’il construit dynamiquement les shaders en HLSL suivant le profil sélectionné (version du Shader Model).

Ce qui est vrai en revanche, c’est qu’il est toujours difficile d’évaluer les performances des cartes 3D actuelles sur les jeux de demain. C’est là le plus gros point fort des 3DMark, et force est de constater aujourd’hui que les écarts de performances mesurés initialement sur « Battle of Proxycon » de 3DMark03, sont raisonnablement proches de ce que l’on observe maintenant sur Doom 3. Il n’est donc pas impossible que nous rajoutions certains « Game tests » à notre suite de tests synthétiques, en tant que première approximation des performances des cartes 3D sur les prochains FPS. Car il ne faut non plus perdre de vu que les trois « Game Tests » se limitent au rendus de scènes assez spécifiques aux jeux de ce type, ce qui est en soit assez réducteur.

Malheureusement, il y a un dernier facteur inévitable qui complexifie encore notre décision : le jeu des triches à 3DMark. Il est en effet indéniable que cet outil est trop populaire chez les testeurs, et que de tous temps les constructeurs on donc réagit en optimisant spécifiquement leurs drivers pour ce benchmark (au lieu d’allouer plus de ressources à l’optimisation spécifique des jeux). ATI, S3, XGI et surtout nVidia (notamment du temps des GeForce FX exécrables sur les tests SM 2.0) s’en sont ainsi déjà donnés à cœur joie via des optimisations parmi les plus agressives qui soient, enlevant tout sens à ce benchmark. D’ailleurs ces optimisations sont loin de se cantonner aux tests utilisés dans le calcul du score global, et on se souviendra par exemple des GeForce 5600 qui se comportaient étrangement comme des architectures 4x1 sous les ‘Feature tests’ de 3DMark03, alors que dans la grande majorité des situations réelles elles se comportaient comme des puces 2x2.

Or, nous l’avons vu, nous n’envisageons l’introduction de certains tests de 3DMark05 que dans notre suite de tests synthétiques, qui ne doivent par définition pas être optimisé de manière spécifique via les drivers.

Bref, il faudra donc être attentif à l’efficacité de la politique de validation des drivers respectueux de 3DMark que Futuremark semble s’être fixée. Nous avouons avoir quand même quelques doutes à ce sujet, vis-à-vis d’une entreprise qui ne pourrait exister sans le soutien financier et « philosophique » de ses membres, les constructeurs de GPU. Concrètement, si tous les constructeurs de GPU se mettaient à refuser les Optimisations Guidelines définies par Futuremark, ce dernier n’aurait d’autre choix que de se plier à leurs exigences. C’est d’ailleurs quelque part ce qui s’est produit lors de la réconciliation de Futuremark avec nVidia, avec des déclarations de Futuremark qui allaient dans le sens opposé aux preuves techniques et à ce qu’il avait affirmé auparavant.

Bref, la méfiance reste de mise donc, et ce qui ne change pas est qu’un comparatif qui ne considérerait que le score global de 3DMark05 au sein de sa suite de test, sans mises en garde ou explications particulières, n’aura aucune pertinence.

Conclusion

Au final, force est de constater que cette nouvelle version de 3DMark n’est qu’une suite logique de la précédente, et qu’elle n’introduit rien de très nouveau sur l’approche utilisée par Futuremark et sur sa vision du benchmark. On peut véritablement parler de mise à jour technologique, et 3DMark reste ironiquement un des outils les plus complexes et dangereux à utiliser, malgré son apparente simplicité d’utilisation.

En ce qui nous concerne très particulièrement, nous apprécierions que les prochaines moutures se concentrent exclusivement sur le seul point qui nous intéresse véritablement, à savoir l’utilisation de techniques de rendu et de ressources qui ne seront utilisés que dans les jeux qui sortiront d’ici un à deux ans. Ainsi qu’une vérification et une application ferme des règles établies concernant les optimisations des drivers, qui ne peut passer que par une véritable indépendance vis-à-vis des constructeurs. Rendez-vous dans deux ans…