73 % des tests on-line évaluant les performances de configurations complètes utilisent PCMark2002. Les benchmarks sont devenus des outils indispensables aux testeurs, c’est un fait. Dans bien des cas, le jugement porté sur le matériel considéré dépend largement des résultats obtenus sous différents benchmark – aussi bien sur le plan quantitatif que qualitatif d’ailleurs. Ceci amenant parfois un certain nombre de dérives qu’il convient d’analyser. Mais désormais, plus que cela les développeurs de benchmarks se retrouvent obligés de faire des choix assez cornéliens, car la complexification des architectures à laquelle on assiste rend les comparaisons très difficiles. Orienter les benchmarks en faveur d’une architecture est très facile, et on se souviendra à quel point Bapco (consortium fondé - entre autres - par Intel) orienta Sysmark de manière à défavoriser l’architecture AMD K7.

Aujourd’hui, Futuremark vient de sortir PCMark04, dernière version de son logiciel d’évaluation de la performance globale d’une configuration. L’occasion pour nous d’étudier les choix techniques réalisés, et de répondre à certaines questions.

Les benchmarks doivent-ils prendre en compte les optimisations des drivers ? Des logiciels ? Des jeux d’instructions spécifiques à une ou plusieurs architecture ? Comment pondérer chaque coefficient des composantes d’un indice de performance global ? Serait-il possible d’envoyer au bûcher l’instigateur du format .pdf pour tous les documents officiels ? C’est ce que nous allons étudier plus loin.

Dans un premier temps, nous allons d’abord détailler les opérations réalisées dans chaque test de ce benchmark. Les 5 catégories principales, donnant lieu à un score spécifique, sont les suivantes :

• Suite de tests système


• Suite de tests CPU


• Suite de tests mémoire


• Suite de tests graphique


• Suite de tests disque-dur