Résultats, optimisations, conclusion
Les exemples de résultats fournis par Futuremark permettent de comprendre les conséquences des faits précédents.
Le score PCMark ne représente pas grand-chose, et est en fait très dépendant du CPU. Les autres scores, plus spécifiques, produisent des résultats cohérents mais qui sont plus proches du benchmark synthétique qu’applicatif. En effet, ils mettent en avant des écarts bien plus importants que ceux que l’on observerait sur des logiciels courants. Cela répond au but cherché par Futuremark, le problème étant que ces écarts importants sont obtenus par l’utilisation de formules faîtes pour amplifier les écarts (cf formule de la suite de tests mémoire), là où les différences que l’on observe avec les benchs synthétiques proviennent de tâches simples et concrètes (bande passante, etc.).
À mi-chemin entre tests applicatifs et synthétiques, ces scores manquent également de signification et seront avantageusement remplacés par de vrais tests synthétiques. D’autant plus que les optimisations des constructeurs restent tolérées pour les tests à l’origine de ces scores, ce qui est inacceptable pour des scores de nature synthétique.
Les ‘optimisations’
Après l’épisode 3DMark03 et les propos totalement incohérents tenu par l’éditeur à cette occasion (optimisations de nVidia d’abord dénoncées, puis à nouveaux acceptées lorsque nVidia se remit avec Futuremark), l’éditeur a cru bon de préciser ici un certain nombre de points.
Futuremark accepte les optimisations génériques de tout fabricant pour PCMark04, aux conditions suivantes :
- Le compilateur optimisé doit produire un code donnant le même résultat que d’origine, doit être documenté, supporté par le constructeur et mis en avant par ce dernier pour un usage généralisé
- Futuremark se réserve le droit d’accepter ou de refuser tout compilateur ou optimisation
- Si aucun compilateur optimisé n’est présent, le compilateur par défaut est Visual Studio .net
Conclusion
Très franchement, nous n’avons pas été très convaincus par cette nouvelle mouture de PCMark.
D’un côté, il ne nous permet pas de réellement analyser l’architecture d’une configuration, car les scores des tests spécifiques sont issus de formules destinées à amplifier les écarts, et sont obtenus à l’aide de tests tantôt applicatifs, tantôt synthétiques mais sans réelle signification.
De l’autre, le nombre limité de logiciels qu’il regroupe (un seul par type de tâche, en somme) ne permet nullement d’obtenir un panorama exhaustif de la puissance d’une architecture donnée au regard de la diversité des logiciels plébiscités par chaque utilisateur.
Le seul avantage concret de ce benchmark est de pouvoir donner, de manière simple et rapide, un aperçu grossier de la puissance globale d’une machine – le problème résidant dans la signification du terme ‘globale’ pour un utilisateur PC. Il peut à ce titre intéresser les OEM, mais reste trop approximatif pour que l’on puisse recommander son utilisation dans un test exhaustif.