Geschichte der 3D-Mark-Benchmarks

3D-Mark-Geschichte - Benchmarks aus dem Hause MadOnion bzw. FutureMark

Benchmark-Programme sind spezielle Tools, welche die Leistungsfähigkeit des Computers oder dessen Einzelkomponenten testen. Dazu werden gezielt Anwendungen ausgewählt, die eine bestimmte PC-Komponente (Grafikkarte, Prozessor, usw.) besonders fordert. Anschließend wird die Leistungsfähigkeit (Performance) ermittelt und in der Regel in Form einer Punktzahl an den Anwender übergeben. Mittlerweile gibt es viele Benchmark-Programme, welche die unterschiedlichsten Hardware-Komponenten auf Ihre Performance testen. So werden Tools angeboten, die neben dem Prozessor auch die Leistungsfähigkeit des Arbeitsspeichers, der Festplatte, des Gesamtsystems, etc. ermitteln, so dass man sein System mit anderen vergleichen kann.

MadOnion Logo    
Früher hieß die Firma FutureMark noch MadOnion

Die interessantesten Benchmarks bilden die Grafikkarten-Benchmarks. Denn gerade in modernen 3D-Spielen werden die PC-Systeme sehr gefordert und gelangen schnell an das Maximum. Nirgendwo anders zeigen sich die Schwachstellen eines schlecht konfiguriertem oder veraltetem Systems wieder. Seit Jahren ist die Benchmark-Suite 3D Mark aus dem Hause FutureMark ein inoffizieller Standard, um die Leistungsfähigkeit der Grafikkarte zu prüfen. Der 3D Mark kann mittlerweile auf eine lange Geschichte zurückblicken, denn noch vor dem Millenium startet die Serie mit dem 3D Mark 99!

Synthetische Benchmarks

Vor allem in Verbindung mit den 3D Mark Benchmarks hört man oft den Begriff "Synthetischer Benchmark", der von vielen Kritikern dazu benutzt wird, den 3D Mark als unglaubwürdig darzustellen. Doch was bedeutet eigentlich Synthetischer Benchmark? Wie der Name schon sagt, wird der Test in einer künstlichen Umgebung durchgeführt. Die Resultate aktueller 3D-Grafik Benchmarks sind in erster Linie von der Grafikkartenleistung abhängig. Allerdings spielen auch Festplattenzugriffe, Speichertimings oder selbst die eingestellte Synchronisation des Monitorsignals eine wichtige Rolle bei der Beeinflussung des Gesamtergebnisses. Will man also pauschale Aussagen formulieren oder gar einen Vergleich mit anderen Systemen anstellen, so muss man möglichst gleiche Ausgangs-Bedingungen schaffen, bevor die Tests durchlaufen. Bildschirmauflösung, Farbtiefe und viele weitere Parameter werden auf Standardwerte gesetzt, wodurch man sich aber immer mehr von den Bedingungen auf einem normalen Arbeits- oder Spiele-PC entfernt.


Raw-Power-Benchmarks wie SiSoftSandra testen die Hardware auf unterster Ebene,
indem direkt auf die Hardware zugegriffen wird.

So kann es passieren, dass in einem 3D-Benchmark das Ergebnis aufgrund von anderer Peripherie wie Festplatte, Arbeitsspeicher, etc. stark beeinflusst werden kann. Daher sollte man die Ergebnisse immer mit einem gewissen Abstand genießen. Im Gegensatz zu synthetischen Benchmarks wird in Raw-Power-Benchmarks direkt auf die Hardware zugegriffen. So ermittelt beispielsweise SiSofts Sandra in einem Benchmarkmodul die reine CPU-Leistung des Systems, indem "Störfaktoren" wie Festplattenzugriffe oder Grafikausgabe ausgeschlossen werden. 

3D Mark 11 - DirectX 11 und Tessellation

Beim 3D Mark 11 steht die Zahl 11 im Vordergrund: nachdem der Vorgänger 3D Mark Vantage noch auf DirectX 10 aufbaute, testet die neue Benchmark-Suite aus dem Hause FutureMark die Grafikkarten unter Verwendung von DirectX 11 und OpenGL 4.0. Pünktlich zum Jahresende 2010 veröffentlicht wird der 3D Mark 11 der wichtigste synthetische Benchmark des Jahres 2011 sein. 

Futuremark 3D Mark 11 logo

Einer der grundlegenden Erneuerungen neben dem Shader-Modell 5 von DirectX 11 ist Tessellation, welches herrlich schöne und realistische Oberflächen hervorzaubert. Der Unigine Heaven 2.0 Benchmark zeigte bereits in beeindruckender Weise, was mit DirectX 11 und Tessellation möglich ist. FutureMark bringt mit dem 3D Mark 11 seinen Benchmark raus, der diese Technik einsetzt.

Die Technologiedemo unter Wasser (Meereszene) verwendet Techniken wie Hardware-Tesselation, Compute Shader, volumetrisches Licht, Tiefenschärfe und Lens-Flare-Effekte, was die Szenen sehr realistisch und detailliert wirken lässt. Gerade in Puncto Tiefenschärfe und Licht-/Schattenspiele wurde sehr viel Wert gelegt, da hier Grafikkarten schnell ins Schwitzen kommen.

3D Mark 11 teilt die Benchmark-Durchläufe in verschiedene Klassen ein (Entry-Level-PC, Performance-PC, Extreme-PC), um die PCs mit unterschiedlichen Anforderungen (Auflösung, Bildqualität) zu testen.

Die Systemanforderungen sind wie gewohnt hoch:

Betriebssystem: Microsoft Windows Vista or Windows 7
CPU: 1.8GHz dual-core Intel or AMD CPU
RAM: 1 GB of system memory
Grafikkarte: DirectX 11 compatible graphics card
Freier Festplattenspeicher: 1,5 GB

3D Mark 11 - Bild 1
3D Mark 11 - Bild 1
3D Mark 11 - Bild 2
3D Mark 11 - Bild 2
3D Mark 11 - Bild 3
3D Mark 11 - Bild 3
3D Mark 11 - Bild 4
3D Mark 11 - Bild 4
3D Mark 11 - Bild 5
3D Mark 11 - Bild 5

3D Mark Vantage - DirectX 10 und PhysX

Im Jahr 2008 veröffentlicht FutureMark den 3D Mark Vantage. Die wichtigsten Erneuerungen neben der Wahl von unterschiedlichen Testläufen (Entry, Performance, High und Extreme) sind vor allem die Unterstützung von DirectX 10 und die Physikbeschleunigung PhysX by AGEIA. Letzteres soll möglichst realitätsnahe Physikberechnungen ermöglichen, ohne das System überdurchschnittlich zu belasten.

3D Mark Vantage Logo

Leider ist 3D Mark Vantage der erste Benchmark aus dem Hause FutureMark, der nicht kostenlos ist. Die Trial-Version ermöglicht lediglich einen einzigen Testlauf und ermöglicht noch nicht einmal sämtliche Test. Wer 3D Mark Vantage trotzdem ausprobieren möchte, sollte sich an folgende Systemvoraussetzungen orientieren:

Minimale Systemvoraussetzungen
- x86/x64 Single-Core-CPU mit SSE2-Unterstützung, Leistung vergleichbar mit Intel Pentium D 3,2 GHz oder besser
- DirectX 10-kompatible Grafikkarte mit 256 MB Speicher
- 512 MB RAM
- 1 GB freier Festplattenspeicher
- Windows Vista mit Service Pack 1

Empfohlene Systemvoraussetzungen
- Core 2 Duo E6600 oder AMD mit gleicher Leistung (Athlon 64 X2 5400+)
- D3D10-kompatible Grafikkarte mit 512 MB Speicher
- 2.048 MB Speicher
- 1 GB freier Festplattenspeicher

Quelle: FutureMark

3DMark Vantage - Screenshot New Calico
3DMark Vantage - Screenshot New Calico
3DMark Vantage - Screenshot Jane Nash
3DMark Vantage - Screenshot Jane Nash
3DMark Vantage - Screenshot New Calico
3DMark Vantage - Screenshot New Calico
3DMark Vantage - Screenshot PhysX
3DMark Vantage - Screenshot PhysX
3DMark Vantage - Screenshot PhysX
3DMark Vantage - Screenshot PhysX

3D Mark 06 - DirectX 9, HDR Rendering

Der 3DMark 06 beinhaltet alle modernen Features wie HDR-Rendering, Dynamische Schatten und Texturgrößen bis 2048 x 2048 Pixel sowie Shader Model 2.0 und 3.0 Tests. Mit seinen neuen Grafikeffekten und komplexen Szenen bringt er nicht nur Anwender ins Staunen, sondern auch PC-Systeme mächtig ins Schwitzen. Wie auch bei allen anderen Vorgängerversionen wird die Performance-Latte wieder einmal ein deutliches Stück höher gesetzt und den Anwendern verdeutlicht, wozu PC-Systeme in der Zukunft in der Lage sind.

Die Einführung von Shader Modell 3.0 und High Dynamic Range (HDR) Rendering sind die wichtigsten Neuerungen in dieser Version zum Vergleich zum Vorgänger. Futuremark gibt als Mindestanforderung für diesen Benchmark folgende Spezifikationen an:

  • Intel® or AMD® kompatibler prozessor mit mehr als 2,5 GHz
  • DirectX 9 Grafikkarte mit Pixel Shader 2.0 oder höher
  • Pixel-Shader 3.0 Support, um alle Effekte und Tests durchführen zu können (HDR-Rendering)
  • 256 MB Grafikspeicher
  • 1 GB RAM
  • 1.5 GB freier Speicher auf der Festplatte
  • Windows® XP 32bit inkl. Service Packs und Updates
  • DirectX® 9.0c (ab Dezember 2005 oder später)
  • Microsoft Excel® 2003 or XP
  • Microsoft Internet Explorer 6
  • Microsoft DirectX 9.0c (Dezember 2005) System Development Kit

Im 3D Mark 06 werden insgesamt vier Szenen gerendert: Graphics Test 1a "Return to Proxycon", Graphics Test 2a "Firefly Forest", Graphics Test 1b "Canyon Flight", Graphics Test 2b - Deep Freeze. Die ersten beiden Szenen basieren auf Shader Modell 2.0 und die letzten beiden auf Shader Modell 3.0 und HDR-Rendering. Somit werden die letzten beiden Szenen nur von Grafikkarten gerendert, die diese Techniken hardwareseitig unterstützen.

3D Mark 06     3D Mark 06     3D Mark 6     3D Mark 6
Screenshots 3D Mark 06

In der Szene 1 "Return to Proxycon" handelt es sich um eine 3D-Ego-Shooter-Szene. Sie zeichnet sich durch komplexe Schatten- und Lichtberechnungen aus. Insgesamt 26 Lichtquellen und 1024x1924x6 große "cube depth maps"bringen aktuelle Grafikkarten an das Maximum. Hier werden Smart Shader in der Version 2.0 genutzt.

Die zweite Szene ist aus einem Fantasie-Spiel und zeigt eine große Landschaft mit einem sehr detailreichen Untergrund und Vegetation. Neben der Quantität von Gegenständen stellen die "Cascading Shadow Maps" und die hochauflösenden "shadow-mapped point lights" die Schwierigkeiten dieser Szene dar. Hier werden Smart Shader in der Version 2.0 genutzt.

Die Szene "Canyon Flight" nutzt Shader-Modell 3.0, um HDR (High Dynamic Range) Effekte zu rendern. In einem sehr komplex dargestellten Canyon wird eine Wasseroberfläche gerendert, welche noch detailgetreuer als mit Shader-Modell 2.0 ist.

Die vierte und letzte Szene nutzt ebenfalls Shader-Modell 3.0 und HDR (High Dynamic Range). Dieser Test soll noch weitere Effekte von HDR zeigen und dem Anwender die Möglichkeiten der neu eigeführten Technologie näher bringen.

Mit den CPU-Tests wird in gewohnter Art und Weise die K.I. in Computerspielen getestet. Hier wird aber der Hauptprozessor und nicht die Grafikkarte getestet.

3D Mark 05 - Erweiterte Features von DirectX 9c

Der Nachfolger des 3D Mark 03 wurde zu einer Zeit eingeführt, als erste Grafikkarten auf dem Markt kamen, welche die erweiterten Funktionen von DirectX 9c hardwareseitig unterstützten. Dazu musste die Grafikkarte Pixel- und Vertex-Shader in der Version 2.0 besitzen, welche genauere und realitätsnahe Effekte rendern können. Wie auch die Vorgänger setzt der 3D Mark 05 neue Maßstäbe in der Qualität und Fülle von Grafikeffekten, so dass für die damalige Zeit typische PC-Systeme mit einer Radeon 9600, 9700, 9800 oder Geforce FX5600 diesen Benchmark nur mit einer miserablen Performance rendern konnten.

Futuremark gibt als Mindestanforderung für diesen Benchmark folgende Spezifikationen an:

  • DirectX 9 Grafikkarte mit Pixel Shader 2.0 oder höher
  • Grafikspeicher mindestens 128 MB
  • Intel® or AMD® kompatibler prozessor mit mehr als 2 GHz
  • 512 MB RAM
  • 1.5 GB freier Speicher auf der Festplatte
  • Windows 2000 oder XP inkl. Updates
  • DirectX 9.0c runtime
  • Microsoft Internet Explorer 6
  • Microsoft Excel 2000, 2003 oder XP

Im 3D Mark 05 werden verschiedene Szenen gerendert: Game Test 1 "Return to Proxycon", Game Test 2 "Firefly Forest" und Game Test 3 "Canyon Flight".
In der ersten Szene fährt die Kamera über ein Flugzeug-Hangar. Hier werden aufwendige und dynamische Schattenberechnungen durchgeführt. Insgesamt 8 Lichtquellen, welche alle berechnet werden müssen, bringen die Grafikkarten mächtig ins Schwitzen.
In der zweiten Szene kann man eine üppige Vegetation betrachten. Hier liegt das Hauptaugenmerk auf die Fülle der Objekte und der vielen Details, welche berechnet werden müssen.
In der Szene 3 müssen weite und große Flächen wie das Wasser berechnet werden. Doch dies ist nicht die einzige Schwierigkeit in dieser Szene, denn sie besitzt auch noch eine eine so genannte "deep fog": das Seemonster befindet sich tief unter der Oberfläche des Wassers.

3D Mark 05     3D Mark 05     3D Mark 05 
Screenshots 3D Mark 05

Der CPU-Test testet den Hauptprozessor des Systems. In einer Kampfszene in der Luft wird die K.I. (künstliche Intelligenz) berechnet, welches in 3D-Spielen der Prozessor und nicht die Grafikkarte berechnet. Damit die Grafikkarte keinen Einfluss auf die Berechnungen hat, wird die Auflösung auf 640x480 eingestellt.

3D Mark 03 - Test der Grafikkarte unter DirectX 9

Logo 3D Mark 03 Der 3D Mark 03, der nun nicht mehr aus dem Hause MadOnion stammt, sondern nun unter einem anderen Namen publiziert wird. MadOnion nennt sich nun FutureMark, was aber die einzige Änderung in der Firma bleibt. Ansonsten bleibt alles beim Alten: Die Strategie von FutureMark, nämlich einen sehr komplexen Benchmark zu entwerfen, der die Grafikkarten unter Verwendung von zukünftlichen Technologien testet, stieß allerdings bei den Grafikkartenherstellern auf heftigen Widerstand. Der Benchmark sei zu komplex und würde nicht die grafischen Normen in aktuellen Spielen widerspiegeln, lautete es beispielsweise bei den Nvidia-Verantwortlichen.

Screenshot 3D mark 03  Screenshot 3D mark 03  Screenshot 3D mark 03  Screenshot 3D mark 03

Und dieser Unmut ist nicht unbegründet, denn in einem System mit einer Geforce 3 bzw. Geforce 4 TI (letztere ist erst vor kurzer Zeit durch die FX-Serie abgelöst worden und gilt immer noch als Standard) gleicht der 3D Mark 03 eher einer Dia-Show als das man von einem flüssigen Ablauf reden kann. Erst mit einer Geforce FX 5600 oder einer Radeon 9600 wird dieser Benchmark ohne weitere Probleme dargestellt. Aber der 3D Mark 03 wurde ja nicht dazu geschaffen, aktuellen Karten eine Plattform zu bieten, wo diese durch eine hervorragende Leistung glänzen können, sondern soll diesen Grafikkarten die Grenzen aufzeigen und die Hersteller indirekt dazu aufzufordern, neue und schnellere Modelle auf den Markt zu bringen. Letzteres wird vor allem den Endkäufer freuen, der nun wieder neue Grafikkartenmodelle zur Auswahl hat.

Screenshot 3D mark 03  Screenshot 3D mark 03  Screenshot 3D mark 03  Screenshot 3D mark 03 

Die absoluten Mindestanforderungen sind laut FutureMark eine 1 Ghz-CPU, 256 MB Ram, DirectX 9 und eine DirectX7 Grafikkarte mit 32 MB Grafikspeicher. Die Mindestanforderungen konnten zahlreiche PC-Systeme nicht erfüllen, so dass die empfohlenen Systemvorrausetzungen mit einer 2 Ghz CPU und einer DirectX 9 Grafikkarte mit 128 MB Grafikspeicher eine Hürde darstellte, die selbst damalige High-End-Systeme nicht erfüllen konnten.

CPU mit mehr als 1000 MHz oder die im PCMark2002 über 2500 Punkte erzielt hat 256 MB (512 MB empfohlen) 400 MB freier Festplattenspeicher Windows® 98/SE/ME/2000/XP DirectX®9.0c oder höher Grafikkarte mit 32 MB Grafikspeicher und DirectX DirectX 9 Grafikkarte, um alle Effekte darstellen zu können

Screenshot 3D mark 03  Screenshot 3D mark 03

Um den 3D Mark 03 vollständig durchlaufen lassen zu können, benötigt man eine Grafikkarte, welche die Features aus dem DirectX 9-Paket hardwareseitig unterstützt. Ansonsten kann man, ähnlich wie beim 3D Mark 2001, einen wichtigen Bestandteil des Benchmarks nicht wiedergeben, da die vierte Szene mithilfe von DirectX 9 programmiert wurde. Daher sollte man mindestens eine ATI Radeon 9500 oder eine Geforce FX 5200 in seinem Rechner haben.

3D Mark 2001 - Test der Grafikkarte unter DirectX 8

Zu einer Zeit, als die ersten Geforce 3 und Radeon 8500 Grafikkarten kurz vor der Veröffentlichung standen, veröffentlichte MadOnion wieder einmal einen Grafikbenchmark der Extraklasse. Wie auch seine Vorgänger verblüffte der 3D Mark 2001 mit hervorragenden Grafiksequenzen und noch nie vorher da gewesenen Grafikeffekten. Da es fast zwei Jahre gedauert hat, bis man den Nachfolger 3D Mark 03 ins Rennen brachte, war der 3D Mark 2001 lange Zeit die Referenz unter den Grafik-Benchmarks und brachte auch noch nach langer Zeit der Veröffentlichung so manches High-End-System an die Grenzen.

Screenshot 3D Mark 2001  Screenshot 3D Mark 2001  Screenshot 3D Mark 2001  Screenshot 3D Mark 2001

Der 3D Mark 2001 testet die Grafikkarte unter Verwendung von DirectX 8. Wenn man also in den vollen Grafikgenuss kommen möchte, sollte man mindestens eine Geforce 3 oder eine ATI Radeon 8500 in seinem Rechner werkeln haben, ansonsten wird ein wichtiger Bestandteil des Benchmarks, nämlich der Test 4 "Nature", übersprungen. Wie komplex dieser Benchmark war, zeigen die Mindestvorausetzungen, die MadOnion vorschrieb. Um den Benchmark überhaupt darstellen zu können, musste der Rechner mindestens einen Intel Pentium III 500 Mhz, 128 MB Ram, DirectX 8 und eine nach 1999 veröffentlichte 3D-Beschleunigerkarte mit 32 MB Grafikspeicher besitzen. Wenn man sich die Mindestvorausetzungen der Vorgänger anschaut, war dies schon ein enormer Schritt.

Screenshot 3D Mark 2001  Screenshot 3D Mark 2001  Screenshot 3D Mark 2001  Screenshot 3D Mark 2001

Ein Vorteil des 3DMark gegenüber anderen Benchmarkprogrammen ist die Unterteilung in zahlreiche Einzeltests. So gibt es beim 3D Mark 2001 vier Szenen, die von der Grafikkarte berechnet werden müssen. Zum einen wird die Grafikausgabe und -qualität mit detailreichen Außenszenen gemessen, zum anderen werden Daten wie Speicherdurchsatz oder Füllraten über theoretische Tests ermittelt und anschließend in einer Textdatei ausgegeben. So kann man die Stärken und Schwächen seines System ganz genau nachprüfen.

Die Gesamtpunktzahl, die an jedem Ende des Durchlaufs präsentiert wird, berechnet das System nach folgendem Schema:
3DMark Punkte = Punktzahl (Game1LowDetail + Game2LowDetail + Game3LowDetail) * 10 + Punktzahl (Game1HighDetail + Game2HighDetail + Game3HighDetail + Game4) * 20

3D Mark 2000 - Test der Grafikkarte unter DirectX 7

Der 3D Mark 2000 machte dem Ruf der 3D Mark-Serie alle Ehre und forderte die damaligen Grafikkarten weit über die Leistungsgrenzen hinaus. Die Philosophie der Firma Futuremark bzw. MadOnion, dass Hard- und Software auf die Anforderungen künftiger Anwendungen - insbesondere in Spielen - getestet werden müssen, spürten anfangs viele damalige PC-Systeme in ruckelnden Szenen und fehlender Hardware-Unterstützung. Doch der Druck dieses Benchmarks führte dazu, dass die Grafikkarten-Hersteller Modelle herausbrachten, die diesem Benchmark in technischer und leistungsmäßiger Hinsicht immer mehr gewachsen waren.

Screenshot 3D Mark 2000    Screenshot 3D Mark 2000    Screenshot 3D Mark 2000    Screenshot 3D Mark 2000   

So konnten erst die Geforce 2 MX- bzw. GTS-Karten diesen Benchmark in einer ordentlichen und flüssigen Framerate bewältigen. Da diese Grafikkarten auch DirectX 7 unterstützten, konnten auch die technischen Anforderungen erfüllt werden. Die Mindestvorausetzungen wurden gegenüber dem Vorgänger nur minimal auf einen Intel Pentium 166 Mhz, 64 MB Ram, DirectX 7 und eine 3D-Beschleunigerkarte angehoben worden. um den 3D Mark 2000 flüssig darstellen zu können, sollte man laut MadOnion mindestens einen Pentium 2 300 Mhz, 128 MB Ram und eine nach 1999 veröffentlichte Grafikkarte in seinem Rechner besitzen.

Screenshot 3D Mark 2000   Screenshot 3D Mark 2000

Neu beim 3D Mark 2000 war auch die Möglichkeit, die erzielten Resultate bei MadOnion online zu stellen und seinen Rechner mit anderen Rechnern zu vergleichen.

3D Mark 99 - Test der Grafikkarte unter DirectX 6

3D Mark 99 Logo Der erste Benchmark aus dem Hause FutureMark war der 3D Mark 99 und testete die Grafikkarten unter Verwendung der Grafikfeatures aus dem DirectX 6-Pakets. Dieser aus der heutigen Sicht sehr altmodische und unspektakuläre Benchmark forderte den Grafikkarten aus dieser Zeit einiges ab und so manche Grafikkarte wurde bei diesem Benchmark weit über die Grenzen hinaus strapaziert. Da erstmals mit diesem Benchmark ein Vergleich mit anderen PC-Systemen möglich und das Punktesystem sehr durchdacht war, wurde der 3D Mark 99 als Grafikbenchmark sehr bekannt und galt als Referenz.

Screenshot 3D Mark 99  Screenshot 3D Mark 99  Screenshot 3D Mark 99  Screenshot 3D Mark 99

Die damaligen Mindestvorrausetzungen betrugen einen Intel Pentium 166 Mhz, 32 MB Ram, DirectX 6 und eine 3D-Beschleuniger-Karte, um den 3D Mark 99 ausführen zu können. Hauptsächlich die guten alten Nvidia TNT-, TNT2- und Geforce 256-Karten mussten in diesem Benchmark ihr Können unter Beweis stellen.

Screenshot 3D Mark 99 Screenshot 3D Mark 99