ITechnisch

Der Wandel im Benchmarking

Das A&O der Hardware ist das Benchmarking. Kein Feature ist sinnlos genug und kein Trick zu offensichtlich um sich gegenüber dem Wettbewerb zu positionieren. Es vergeht auch keine Woche ohne Meldung, dass der Eine den Anderen bei irgendetwas wieder übertroffen hat. 

Grundsätzlich sollte das nicht verwundern, sind die Unterschiede bei gleicher Basistechnologie - z.B. x86 - oft nur noch marginal, wenn die Meisten sogar den selben Chipsatz verwenden. Um so mehr kommt es da auf die Konstruktion der Systeme an um noch das letzte Quantum [sic!] Leistung heraus zu holen. 

Bei manchen Ausschreibungen/Beschaffungen werden dem Hersteller neben der Handvoll Standardbenchmarks ganze Benchmarkingorgien abverlangt. Dabei dienen sie trotzdem nur als Stellvertreter um zum einen die Plattformentscheidung zu erleichtern und zum anderen festzustellen, ob die 5 Server für 10.000 Euro tatsächlich schlechter sind, als die 6 vom anderen Hersteller zum gleichen Preis, wenn es nicht gerade um konkreten Code, um eine konkrete Anwendung die laufen wird, geht.

Früher wurde dabei tatsächlich nur der Preis der Beschaffung im Verhältnis zur gemessenen Leistung betrachtet. Dank den steigenden Energiekosten ändert sich das rapide und so werden entweder Rahmenbedingungen bezüglich des Energiebedarfs gesetzt oder aber der Bedarf ganz konkret in harte Euros umgerechnet, die das Preis/Leistungsverhältnis entsprechend verschieben.

Seit diesem (bzw Ende letzten) Jahr gibt es den SPECpower_ssj2008, ein Benchmark, welcher den Stromverbrauch mit einbezieht. Viel Benchmarks sind dabei noch nicht gemeldet und ich habe ihn auch noch nicht als gefragt erlebt, doch es ist ein erster Schritt in die richtige Richtung.

Ein anderes Beispiel für die Wandlung ist die Neuordnung der Top500-Liste in der Green500-Liste. Dort teilen sich zwei IBM BladeCenter QS22-Cluster den ersten Platz und auch auf dem dritten Platz liegt ein System mit PowerXCell 8i Prozessor. Tatsächlich kommt das erste x86-System erst auf Platz 16, was natürlich nicht bedeutet, dass die ersten 15 Systeme generell besser sind. Als Maß nutzt die Green500 MFlops/W und kommt damit den IBM BlueGene-Systemen entgegen. Doch die Tendenz ist klar.

Eine Tendenz, die man nicht nur als Energie-Hype abtun sollte, sondern als den Wunsch der Kunden (ok, das ist Vertriebssicht) ein umfassendes Bild zu bekommen und nicht nur einzelne Aspekte. FLOPS allein sind zum Glück nicht mehr genug.