Die HPC-Gruppe am RRZE stellt ihre schon seit Jahren für Ausschreibungen verwendete interne Benchmark-Umgebung als Open-Source zur Verfügung. Das Projekt hpc-bench ist bei Google-Code gehosted (http://code.google.com/p/hpc-bench/) und soll als Basis für eine Applikationsbenchmarkumgebung auch anderen Rechenzentren bei ihren Ausschreibungen von Nutzen sein. Eine einheitliche Benchmark-Umgebung mit einem bekannten Satz an Benchmarkfällen könnte die Qualität von Ausschreibungsprozessen im HPC-Bereich verbessern und auch den Anbietern viel Arbeit sparen. Neben der Anwendung bei Ausschreibungen ist hpc-bench auch nützlich für die Evaluierung und Vergleich von neuen Architekturen oder HPC-Systemen. Auch der Vergleich von verschiedenen Softwareumgebungen wird wesentlich erleichtert.
Bei der Entwicklung von hpc-bench standen folgende Anforderungen im Vordergrund:
- Integrierte Buildumgebung mit zentraler Konfiguration
- Einfache Portierbarkeit auf verschiedene Systeme und Compiler
- Zuverlässige und konsistente Benchmarkausführung mit automatischem Logging aller Informationen
- Automatische Ergebniszusammenfassung und Präsentation
- Einfaches Management von verschiedenen Konfigurationen
- Paketsystem für die Benchmarkfälle zum einfachen Austausch von Tests und einer flexiblen Konfiguration der Suite
Das System hat sich in den vergangenen Jahren sowohl bei den Ausschreibungen des RRZE als auch bei der Evaluierung verschiedenster HPC-Systeme (IBM Blue Gene, Cray XT5 und XE6, verschiedenste Cluster) bewährt. Neben dem RRZE wurden die Vorgänger von hpc-bench auch bei Ausschreibungen an den Rechenzentren von Bayreuth und Marburg verwendet.