Forschungshochleistungsrechner ForHLR I

Das SCC hat von Ende September 2014  bis April 2020, d.h. für etwas mehr als fünfeinhalb Jahre, den Forschungshochleistungsrechner ForHLR (Phase) I, der gemeinsam vom Land Baden-Württemberg und vom Bund gefördert wurde, betrieben. Der ForHLR I war ein mit Intel Xeon-Prozessoren (IvyBridge-EP) bestückter Parallelrechner mit mehr als 10.000 Kernen. Die Vergabe von Rechenzeiten auf dem ForHLR I erfolgte über Projektanträge, die von einem Lenkungsausschuss begutachtet wurden.

Der ForHLR I war der erste von zwei Parallelrechnern, wobei der zweite im Frühjahr des Jahres 2016 in Betrieb genommen wurde, und bestand aus mehr als 500 SMP-Knoten mit 64-bit Intel-Xeon Prozessoren und diente der Rechenzeitversorgung von Forschungsvorhaben, deren Rechenbedarf paralleles Rechnen mit dreistelligen Prozessorzahlen erforderte. Die Bearbeitung von Jobs mit diesem Parallelisierungsgrad wird vorübergehend von dem ForHLR (Phase) II mit übernommen.

Konfiguration des ForHLR I

Der Forschungshochleistungsrechner ForHLR I beinhaltete

  • 2 Login-Knoten mit jeweils 20 Cores mit einer theoretische Spitzenleistung von 400 GFLOPS und 64 GB Hauptspeicher pro Knoten,
  • 512 "dünne" Rechenknoten mit jeweils 20 Cores mit einer theoretische Spitzenleistung von 400 GFLOPS und 64 GB Hauptspeicher pro Knoten,
  • 16 "fette" Rechenknoten mit jeweils 32 Cores mit einer theoretische Spitzenleistung von 665,6 GFLOPS und 512 GB Hauptspeicher pro Knoten
  • und als Verbindungsnetzwerk ein InfiniBand 4X FDR Interconnect.

 
 

 

Der ForHLR I war ein massiv paralleler Parallelrechner mit insgesamt 540 Knoten, wovon 10 Knoten Service-Knoten waren - die Fileserver-Knoten nicht mitgezählt. Alle Knoten - bis auf die "fetten" Knoten - hatten eine Taktfrequenz von 2,5 GHz. Die "fetten" Knoten hatten eine Taktfrequenz von 2,6 GHz. Alle Knoten besaßen lokalen Speicher, lokale Platten und Netzwerkadapter. Ein einzelner Rechenknoten hatte eine theoretische Spitzenleistung von 400 bzw. 665,6 GFLOPS, so dass sich eine theoretische Spitzenleistung von 216 TFLOPS für das gesamte System ergab. Der Hauptspeicher über alle Rechenknoten hinweg betrug 41,1 TB. Alle Knoten waren durch ein InfiniBand 4X FDR Interconnect miteinander verbunden.

Das Basisbetriebssystem auf jedem Knoten war ein Ret Hat Enterprise Linux (RHEL) 6.x. Als Managementsoftware für den Cluster diente KITE; KITE ist eine offene Umgebung für den Betrieb heterogener Rechencluster.

Als globales Dateisystem war das skalierbare, parallele Dateisystem Lustre über ein separates InfiniBand Netzwerk angebunden. Durch die Nutzung mehrerer Lustre Object Storage Target (OST) Server und Meta Data Server (MDS) wurde sowohl eine hohe Skalierbarkeit als auch eine Redundanz beim Ausfall einzelner Server erreicht. Nach dem Login befanden Sie sich im HOME-Verzeichnis, das das gleiche war wie das HOME-Verzeichnis des InstitutsCluster II, der hc3 und des bwUniCluster. In diesem Verzeichnis stand auf dem ForHLR I allerdings nur 1 GB an Plattenplatz (für Konfigurationsdateien) zur Verfügung. Sie sollten nach dem Login direkt in das über die Umgebungsvariable PROJECT ansprechbare Verzeichnis wechseln. In diesem stand Ihrem Projekt der über den Lenkungsausschuss bewilligte Plattenplatz zur Verfügung. Im WORK-Verzeichnis standen ca. 224 TB an Plattenplatz zur Verfügung. Daneben war jeder Knoten des Clusters mit lokalen Platten für temporäre Daten ausgestattet.

Detaillierte Kurzbeschreibung der Knoten:

  • 2 20-Wege (Login-)Knoten mit jeweils 2 Deca-Core Intel Xeon E5-2670 v2 Prozessoren mit einer Taktfrequenz von 2,5 GHz (max. Turbo-Taktfrequenz 3,3 GHz), 64 GB Hauptspeicher und 5x1 TB lokalem Plattenplatz,
  • 512 20-Wege (Rechen-)Knoten mit jeweils 2 Deca-Core Intel Xeon E5-2670 v2 Prozessoren (Ivy Bridge) mit einer Taktfrequenz von 2,5 GHz (max. Turbo-Taktfrequenz 3,3 GHz), 64 GB Hauptspeicher und 2x1 TB lokalem Plattenplatz,
  • 16 32-Wege (Rechen-)Knoten mit jeweils 4 Octa-Core Intel Xeon E5-4620 v2 Prozessoren (Ivy Bridge) mit einer Taktfrequenz von 2,6 GHz, 512 GB Hauptspeicher und 8x1 TB lokalem Plattenplatz und
  • 10 20-Wege Service-Knoten mit jeweils 2 Deca-Core Intel Xeon E5-2670 v2 Prozessoren mit einer Taktfrequenz von 2,5 GHz und 64 GB Hauptspeicher.

Ein einzelner Deca-Core Prozessor (Ivy Bridge) hatte 25 MB L3-Cache und betrieb den System Bus mit 1866 MHz, wobei jeder einzelne Core des Ivy Bridge Prozessors 64 KB L1-Cache und 256 KB L2-Cache hatte.

 

Zugriff auf den ForHLR I für Projektbeteiligte

Nur sichere Verfahren wie secure shell (ssh) und die zugehörige secure copy (scp) waren erlaubt beim Einloggen bzw. beim Kopieren von Daten von und zum ForHLR I. Die Mechanismen telnet, rsh sowie weitere r-Kommandos waren aus Sicherheitsgründen abgeschaltet. Um sich auf dem ForHLR I einzuloggen, sollte das folgende Kommando benutzt werden:

ssh kit-account@forhlr1.scc.kit.edu bzw. ssh kit-account@fh1.scc.kit.edu

Um als Projektbeteiligte(r) eine Zugangsberechtigung für den ForHLR I zu erhalten, mußte das entsprechende Zugangsformular, das über die Webseite https://www.scc.kit.edu/hotline/formulare.php erreichbar war, ausgefüllt, vom Projektmanager unterschrieben und an den ServiceDesk geschickt werden.