Home | Sitemap  | Impressum | KIT

Forschungshochleistungsrechner ForHLR I

Das SCC betreibt seit Ende September 2014 den
Forschungshochleistungsrechner ForHLR (Phase) I, der gemeinsam vom Land Baden-Württemberg und vom Bund gefördert wird. Der ForHLR I ist ein mit Intel Xeon-Prozessoren (IvyBridge-EP) bestückter Parallelrechner mit mehr als 10.000 Kernen. Die Vergabe von Rechenzeiten auf dem ForHLR I erfolgt über Projektanträge, die von einem Lenkungsausschuss begutachtet werden.

Der ForHLR I ist der erste von zwei Parallelrechnern, wobei der zweite im Jahr 2015/2016 installiert werden wird, und besteht aus mehr als 500 SMP-Knoten mit 64-bit Intel-Xeon Prozessoren und dient der Rechenzeitversorgung von Forschungsvorhaben, deren Rechenbedarf paralleles Rechnen mit dreistelligen Prozessorzahlen erfordert.

 

 

 

Konfiguration des ForHLR I

Der Forschungshochleistungsrechner ForHLR I beinhaltet

  • 2 Login-Knoten mit jeweils 20 Cores mit einer theoretische Spitzenleistung von 400 GFLOPS und 64 GB Hauptspeicher pro Knoten,
  • 512 "dünne" Rechenknoten mit jeweils 20 Cores mit einer theoretische Spitzenleistung von 400 GFLOPS und 64 GB Hauptspeicher pro Knoten,
  • 16 "fette" Rechenknoten mit jeweils 32 Cores mit einer theoretische Spitzenleistung von 665,6 GFLOPS und 512 GB Hauptspeicher pro Knoten
  • und als Verbindungsnetzwerk ein InfiniBand 4X FDR Interconnect.

 
 

 

Der ForHLR I ist ein massiv paralleler Parallelrechner mit insgesamt 540 Knoten, wobei 10 Knoten davon Service-Knoten sind. Dabei sind die Fileserver-Knoten nicht mitgezählt. Alle Knoten - bis auf die "fetten" Knoten - haben eine Taktfrequenz von 2,5 GHz. Die "fetten" Knoten haben eine Taktfrequenz von 2,6 GHz. Alle Knoten besitzen lokalen Speicher, lokale Platten und Netzwerkadapter. Ein einzelner Rechenknoten hat eine theoretische Spitzenleistung von 400 bzw. 665,6 GFLOPS, so dass sich eine theoretische Spitzenleistung von 216 TFLOPS für das gesamte System ergibt. Der Hauptspeicher über alle Rechenknoten hinweg beträgt 41,1 TB. Alle Knoten sind durch ein InfiniBand 4X FDR Interconnect miteinander verbunden.

Das Basisbetriebssystem auf jedem Knoten ist ein Ret Hat Enterprise Linux (RHEL) 6.x. Als Managementsoftware für den Cluster dient KITE; KITE ist eine offene Umgebung für den Betrieb heterogener Rechencluster.

Als globales Dateisystem wird das skalierbare, parallele Dateisystem Lustre über ein separates InfiniBand Netzwerk angebunden. Durch die Nutzung mehrerer Lustre Object Storage Target (OST) Server und Meta Data Server (MDS) wird sowohl eine hohe Skalierbarkeit als auch eine Redundanz beim Ausfall einzelner Server erreicht. Nach dem Login befinden Sie sich im HOME-Verzeichnis, das das gleiche ist wie das HOME-Verzeichnis des InstitutsCluster II, der hc3 und des bwUniCluster. In diesem Verzeichnis steht auf dem ForHLR I allerdings nur 1 GB an Plattenplatz (für Konfigurationsdateien) zur Verfügung. Sie sollten nach dem Login direkt in das über die Umgebungsvariable PROJECT ansprechbare Verzeichnis wechseln. In diesem steht Ihrem Projekt der über den Lenkungsausschuss bewilligte Plattenplatz zur Verfügung. Im WORK-Verzeichnis stehen ca. 224 TB an Plattenplatz zur Verfügung. Daneben ist jeder Knoten des Clusters mit lokalen Platten für temporäre Daten ausgestattet.

Detaillierte Kurzbeschreibung der Knoten:

  • 2 20-Wege (Login-)Knoten mit jeweils 2 Deca-Core Intel Xeon E5-2670 v2 Prozessoren mit einer Taktfrequenz von 2,5 GHz (max. Turbo-Taktfrequenz 3,3 GHz), 64 GB Hauptspeicher und 5x1 TB lokalem Plattenplatz,
  • 512 20-Wege (Rechen-)Knoten mit jeweils 2 Deca-Core Intel Xeon E5-2670 v2 Prozessoren (Ivy Bridge) mit einer Taktfrequenz von 2,5 GHz (max. Turbo-Taktfrequenz 3,3 GHz), 64 GB Hauptspeicher und 2x1 TB lokalem Plattenplatz,
  • 16 32-Wege (Rechen-)Knoten mit jeweils 4 Octa-Core Intel Xeon E5-4620 v2 Prozessoren (Ivy Bridge) mit einer Taktfrequenz von 2,6 GHz, 512 GB Hauptspeicher und 8x1 TB lokalem Plattenplatz und
  • 10 20-Wege Service-Knoten mit jeweils 2 Deca-Core Intel Xeon E5-2670 v2 Prozessoren mit einer Taktfrequenz von 2,5 GHz und 64 GB Hauptspeicher.

Ein einzelner Deca-Core Prozessor (Ivy Bridge) hat 25 MB L3-Cache und betreibt den System Bus mit 1866 MHz, wobei jeder einzelne Core des Ivy Bridge Prozessors 64 KB L1-Cache und 256 KB L2-Cache hat.

 

Zugriff auf den ForHLR I für Projektbeteiligte

Nur sichere Verfahren wie secure shell (ssh) und die zugehörige secure copy (scp) sind erlaubt beim Einloggen bzw. beim Kopieren von Daten von und zum ForHLR I. Die Mechanismen telnet, rsh sowie weitere r-Kommandos sind aus Sicherheitsgründen abgeschaltet. Um sich auf dem ForHLR I einzuloggen, sollte das folgende Kommando benutzt werden:

ssh kit-account@forhlr1.scc.kit.edu  bzw. ssh kit-account@fh1.scc.kit.edu

Um als Projektbeteiligte(r) eine Zugangsberechtigung für den ForHLR I zu erhalten, muss das entsprechende Zugangsformular, das über die Webseite http://www.scc.kit.edu/hotline/formulare.php erreichbar ist, ausgefüllt, vom Projektmanager unterschrieben und an den ServiceDesk geschickt werden.

 

Wichtige Informationen für die Benutzung des ForHLR I

 

 

Hotline per E-Mail, Telefon und Ticketsystem