Home | Sitemap  | Impressum | KIT

Forschungshochleistungsrechner ForHLR II

Seit dem 20. April 2016 wird der Forschungshochleistungsrechner ForHLR (Phase) II, der gemeinsam vom Land Baden-Württemberg und vom Bund gefördert wird, von Wissenschaftlern produktiv genutzt. Der ForHLR II ist ein mit Intel Xeon-Prozessoren bestückter Parallelrechner mit mehr als 24.000 Kernen. Die Vergabe von Rechenzeiten auf dem ForHLR II erfolgt über Projektanträge, die von einem Lenkungsausschuss begutachtet werden.

 

Der ForHLR II dient neben dem ForHLR I der Rechenzeitversorgung von Forschungsvorhaben, deren Rechenbedarf paralleles Rechnen mit drei- bis vierstelligen Prozessorzahlen erfordert.

 

 

 

Konfiguration des ForHLR II

Der Forschungshochleistungsrechner ForHLR II beinhaltet

  • 5 Login-Knoten mit jeweils 20 Cores mit 256 GB Hauptspeicher pro Knoten,
  • 1152 "dünne" Rechenknoten mit jeweils 20 Cores mit einer theoretischen Spitzenleistung von 832 GFLOPS (bei 2,6 GHz) und 64 GB Hauptspeicher pro Knoten,
  • 21 "fette" Renderingknoten mit jeweils 48 Cores mit 4 NVIDIA GeForce GTX980 Ti Grafikkarten pro Knoten und 1 TB Hauptspeicher pro Knoten
  • und als Verbindungsnetzwerk ein InfiniBand 4X EDR Interconnect.

 

 

 

 

Der ForHLR II ist ein massiv paralleler Parallelrechner mit insgesamt 1186 Knoten, wovon 8 Knoten Service-Knoten sind. Dabei sind die Fileserver-Knoten nicht mitgezählt. Alle Knoten - bis auf die "fetten" Renderingknoten - haben eine Grundtaktfrequenz von 2,6 GHz (max. 3,3 GHz). Die Renderingknoten haben eine Grundtaktfrequenz von 2,1 GHz (max. 2,7 GHz). Alle Knoten besitzen lokalen Speicher, lokale Platten und Netzwerkadapter. Ein einzelner "dünner" Rechenknoten hat eine theoretische Spitzenleistung von 832 GFLOPS, ein einzelner "fetter" Renderingknoten hat eine theoretische Spitzenleistung von 1613 GFLOPS (jeweils bei Grundtaktfrequenz), so dass sich für das Gesamtsystem ca. 1 PFLOPS an theoretischer Spitzenleistung ergibt. Der Hauptspeicher über alle Rechenknoten hinweg beträgt 95 TB. Alle Knoten sind durch ein InfiniBand 4X EDR Interconnect miteinander verbunden.

Das Basisbetriebssystem auf jedem Knoten ist ein Red Hat Enterprise Linux (RHEL) 7.x. Als Managementsoftware für den Cluster dient KITE; KITE ist eine offene Umgebung für den Betrieb heterogener Rechencluster.

Als globales Dateisystem wird das skalierbare, parallele Dateisystem Lustre über ein separates InfiniBand Netzwerk angebunden. Durch die Nutzung mehrerer Lustre Object Storage Target (OST) Server und Meta Data Server (MDS) wird sowohl eine hohe Skalierbarkeit als auch eine Redundanz beim Ausfall einzelner Server erreicht. Nach dem Login befinden Sie sich im HOME-Verzeichnis, das das gleiche ist wie das HOME-Verzeichnis des ForHLR I, des InstitutsCluster II, der hc3 und des bwUniCluster. In diesem Verzeichnis steht auf dem ForHLR II allerdings nur 1 GB an Plattenplatz (für Konfigurationsdateien) zur Verfügung. Sie sollten nach dem Login direkt in das über die Umgebungsvariable PROJECT ansprechbare Verzeichnis wechseln. In diesem steht Ihrem Projekt der über den Lenkungsausschuss bewilligte Plattenplatz zur Verfügung. Im WORK-Verzeichnis und in den Workspaces stehen 4,2 PB an Plattenplatz zur Verfügung. Daneben ist jeder Knoten des Clusters mit lokalen SSD's für temporäre Daten ausgestattet.

Detaillierte Kurzbeschreibung der Knoten:

  • 5 20-Wege (Login-)Knoten mit jeweils 2 Deca-Core Intel Xeon E5-2660 v3 Prozessoren mit einer Grundtaktfrequenz von 2,6 GHz (max. Turbo-Taktfrequenz 3,3 GHz), 256 GB Hauptspeicher und 480 GB lokalem SSD,
  • 1152 20-Wege (Rechen-)Knoten mit jeweils 2 Deca-Core Intel Xeon E5-2660 v3 Prozessoren (Haswell) mit einer Grundtaktfrequenz von 2,6 GHz (max. Turbo-Taktfrequenz 3,3 GHz), 64 GB Hauptspeicher und 480 GB lokalem SSD,
  • 21 48-Wege (Rendering-)Knoten mit jeweils 4 12-Core Intel Xeon E7-4830 v3 Prozessoren (Haswell) mit einer Grundttaktfrequenz von 2,1 GHz (max. Turbo-Taktfrequenz 2,7 GHz) und 4 NVIDIA GeForce GTX980 Ti Grafikkarten, 1 TB Hauptspeicher und 4x960 GB lokalem SSD und
  • 8 20-Wege Service-Knoten mit jeweils 2 Deca-Core Intel Xeon E5-2660 v3 Prozessoren mit einer Grundtaktfrequenz von 2,6 GHz und 64 GB Hauptspeicher.

Ein einzelner Deca-Core Prozessor (Haswell) hat 25 MB L3-Cache und betreibt den System Bus mit 2133 MHz, wobei jeder einzelne Core des Haswell Prozessors 64 KB L1-Cache und 256 KB L2-Cache hat.

 

Zugriff auf den ForHLR II für Projektbeteiligte

Nur sichere Verfahren wie secure shell (ssh) und die zugehörige secure copy (scp) sind erlaubt beim Einloggen bzw. beim Kopieren von Daten von und zum ForHLR II. Die Mechanismen telnet, rsh sowie weitere r-Kommandos sind aus Sicherheitsgründen abgeschaltet. Um sich auf dem ForHLR II einzuloggen, sollte das folgende Kommando benutzt werden:

ssh kit-account@forhlr2.scc.kit.edu  bzw. ssh kit-account@fh2.scc.kit.edu

Um als Projektbeteiligte(r) eine Zugangsberechtigung für den ForHLR II zu erhalten, muss das entsprechende Zugangsformular, das über die Webseite http://www.scc.kit.edu/hotline/formulare.php erreichbar ist, ausgefüllt, vom Projektmanager unterschrieben und an den ServiceDesk geschickt werden.

 

Wichtige Informationen für die Benutzung des ForHLR II

 

 

Hotline per E-Mail, Telefon und Ticketsystem