Das SCC betreibt ein paralleles Rechnersystem HP XC3000, das aus vielen SMP-Knoten mit 64-bit Xeon Prozessoren von Intel besteht. Der Rechner kann und soll sowohl die Aufgaben eines parallelen Hochleistungsrechners als auch die Aufgaben eines seriellen, durchsatzorientierten Rechners erfüllen. Der Parallelrechner kann von allen Mitarbeitern des KIT als auch von akademischen und industriellen Kunden aus dem gesamten Bundesgebiet genutzt werden. Für Mitarbeiter des KIT ist die Nutzung der HP XC3000 kostenfrei.
KIT-Hochleistungsrechner HP XC3000 (hc3)
HP XC3000
Konfiguration des HP XC3000 Systems
Der KIT-Rechner HP XC3000 beinhaltet
- 2 Login-Knoten mit jeweils 8 Cores mit einer theoretische Spitzenleistung von 81,0 GFLOPS und 48 GB Hauptspeicher pro Knoten,
- 312 Rechenknoten mit jeweils 8 Cores mit einer theoretische Spitzenleistung von 81,0 GFLOPS und 24 GB Hauptspeicher pro Knoten,
- 32 Rechenknoten mit jeweils 8 Cores mit einer theoretische Spitzenleistung von 81,0 GFLOPS und 48 GB Hauptspeicher pro Knoten,
- 12 Rechenknoten mit jeweils 8 Cores mit einer theoretische Spitzenleistung von 81,0 GFLOPS und 144 GB Hauptspeicher pro Knoten
- und als Verbindungsnetzwerk ein InfiniBand 4X QDR Interconnect mit ConnectX Dual Port QDR HCAs.
Der KIT-Rechner ist ein hybrider massiv paralleler Parallelrechner mit insgesamt 366 Knoten, wobei 10 Knoten davon Service-Knoten sind. Alle Knoten - auch die Service-Knoten - haben eine Taktfrequenz von 2,53 GHz. Alle Knoten besitzen lokalen Speicher, lokale Platten und Netzwerkadapter. Ein einzelner Rechenknoten hat eine theoretische Spitzenleistung von 81,0 GFLOPS, so dass sich eine theoretische Spitzenleistung von 30,8 TFLOPS für das gesamte System ergibt. Der Hauptspeicher über alle Rechenknoten hinweg beträgt 10,8 TB. Alle Knoten sind durch ein InfiniBand 4X QDR Interconnect miteinander verbunden.
Das Basisbetriebssystem auf jedem Knoten ist HP XC Linux für "High Performance Computing"; dies ist eine zu Red Hat EL 5 Update 3 kompatible Linux Implementierung. Darüber befindet sich die parallele Softwareumgebung XC, die dem Anwender die effiziente Nutzung des Parallelrechners erlaubt.
Als globales Dateisystem wird das skalierbare, parallele Dateisystem Lustre über ein separates InfiniBand Netzwerk angebunden. Durch die Nutzung mehrerer Lustre Object Storage Target (OST) Server und Meta Data Server (MDS) wird sowohl eine hohe Skalierbarkeit als auch eine Redundanz beim Ausfall einzelner Server erreicht. Im HOME-Verzeichnis, das das gleiche ist wie das HOME-Verzeichnis des InstitusClusters, stehen ca. 76 TB an Plattenplatz zur Verfügung. Im WORK-Verzeichnis stehen ca. 203 TB an Plattenplatz zur Verfügung. Daneben ist jeder Knoten des Clusters mit lokalen Platten für temporäre Daten ausgestattet.
Detaillierte Kurzbeschreibung der Knoten und des Verbindungsnetzwerks:
10 Service-Knoten Proliant DL170h mit 2 acht-Wege (Login-)Knoten mit jeweils 2 Quad-Core Intel Xeon E5540 mit einer Taktfrequenz von 2,53 GHz, 48 GB Hauptspeicher und 6 146 GB großen lokalen SAS-Platten, 2 acht-Wege (Head-)Knoten mit jeweils 2 Quad-Core Intel Xeon E5540 mit einer Taktfrequenz von 2,53 GHz, 24 GB Hauptspeicher und 6 300 GB großen lokalen SAS-Platten, 2 acht-Wege (NAT-)Knoten mit jeweils 2 Quad-Core Intel Xeon E5540 mit einer Taktfrequenz von 2,53 GHz, 24 GB Hauptspeicher und 2 250 GB großen lokalen SATA-Platten und 4 acht-Wege ("Resource Management"-)Knoten mit jeweils 2 Quad-Core Intel Xeon E5540 mit einer Taktfrequenz von 2,53 GHz, 24 GB Hauptspeicher und 2 250 GB großen lokalen SATA-Platten;
312 8-Wege (Rechen-)Knoten mit jeweils 2 Quad-Core Intel Xeon E5540 mit einer Taktfrequenz von 2,53 GHz, 24 GB Hauptspeicher und einer 250 GB großen lokalen SATA-Platte;
32 8-Wege (Rechen)-Knoten mit jeweils 2 Quad-Core Intel Xeon E5540 mit einer Taktfrequenz von 2,53 GHz, 48 GB Hauptspeicher und einer 250 GB großen lokalen SATA-Platte;
12 8-Wege (Rechen)-Knoten mit jeweils 2 Quad-Core Intel Xeon E5540 mit einer Taktfrequenz von 2,53 GHz, 144 GB Hauptspeicher und 8 146 GB großen lokalen SAS-Platten.
Ein einzelner Quad-Core Prozessor hat 4x256 KB L2-Cache und 8 MB "shared" L3-Cache, bietet einen Durchsatz von 5,86 GT/s über die QPI-Links, wobei die Speichermodule mit einer Frequenz von 1333 MHz direkt angebunden sind.
Als Verbindungsnetzwerk dient ein InfiniBand 4X QDR Switch (2x324 Ports) von Voltaire mit einer Gesamtdurchsatzrate von 342 x 40 Gb/s = 13,7 Tb/s. Als Adapter werden ConnectX IB HCAs (Dual Port QDR, PCIe2.0x8 mit 5GT/s) eingesetzt.
Zugriff auf die HP XC3000
Nur sichere Verfahren wie secure shell (ssh) und die zugehörige secure copy (scp) sind erlaubt beim Einloggen bzw. beim Kopieren von Daten von und zur HP XC3000. Die Mechanismen telnet, rsh sowie weitere r-Kommandos sind aus Sicherheitsgründen abgeschaltet. Um sich auf der HP XC3000 (hc3) einzuloggen, sollte das folgende Kommando benutzt werden:
Um sich auf der HP XC3000 einzuloggen, benötigt man ein Account. Mitarbeiter des KIT müssen ein ausgefülltes Formular, das man auf der Webseite http://www.scc.kit.edu/hotline/3268.php herunterladen kann, per Fax oder Post an den Service Desk schicken. Sollten Sie bereits ein Account für SCC-Rechner wie z.B. HP XC6000, InstitutsCluster oder auch rzlx1 haben, können Sie sich nach der Freischaltung der HP XC3000 mit Accountname und dem auf den angegebenen Rechnern gültigen Passwort einloggen. Ansonsten ändern Sie bitte das vom Service Desk erhaltene Passwort vor dem ersten Einloggen über die Webseite:
https://www.rz.uni-karlsruhe.de/cgi-bin/bvpasswd
Wichtige Informationen für die Benutzung der HP XC3000
- HP XC3000: Brief Information for new Users
Kurze Einführung zum Zugriff auf die HP XC3000 am KIT. - HP XC3000 User Guide
Hotline per Email und Telefon
mailto:hc-hotline@lists.uni-karlsruhe.de
+49 721 608-48011
