Home | Sitemap  | Impressum | KIT

bwUniCluster

 

 

Das SCC hat am 27.1.2014 im Rahmen des baden-württembergischen Umsetzungskonzepts für Hochleistungsrechnen, bwHPC, unter der Bezeichnung „bwUniCluster“ einen Parallelrechner als Landesdienst in Betrieb genommen.

Dieses HPC-System besteht aus mehr als 500 SMP-Knoten mit 64-bit Xeon Prozessoren von Intel. Der Parallelrechner dient der Grundversorgung der Universitäten des Landes Baden-Württemberg mit Rechenleistung und kann von den Mitarbeiterinnen und Mitarbeitern aller Universitäten in Baden-Württemberg unentgeltlich genutzt werden.

 

 

Die Zugangsberechtigung zu diesem System regelt jede Landesuniversität für ihre Mitarbeiter/innen selbst. KIT-Angehörige erhalten die Zugangsberechtigung durch eine separate Freischaltung ihres KIT-Accounts, die mit einem entsprechenden Formular beim Service Desk beantragt wird. Das Formular kann über die ServiceDesk-Webseite heruntergeladen werden. Weitere Details über Registrierung und Zugang zu diesem Landesdienst sind unter http://www.bwhpc-c5.de/wiki/index.php/bwUniCluster_User_Guide verfügbar.

Konfiguration des bwUniCluster

Der bwUniCluster beinhaltet

  • 2 Login-Knoten mit jeweils 16 Cores mit einer theoretische Spitzenleistung von 332,8 GFLOPS und 64 GB Hauptspeicher pro Knoten,
  • 512 "dünne" Rechenknoten mit jeweils 16 Cores mit einer theoretische Spitzenleistung von 332,8 GFLOPS und 64 GB Hauptspeicher pro Knoten,
  • 8 "fette" Rechenknoten mit jeweils 32 Cores mit einer theoretische Spitzenleistung von 614,4 GFLOPS und 1 TB Hauptspeicher pro Knoten
  • und als Verbindungsnetzwerk ein InfiniBand 4X FDR Interconnect.

 

 

Der bwUniCluster ist ein massiv paralleler Parallelrechner mit insgesamt 532 Knoten, wobei 10 Knoten davon Service-Knoten sind. Dabei sind die Fileserver-Knoten nicht mitgezählt. Alle Knoten - bis auf die "fetten" Knoten - haben eine Taktfrequenz von 2,6 GHz. Die "fetten" Knoten haben eine Taktfrequenz von 2,4 GHz. Alle Knoten besitzen lokalen Speicher, lokale Platten und Netzwerkadapter. Ein einzelner Rechenknoten hat eine theoretische Spitzenleistung von 332,8 bzw. 614,4 GFLOPS, so dass sich eine theoretische Spitzenleistung von 176,0 TFLOPS für das gesamte System ergibt. Der Hauptspeicher über alle Rechenknoten hinweg beträgt 41,1 TB. Alle Knoten sind durch ein InfiniBand 4X FDR Interconnect miteinander verbunden.

Das Basisbetriebssystem auf jedem Knoten ist ein Ret Hat Enterprise Linux (RHEL) 6.x. Als Managementsoftware für den Cluster dient KITE; KITE ist eine offene Umgebung für den Betrieb heterogener Rechencluster.

Als globales Dateisystem wird das skalierbare, parallele Dateisystem Lustre über ein separates InfiniBand Netzwerk angebunden. Durch die Nutzung mehrerer Lustre Object Storage Target (OST) Server und Meta Data Server (MDS) wird sowohl eine hohe Skalierbarkeit als auch eine Redundanz beim Ausfall einzelner Server erreicht. Im HOME-Verzeichnis, das das gleiche ist wie das HOME-Verzeichnis des InstitutsClusterII und der hc3, stehen ca. 469 TB an Plattenplatz zur Verfügung. Im WORK-Verzeichnis stehen ca. 224 TB an Plattenplatz zur Verfügung. Daneben ist jeder Knoten des Clusters mit lokalen Platten für temporäre Daten ausgestattet.

Detaillierte Kurzbeschreibung der Knoten:

  • 2 16-Wege (Login-)Knoten mit jeweils 2 Octa-Core Intel Xeon E5-2670 Prozessoren mit einer Taktfrequenz von 2,6 GHz, 64 GB Hauptspeicher und 4 TB lokalem Plattenplatz,
  • 512 16-Wege (Rechen-)Knoten mit jeweils 2 Octa-Core Intel Xeon E5-2670 Prozessoren (Sandy Bridge) mit einer Taktfrequenz von 2,6 GHz, 64 GB Hauptspeicher und 2 TB lokalem Plattenplatz,
  • 8 32-Wege (Rechen-)Knoten mit jeweils 4 Octa-Core Intel Xeon E5-4640 Prozessoren (Sandy Bridge) mit einer Taktfrequenz von 2,4 GHz, 1 TB Hauptspeicher und 7 TB lokalem Plattenplatz und
  • 10 16-Wege Service-Knoten mit jeweils 2 Octa-Core Intel Xeon E5-2670 Prozessoren mit einer Taktfrequenz von 2,6 GHz und 64 GB Hauptspeicher.

Ein einzelner Octa-Core Prozessor (Sandy Bridge) hat 20 MB L3-Cache und betreibt den System Bus mit 1600 MHz, wobei jeder einzelne Core des Sandy Bridge Prozessors 64 KB L1-Cache und 256 KB L2-Cache hat.

 

Zugriff auf den bwUniCluster für Mitarbeiter(innen) des KIT

Nur sichere Verfahren wie secure shell (ssh) und die zugehörige secure copy (scp) sind erlaubt beim Einloggen bzw. beim Kopieren von Daten von und zum bwUniCluster. Die Mechanismen telnet, rsh sowie weitere r-Kommandos sind aus Sicherheitsgründen abgeschaltet. Um sich auf dem bwUniCluster (uc1) einzuloggen, sollte das folgende Kommando benutzt werden:

ssh kit-account@bwunicluster.scc.kit.edu  (oder auch  ssh kit-account@uc1.scc.kit.edu)

Um sich auf dem bwUniCluster einzuloggen, benötigen Sie eine Zugangsberechtigung für Ihr KIT-Account. Mitarbeiter des KIT müssen ein ausgefülltes Formular, das man auf der ServiceDesk-Webseite herunterladen kann, per Fax oder Post an den Service Desk schicken.

 

Wichtige Informationen für die Benutzung des bwUniCluster

 

Hotline per E-Mail, Telefon und Ticketsytem

  • +49 721 608-48011