GridKa Technischer Überblick
High-Throughput-Rechenfarm
Die GridKa-Rechenfarm besteht aus etwa 250 Rechenknoten (2024). Der Aufbau ist für unabhängige Hochdurchsatzaufgaben optimiert, die in der Hochenergie- und Astroteilchenphysik üblich sind und keine Verbindungen mit geringer Latenz zwischen den Rechenknoten erfordern. GPUs sind für F&E- und Produktionsaufgaben verfügbar. Die HTCondor-Batch-Systeme verwalten ~48000 logische CPU-Kerne und 56 GPUs (2024).
Online-Speicher
Um als Datendrehscheibe für das weltweite LHC Computing Grid zu dienen, betreibt GridKa eine große softwaredefinierte Online-Speicherinstallation. Basierend auf IBM Spectrum Scale™ mit einem internen Infiniband-Netzwerk ist der GridKa-Online-Speicher in Bezug auf Kapazität und Leistung hoch skalierbar. Der Zugriff erfolgt über die Middlewares dCache und xrootd. Im Jahr 2024 stehen den Nutzenden ~68PB mit einem Gesamtdurchsatz von mehr als 200GB/s zur Verfügung.
Offline-Speicher
Das GridKa Offline Storage System bietet die Kapazität für eine effiziente Langzeitspeicherung der Rohdaten der Experimente. In 2024 werden mehr als 140 PB Kapazität für die vier LHC-Experimente und Belle II bereitgestellt. Die aktuell noch eingesetzte Oracle SL8500-Bibliothek mit T10KD-Laufwerken gemanged von IBM Spectrum ProtectTM wird durch eine Spectra Logic TFinity®-Bibliothek mit IBM TS1160-Laufwerken ersetzt werden wobei gleichzeitig die Softwareschicht zu High Performance Storage System (HPSS) gewechselt wird.
Netzwerk
Wide-Area-Network-Verbindungen mit hoher Bandbreite sind unerlässlich, um Daten direkt vom CERN zu empfangen und Daten von und zu anderen WLCG-Zentren auf der ganzen Welt zu übertragen. Zwei 100-Gbit/s-Verbindungen zum CERN und zwei 100-Gbit/s-Verbindungen zum Internet ermöglichen es GridKa, die erwarteten Datenraten während des LHC-Run 3 zu bewältigen. Somit ist GridKa mit insgesamt 400Gbit/s an die Außenwelt angebunden (2024).
Das interne Netzwerk-Backbone verbindet das Online-Speichersystem, die Verwaltungsserver und die Rechenknoten.