Big Data Tools

  • type: Seminar (S)
  • semester: WS 15/16
  • time: 19.10.2015
    15:45 - 17:15 wöchentlich
    Raum 314 (Geb. 20.21)


    26.10.2015
    15:45 - 17:15 wöchentlich
    Raum 314 (Geb. 20.21)

    02.11.2015
    15:45 - 17:15 wöchentlich
    Raum 314 (Geb. 20.21)

    09.11.2015
    15:45 - 17:15 wöchentlich
    Raum 314 (Geb. 20.21)

    16.11.2015
    15:45 - 17:15 wöchentlich
    Raum 314 (Geb. 20.21)

    23.11.2015
    15:45 - 17:15 wöchentlich
    Raum 314 (Geb. 20.21)

    30.11.2015
    15:45 - 17:15 wöchentlich
    Raum 314 (Geb. 20.21)

    07.12.2015
    15:45 - 17:15 wöchentlich
    Raum 314 (Geb. 20.21)

    14.12.2015
    15:45 - 17:15 wöchentlich
    Raum 314 (Geb. 20.21)

    21.12.2015
    15:45 - 17:15 wöchentlich
    Raum 314 (Geb. 20.21)

    11.01.2016
    15:45 - 17:15 wöchentlich
    Raum 314 (Geb. 20.21)

    18.01.2016
    15:45 - 17:15 wöchentlich
    Raum 314 (Geb. 20.21)

    25.01.2016
    15:45 - 17:15 wöchentlich
    Raum 314 (Geb. 20.21)

    01.02.2016
    15:45 - 17:15 wöchentlich
    Raum 314 (Geb. 20.21)

    08.02.2016
    15:45 - 17:15 wöchentlich
    Raum 314 (Geb. 20.21)


  • lecturer: Ugur Cayoglu
    Prof. Dr. Achim Streit
  • sws: 2
  • lv-no.: 2400031
links
BemerkungenZu Beginn der Veranstaltung (d.h. nach Vorlesungsbegnn) werden die Themen vergeben. Eine vorherige Reservierung ist nicht möglich.
BeschreibungAlle reden von „Big Data“. Tatsächlich könnte das explosionsartige Wachstum großer Datenmengen das nächste große Phänomen seit der Erfindung des Internets sein. In der heutigen Zeit kann jeder von überall auf Informationen zugreifen und diese verarbeiten. Dabei produziert jeder von uns zusätzlich eine Vielzahl digitaler Daten wie Videos, Audio, Fotos, etc. Alleine auf YouTube werden jede Minute ca. 48 Stunden Videomaterial hochgeladen. Auch als Nutzer dieser digitalen Produkte stellen wir erhebliche Anforderungen an diese Plattformen: Wir setzen die Verfügbarkeit der Daten, schnelle und effiziente Analysen sowie eine schnelle Suche in großen Datenmengen voraus.

Der Begriff Big Data wird dabei durch die sogenannten fünf „V“s geprägt. Jedes dieser „V“s drückt einen entscheidenden Aspekt großer Datenmengen aus, welche die heutige Infrastruktur an ihre Grenzen bringt:
  • Volume: Das Speichern, Verteilen und Analysieren von Petabyte- oder sogar Zettabyteweise Daten
  • Variety: Das Verarbeiten einer Vielzahl unstrukturierter Daten unterschiedlichster Datenformate
  • Velocity: Der dramatische Anstieg der erzeugten Datenmenge
  • Veracity: Das Verarbeiten unbestimmter oder unpräziser Daten, z. B. Daten sozialer Medien
  • Value: Auch kleine Datenbestände können wertvoll sein und müssen z.B. archiviert werden, weil sie ggf. einmalig sind

Die Herausforderungen, welche im Umfeld von Big Data entstehen, bieten die besten Möglichkeiten für Einzelpersonen, Forschungseinrichtungen sowie Unternehmen der Technologiebranche, sich zu engagieren, Lösungen zu entwickeln und die Welt zu verändern.

Im Seminar „Big Data Tools“ werden effiziente Methoden und Werkzeuge vorgestellt und diskutiert, die für den Umgang mit großen Datenmengen notwendig sind. Zu diesen gehören voraussichtlich:

  1. Analyse großer Datenmengen des Experimentes ALICE vom LHC
  2. Auswirkungen direkt adressierbarer Massenspeicher auf das Datenbankdesign
  3. Ceph: ein durch Software definiertes Speichersystem
  4. CernVM-FS: Verteilung wissenschaftlicher Software auf global verteilte Rechnerressourcen
  5. dCache: ein hochtransparentes, fehlertolerantes Datenmanagementsystem
  6. Docker und Linux Container: Virtualisierung 2.0?
  7. Dspace: Erfassung, Speicherung und Weiterverbreitung von digitalen Ressourcen
  8. Graphpartitionierung
  9. MapReduce: Programmiermodell für die Datenverarbeitung in großen Clustern
  10. MongoDB: dokumentenbasierte NoSQL Datenbanken
  11. Objektbasierte Speicher
  12. Parallele Dateisysteme
  13. Verteilter Datenzugriff mit niedrigen Latenzzeiten mit xrootd

Bei Bedarf, können die Vorträge und Diskussionen auch in Englisch abgehalten werden.

Die endgültige Themenliste wird zu Beginn des Seminars vorgestellt.