Projekt

SAGE

Percipient Storage für Exascale Data-Centric Computing

Percipient Storage für Exascale Data-Centric Computing

Das weltweite Datenvolumen wächst stark an, wodurch Lösungen, die Speicherung und Verarbeitung von Daten trennen, nicht skalierbar sind. Experimente und Simulationen in wissenschaftlichen Forschungsgebieten wie Physik, Weltraumforschung, Meteorologie, Genetik oder Biologie generieren immer größere Datensätze. Diese reichen bis in den Exabyte-Bereich (Milliarden Gigabyte), sodass für die Forschung auf diesen Gebieten neuartige Verfahren für die Speicherung, Verarbeitung und Analyse von Daten entwickelt werden müssen.

  • Laufzeit:

Das weltweite Datenvolumen wächst stark an, wodurch Lösungen, die Speicherung und Verarbeitung von Daten trennen, nicht skalierbar sind. Experimente und Simulationen in wissenschaftlichen Forschungsgebieten wie Physik, Weltraumforschung, Meteorologie, Genetik oder Biologie generieren immer größere Datensätze. Diese reichen bis in den Exabyte-Bereich (Milliarden Gigabyte), sodass für die Forschung auf diesen Gebieten neuartige Verfahren für die Speicherung, Verarbeitung und Analyse von Daten entwickelt werden müssen.

Das Projekt SAGE beabsichtigt eine fortschrittliche, objektbasierte Speicherlösung, die den Anwendungen einen In- und Output im Exascale-Bereich ermöglicht. Die Lösung wird in der Lage sein, Datenberechnungen von jeder Hierarchieebene aus durchzuführen. Die SAGE-Architektur begegnet den Anforderungen, Datenbewegungen zu reduzieren um Energieeffizienz zu erhöhen, ebenso wie dem Technologietrend nichtflüchtiger Memory-Technologien.

Das DFKI wird gemeinsam mit den europäischen Partnern Allinea, Bull, CCFE, CEA, Diamond Light Source, FSZ Jülich, KTH, und STFC und unter der Leitung von Seagate, im Projekt SAGE den Anforderungen der rechnergestützten Wissenschaften im Exascale-Bereich begegnen. Im Rahmen des Förderprogramms Horizon 2020 steht die Entwicklung einer exascale-fähigen Datenspeicherplattform als Fundament für neuartige Big-Data- und Forschungsdatenverarbeitung sowie Analysesoftware im Zentrum des Vorhabens der Konsortialpartner.

Das DFKI wird in diesem Projekt die Datenanalyseplattform Flink in die SAGE Plattform integrieren. Apache Flink wird von der Leistung sowie den Funktionalitäten der Speicherplattform profitieren und seine Analysefähigkeiten werden auf das Exascale-Niveau gehoben.

The project has received funding from the European Union’s Horizon2020 Research & Innovation Programme under grant agreement 671500.

Partner

Seagate, Allinea, Bull, CCFE, CEA, Diamond Light Source, FSZ Jülich, KTH, STFC

Projektbilder

Publikationen zum Projekt

Viktor Rosenfeld, Volker Markl

In: Michael Böhlen , Reinhard Pichler , Norman May , Erhard Rahm , Shan-Hung Wu , Katja Hose (Hrsg.). Advances in Database Technology — EDBT 2018. International Conference on Extending Database Technology (EDBT-2018) 21th International Conference on Extending Database Technology March 26-29 Vienna Austria Seiten 489-492 ISBN 978-3-89318-078-3 OpenProceedings Konstanz, Germany 2018.

Zur Publikation
Steffen Zeuch, Clemens Lutz, Volker Markl

In: Proceedings of the 14th International Workshop on Data Management on New Hardware. International Workshop on Data Management on New Hardware (DaMoN-2018) 14th befindet sich ACM SIGMOD International Conference on Management of Data June 10-15 Houston TX United States ISBN 978-1-4503-5853-8/18/06 ACM New York, NY, USA 2018.

Zur Publikation
Clemens Lutz, Steffen Zeuch, Volker Markl

In: Theo Härder , Ralf Schenkel (Hrsg.). Datenbank-Spektrum Schwerpunktbeitrag 13222 Seiten 1-13 Springer 2018.

Zur Publikation

Deutsches Forschungszentrum für Künstliche Intelligenz
German Research Center for Artificial Intelligence