Schnelles Laden von CSVs durch Einsatz von GPUs – TUB- und DFKI-Paper bei der BTW 2021 angenommen

Ein Paper zum beschleunigten Laden von CSV-Daten durch Einsatz von GPUs und RDMA von Forschern der Gruppe Datenbanksysteme und Informationsmanagement (DIMA) an der TU Berlin und des Forschungsbereichs Intelligente Analytik für Massendaten (IAM) am DFKI wurde auf der 19. Fachtagung "Datenbanksysteme für Business, Technologie und Web" (BTW 2021) angenommen, die von 20. – 24. September 2021 stattfinden wird.

In ihrem Paper „Fast CSV Loading Using GPUs and RDMA for In-Memory Data Processing“ entwickeln Alexander Kumaigorodski, Clemens Lutz und Volker Markl einen neuen CSV-Parsing-Ansatz, der komplexe Steuerflüsse rationalisiert und kontextsensitive CSV-Funktionen korrekt behandelt. Durch Auslagerung von E/A und Parsing auf die GPU ermöglicht ihr Ansatz Datenbanken das Laden von CSVs mit hohem Durchsatz aus dem Hauptspeicher mit NVLink 2.0 sowie direkt aus dem Netzwerk mit RDMA.

Eine Preprint-Version des Papers ist hier verfügbar.

Beitrag teilen auf:

Kontakt

Reinhard Karger M.A.
Unternehmenssprecher DFKI

Tel.: +49 681 85775 5253


Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)
Saarland Informatics Campus
Stuhlsatzenhausweg 3
66123 Saarbrücken
Deutschland

Deutsches Forschungszentrum für Künstliche Intelligenz
German Research Center for Artificial Intelligence