Chamerstrasse 44, 6331 Hünenberg
+41 41 511 10 10

Data Lake

Mit einem Data Lake resp. Data Warehouse verfügen Sie über eine globale Sicht auf Ihre Daten, was essentiell für Analysen und strategische Entscheidungen ist.

Ein unternehmensweiter Data Lake ist eine grundsätzliche Voraussetzung für analytisches CRM.

Ein Data Lake sollte auf einer offenen Plattform aufgebaut sein, sodass mit verschiedenen Tools für Reporting, Marketing Automation oder Data Science darauf zugegriffen werden kann.

datalake

Die Datenaktualisierung in einem klassischen Data Warehouse geschieht bei vielen Unternehmen einmal täglich, normalerweise in der Nacht. Durch neue Anforderungen (Online) und neue Technologien ist zu erwarten, dass sich eine Realtime- oder zumindest Near-Realtime-Aktualisierung immer mehr durchsetzen wird.

Im Data Lake gewinnen auch nicht strukturierte Daten (Texte, Bilder, Sound, Videos, etc.) immer mehr an Bedeutung. Ausserdem werden zunehmend mehr Daten abgespeichert, z.B. zum Online-Kundenverhalten. Internetkonzerne wie Google sind damit schon länger konfrontiert und haben entsprechende Technologien entwickelt, die nun auch für andere Unternehmen nutzbar werden (Hadoop-Technologie).

Data Lake im Unterschied zu Data Warehouse

Der grundlegende Unterschied zwischen Data Lake und Data Warehouse ist die Form der Daten, die gespeichert werden. Während die Daten im Data Warehouse ausschliesslich strukturiert bzw. in fixen Tabellenstrukturen gespeichert werden, werden in einem Data Lake auch unstrukturierte Daten (z.B. Textdateien) oder semi-strukturierte Files (z.B. JSON-Files) abgelegt.

Bevor die Daten aus unterschiedlichen Quellen in einem Data Warehouse gespeichert werden können, müssen sie deshalb vorab über einen ETL-Prozess (= Extract, Transform and Load) in die vorgegebene Struktur transformiertwerden. Die Daten können dann direkt für Analysen etc. verwendet werden.

Diese Transformation vor der Speicherung fällt beim Data Lake weg. Hier werden die Daten erst dann in eine strukturierte Form gebracht, wenn die Daten für Analysen oder Kampagnen benötigt werden. Die Transformation wird z.B. mittels Hadoop vorgenommen, ein auf Java basierendes Framework zur Verarbeitung von grossen und unstrukturierten Datenmengen.

Weil die Daten im Data Lake erst bei Verwendung bearbeitet werden (schema on read), ergeben sich gegenüber dem Data Warehouse (schema on write) inbesondere Zeit- und Kostenvorteile. Sie müssen sich nicht vorab auf eine konkrete Struktur bzw. Tabellenlandschaft festlegen und die Daten stehen im Data Lake rascher zur Verfügung. Sie müssen zudem nur jene Daten transformieren, die Sie für die weitere Verwendung benötigen. Sie laufen auch nicht Gefahr, Daten zu verlieren, die nicht in eine vorgegebene Struktur passen. Ausserdem können Sie die Daten mit sehr vielen sehr unterschiedlichen Tools weiterverarbeiten, da keine Struktur die Toolauswahl einschränkt.

Der richtige Aufbau eines Data Lakes oder eines Data Warehouses ist für effiziente Datenverarbeitung, korrekte Analysen und richtige Entscheidungen essentiell. Mit unserer langjährigen Erfahrung unterstützen und beraten wir Sie dabei gerne.

Daten migrieren

Datenmigrationen werden normalerweise beim Ersetzen, Zusammenführen oder Aufteilen von Systemen durchgeführt. Oft werden Daten bei einer Migration nicht vollständig in ein neues System übernommen oder die Datenstruktur ist so unterschiedlich, dass sich eine Datenmigration als schwierig erweist.

Im analytischen CRM ist eine vollständige Datenhistorie der Kunden von grosser Wichtigkeit. Auch nach einer Datenmigration soll die vollständige 360-Grad-Kundensicht erhalten bleiben. Eine vollständige Historie hilft bei der Reaktivierung Ihrer Kunden und führt zu besseren Analysen und Modellen. Deswegen sind Datenmigrationen ein wichtiges Thema im Datenmanagement. Mit Hilfe eines Data Lakes können Datenmigrationen unter Beibehaltung der Datenhistorie vereinfacht werden.

Jetzt Kontakt aufnehmen

From Data to Marketing Excellence – wir helfen Ihnen bei allen Fragestellungen und stehen Ihnen gerne beratend zur Seite!