Datennetz im Vergleich zu anderen Datenverwaltungsoptionen

May 01, 2023

Getty Images

Organisationen, die einen größeren Nutzen aus Daten ziehen möchten, haben viele Strategien zur Auswahl. Stellen Sie sicher, dass Sie die Optionen und ihre jeweiligen Einschränkungen verstehen, um die richtige Datenarchitektur auszuwählen.

Unternehmen sollten beim Kauf von Tools den Datenbedarf und die Datenstrategie nicht außer Acht lassen. Wenn sie dies tun, könnten sie suboptimale Technologieentscheidungen treffen und Datenverwaltung, Sicherheit und Datenschutz unterschätzen, sagte Srujan Akula, CEO von The Modern Data Company, einem Anbieter eines Datenbetriebssystems.

„Fachkräfte sollten der Kommunikation Priorität einräumen, Stakeholder einbeziehen und ein umfassendes Verständnis der Ziele und Anforderungen ihrer Organisation sicherstellen, bevor sie eine Datenarchitekturlösung implementieren“, sagte Akula. Darüber hinaus sind die Schulung des Personals und die Entwicklung von Fähigkeiten entscheidende Bestandteile der Technologieeinführung.

Data Mesh ist das neueste Kapitel in der Entwicklung von Datenarchitekturen. Datenanalysearchitekturen begannen mit Data Warehouses, bevor sie sich zu Data Lakes entwickelten. Data Mesh ist die dritte Version, die Unternehmen in Betracht ziehen sollten.

„Data Mesh erfüllt sowohl die Anforderungen der Größe und Vielfalt der Daten als auch die Geschwindigkeit, mit der Erkenntnisse aus diesen Systemen gewonnen werden können“, sagte Ravi Mayuram, CTO des Open-Source-NoSQL-Datenbankunternehmens Couchbase.

In diesem Artikel wird untersucht, was Data Mesh ist und wie es sich von anderen gängigen Ansätzen unterscheidet, einschließlich Data Warehouses, Data Lakes und Data Fabrics. Es bietet außerdem praktische Ratschläge für Organisationen, die einen Data-Mesh-Ansatz implementieren.

Data Mesh befasst sich mit den Herausforderungen der Skalierung von Daten und Analysen in komplexen Organisationen. Data Mesh ist eine dezentrale Datenarchitektur, die Daten nach Domänen organisiert und überwiegend auf Menschen und Prozesse ausgerichtet ist. Zhamak Dehghani, CEO von Nextdata, entwickelte das Konzept während ihrer Zeit bei der Technologieberatung Thoughtworks.

Es hat vier Grundprinzipien:

Dieser Ansatz kontrastiert Data Mesh mit zentralisierten Datenteams und -strukturen. Diese zentralisierten Teams versuchen, alle Probleme zu lösen, sagte Lior Gavish, CTO des Datenobservability-Lösungsanbieters Monte Carlo Data. Data Mesh soll Unternehmen dabei helfen, Datenteams zu skalieren. „Wie können wir vielen verschiedenen Teams ermöglichen, Daten effektiv und unabhängig voneinander zu nutzen?“ sagte Gavish.

Ein Data Warehouse ist in der Regel monolithisch und lädt Daten in eine einzige Umgebung und fungiert als Datenspeicher, der Analysen und Entscheidungsfindung unterstützt. Ein Datennetz ermöglicht eine verteilte Umgebung, in der Daten nicht verschoben werden müssen, um geschäftlichen Nutzen zu liefern. Ein Data Warehouse und ein Data Mesh schließen sich nicht gegenseitig aus, da ein Data Warehouse Teil eines Data Mesh sein kann.

Die Philosophie hinter einem Data Warehouse besteht darin, eine einzige Version der Wahrheit zu erstellen und diese unter der Kontrolle der IT zu zentralisieren. Das Data Warehouse ist die Datenplattform; Hier speichern und erstellen Benutzer Datenprodukte.

„Data Mesh konzentriert sich eher auf eine organisatorische Denkweise, die Daten als erstklassige Produkte im Besitz einzelner Domänen behandelt“, sagte Dipankar Mazumdar, Entwicklerbefürworter bei Dremio, einem Anbieter von Open-Data-Lake-Lösungen.

Der Data-Warehouse-Ansatz hat Nachteile.

„Monolithische Daten treiben komplexe Change-Management-Prozesse voran [und] führen zu langen Einarbeitungszeiten für neue Techniker“, sagte Jon Osborn, Field CTO beim Datenpipeline-Automatisierungsunternehmen Ascend.io. „[Es] führt auch zu einem nie endenden technischen Rückstand mit Anfragen, die selbst bearbeitet werden sollten.“

Wie ein Data Warehouse zentralisiert ein Data Lake die Datenspeicherung und -verarbeitung, obwohl ein Data Lake sowohl strukturierte als auch unstrukturierte Daten hauptsächlich im Datei- oder Objektspeicher speichern kann. Auch es kann Teil eines Datennetzes werden.

„Das Data-Mesh-Konzept basiert auf einer Mesh-Schicht, die operative Datenquellen und domänenspezifische Data Lakes miteinander verknüpft“, sagte Mayuram.

Grundsätzlich muss ein Datenverantwortlicher bei der Bewertung des Data-Lake- oder Mesh-Ansatzes oder einer Kombination aus beidem verstehen, ob die Architekturen zur Verwaltung verteilter Daten für sein Unternehmen geeignet sind. Große Organisationen mit komplexen Architekturen können unter Datensilos und Zugänglichkeitsproblemen leiden. Dies macht die Integration von Daten aus verschiedenen Quellen entmutigend, sagte Bob Audet, Partner und Leiter für Datenmanagement bei Guidehouse, einem Beratungs-, Digital- und Managed-Services-Unternehmen.

„Datenkonsumenten und Datenkuratoren können nicht die richtigen Daten finden, was es schwierig macht, der Konkurrenz einen Schritt voraus zu sein und mit den sich schnell ändernden Geschäftsanforderungen Schritt zu halten“, sagte Audet.

Das Ziel einer Datenstruktur besteht darin, unterschiedliche Quellen zu integrieren und eine zentrale, ganzheitliche Sicht auf die Datenbestände einer Organisation bereitzustellen. Dies steht im Gegensatz zum Fokus von Data Mesh auf dezentralem Dateneigentum und dezentraler Datenarchitektur. Beide zielen darauf ab, verschiedene Anwendungsfälle für die Daten im Unternehmen zu unterstützen.

„Jede Domäne oder Geschäftseinheit verfügt über eigene Datenprodukte, die lokal verwaltet und gesteuert werden“, beschrieb Mazumdar das Datennetz. „Das bedeutet, dass Daten als Produkt behandelt werden und dass Domänenteams für die Qualität, Governance und den Lebenszyklus ihrer eigenen Datenprodukte verantwortlich sind.“

Der Data-Fabric-Ansatz zur Datenverwaltung schafft eine einheitliche, integrierte Sicht auf Daten im gesamten Unternehmen. Es basiert auf der Idee, dass Daten leicht zugänglich und auffindbar sein und so organisiert sein sollten, dass sie leicht kombiniert und analysiert werden können. Data Fabric wird typischerweise über eine Kombination von Technologien implementiert.

„Data Fabric … [ist] der erste Technologiestrang, der wirklich mit der Desilosierung von Anwendungsdaten beginnt – ein Fortschritt, der lange erwartet wurde“, sagte Sylvie Veilleux, Mitglied des Beirats der gemeinnützigen Data Collaboration Alliance und ehemalige CIO von Dropbox . „Das moderne Datenökosystem ist unglaublich komplex und verbindet jede Art von Pipeline, von Datenbanken bis hin zu Data Lakes.“

Data Fabric nutzt eine Architektur, um eine Verbindung zwischen den Daten und Metadaten herzustellen, die in Organisationssilos vorhanden sind, sagte Veilleux. Bei Data Fabric steuern berechtigungsbasierte Systeme den Zugriff auf Daten, während bei Data Mesh funktionale Eigentümer die Daten und deren Zugriff steuern. Dies bedeutet, dass keine Genehmigung einer zentralen Kontrollbehörde erforderlich ist.

Dies sei „ein entscheidender Schritt zur Beendigung der uralten Praxis, endlose Kopien selbst sensibler Daten anzufertigen“, sagte Veilleux.

Es gibt keine einzige perfekte Datennetzimplementierung. Laut Osborn können Organisationen bereits von einfachen oder teilweisen Implementierungen profitieren.

„Eine funktionierende Mesh-Strategie wird zugänglichere Daten erzeugen und es mehr Fingern auf Tastaturen ermöglichen, die Daten zu nutzen“, sagte Osborn. „Analysten, Datenwissenschaftler, Berichtsersteller und möglicherweise auch Geschäftsleute können teilnehmen. Planen Sie es ein.“

Allen Datenstrategien liegen zugrundeliegende Annahmen zugrunde, die wahr sein müssen, damit sie wie beabsichtigt funktionieren. Um vermeidbare Fehler zu vermeiden, müssen Unternehmen diese Annahmen verstehen. Laut Osborn lauten die drei Kernannahmen des Datennetzes wie folgt:

Teil von: Ist Data Mesh die richtige Wahl?

Data Mesh verfolgt einen dezentralen Ansatz für die Datenverwaltung und die Wertschöpfung aus Daten. Es weist Ähnlichkeiten mit Data Warehouses, Lakes und Fabrics auf, unterscheidet sich jedoch in der Philosophie.

Data Mesh kann die Datenqualität und Erkenntnisse eines Unternehmens verbessern, aber erhebliche Herausforderungen können es schwierig machen, diese Vorteile zu erreichen.

Echtzeitanalysen ermöglichen eine schnellere Entscheidungsfindung und Erkenntnisse. Da die Demokratisierung von Daten immer wichtiger wird, trägt Data Mesh dazu bei, diese Daten für alle Benutzer zu dezentralisieren.