Fassen Sie diesen Blogbeitrag wie folgt zusammen:
Anmerkung der Redaktion: Erfahren Sie, wie Data-Mesh-Architekturen die Hindernisse für das zentrale Datenteam beseitigen und einen dezentralen Ansatz ermöglichen, der es Teams erlaubt, selbst domänenübergreifende Datenanalysen durchzuführen.
Laut Gartner liefern nur 20 % der Datenanalyseprojekte konkrete Geschäftsergebnisse. Angesichts der Tatsache, dass die aktuellen Datenarchitekturen besser auf die allgegenwärtige und zunehmend komplexe Vernetzung von Daten vorbereitet sein müssen, ist dies nicht verwunderlich. Um dieses Problem anzugehen, stellt sich in den Führungsetagen jedes Unternehmens die Frage: Wie können Unternehmen ihre Datenarchitektur so gestalten, dass sie die Dateneffizienz angesichts der wachsenden Komplexität von Daten und ihren Anwendungsfällen steigert?
Das 2018 von Zhamak Dehghani erstmals definierte Data-Mesh-Konzept ist der neueste Ansatz für Enterprise-Datenarchitekturen und zielt darauf ab, die Schwächen traditioneller Datenplattformen zu beheben. Unternehmen, die eine Datenarchitektur für ihre sich ständig ändernden Datenanwendungsfälle suchen, sollten die Data-Mesh-Architektur in Betracht ziehen, um ihre Geschäftsprozesse und Analysen zu optimieren.
Data Mesh ist ein relativ neuer Ansatz für das Datenmanagement in großen, komplexen Organisationen. Vereinfacht ausgedrückt geht es darum, Datensilos aufzubrechen und Daten dezentraler und kollaborativer zu organisieren.
Die Idee hinter Data Mesh ist, Daten als Produkt zu behandeln, dessen Besitz und Verantwortung im gesamten Unternehmen verteilt sind. Anstatt dass ein zentrales Team alle Daten des Unternehmens verwaltet, ist jedes Team bzw. jede Abteilung für die von ihr erstellten und verwendeten Daten verantwortlich.
Nehmen wir beispielsweise an, Sie arbeiten für ein großes E-Commerce-Unternehmen. Im traditionellen Ansatz gäbe es ein zentrales Datenteam, das für die Verwaltung aller Kunden-, Produkt- und Transaktionsdaten des gesamten Unternehmens zuständig wäre. Mit einem Data-Mesh-Ansatz hingegen wäre jede Abteilung für die Verwaltung der Daten ihres jeweiligen Bereichs verantwortlich.
Die Kundendienstabteilung wäre demnach für die Verwaltung der Kundendaten zuständig, das Produktteam für die Produktdaten und das Finanzteam für die Transaktionsdaten. Jedes dieser Teams würde eigene Datenprodukte erstellen, beispielsweise eine Kundendatenbank oder einen Produktkatalog, und diese anderen Teams innerhalb des Unternehmens zur Verfügung stellen.
Durch den Abbau von Datensilos und die Verteilung von Eigentum und Verantwortung soll die Verwaltung und der Austausch von Daten innerhalb der Organisation erleichtert werden, was zu besserer Zusammenarbeit, schnelleren Entscheidungen und mehr Innovation führen kann.
Sie möchten aus Daten in großem Umfang Nutzen ziehen?
Wir helfen Ihnen bei der Implementierung von Lösungen der Enterprise-Klasse für Ihre kritischen Daten, um das wahre Potenzial Ihrer Unternehmensdaten auszuschöpfen.
Nachfolgend eine Tabelle, die die Merkmale traditioneller Datenmanagementplattformen mit denen von Data-Mesh-Architekturen vergleicht.
| Traditionelle Datenverwaltungsplattformen | Daten-Mesh-Architektur |
|---|
| Ein zentrales Datenteam betreuen, das zahlreiche Domänen unterstützt. | Dienen Sie autonomen Domänenteams |
| Code, Richtlinien und Daten als eine Einheit verwalten | Code und Pipelines unabhängig verwalten |
|---|
| Benötigt separate Stacks für operative und analytische Workloads. | Bietet eine einheitliche Plattform für operative und analytische Workloads. |
|---|
| Zentralisieren Sie die Plattform für eine optimierte Steuerung. | Dezentralisierung der Plattform für optimale Skalierbarkeit |
|---|
| Bewusstsein für die Streitkräftedomäne | Domänenunabhängig bleiben |
|---|
Anstatt Daten in einem zentralen Repository zu speichern, ermöglicht die dezentrale Struktur eines Datennetzes die Datenhoheit domänenspezifischen Teams, die Daten kontrollieren, verwalten und als Produkt bereitstellen. Dies ermöglicht einen einfachen Zugriff auf Daten und deren Vernetzung im gesamten Unternehmen.
Heutzutage lassen sich die Datennutzungsfälle zahlreicher Organisationen in analytische und operative Daten unterteilen. Operative Daten stammen aus dem täglichen Betrieb der Anwendungen der Organisation. Beispielsweise fallen in einem Online-Shop Kunden-, Transaktions- und Bestandsdaten an. Diese operativen Daten werden in der Regel in Datenbanken gespeichert und von Entwicklern genutzt, um verschiedene APIs und Microservices für Geschäftsanwendungen zu erstellen .
operative vs. analytische Datenebene
Auf der anderen Seite stellen analytische Daten historische Unternehmensdaten dar, die zur Verbesserung von Geschäftsentscheidungen genutzt werden. Im E-Commerce beispielsweise beantworten analytische Daten Fragen wie „Wie viele Kunden haben dieses Produkt in den letzten Jahren bestellt?“ oder „Welche Produkte werden Kunden voraussichtlich in der Wintersaison kaufen?“. Analytische Daten werden typischerweise mithilfe von ETL-Verfahren aus verschiedenen operativen Datenbanken in zentrale Datenspeicher wie Data Warehouses und Data Lakes übertragen. Datenanalysten und -wissenschaftler nutzen sie für ihre Analyseprozesse, und Marketing- und Produktteams können auf Basis dieser Daten fundierte Entscheidungen treffen.
Ein Data-Mesh-Ansatz versteht den grundlegenden Unterschied zwischen den beiden Haupttypen von Daten und versucht, diese beiden Datentypen unter einer anderen Struktur zu verbinden – einem dezentralen Ansatz für das Datenmanagement.
Werfen Sie einen Blick auf das Angebot von Microsoft, Azure Synapse Analytics, zusammen mit Data Lake Storage Gen2 und einer SQL-Datenbank, als zentrale Komponenten für die Implementierung einer Data-Mesh-Architektur.
Ein Data-Mesh-Framework basiert auf vier Prinzipien, die die Art und Weise verändern, wie Datenanalysen im Unternehmen ermöglicht werden :
Domänengesteuerte Besitzverhältnisse und Architektur
Das wichtigste Prinzip eines Datennetzes ist die Übertragung der Datenhoheit und -verantwortung an die Fachteams. Sie sind für die Daten von Anfang bis Ende verantwortlich – von der Sicherstellung geeigneter Datenquellen und -aufnahmen über die Wartung und den Aufbau notwendiger Verarbeitungspipelines bis hin zur Bereitstellung der Daten für andere Fachteams als Produkte (mehr dazu später) mit umfassenden Qualitätsgarantien und etablierten Kontrollmechanismen. Die Fachteams können nach Abteilung, Geschäftsbereich oder ähnlichen Gruppierungen definiert werden. Bei korrekter Implementierung lassen sich neue Fachteams flexibel und umfassend integrieren, sobald Daten zu neuen Datenprodukten verknüpft werden.
Daten als Produkt
Wie bereits im ersten Prinzip angedeutet, sind Domänenteams nicht nur für die Daten und die daraus resultierenden Datenprodukte verantwortlich. Datenprodukte müssen wie jedes andere Produkt behandelt werden. Nutzer und andere Domänenteams müssen Datenprodukte finden und verwenden können. Der Domäneninhaber ist für die Pflege und Aktualisierung (oder die Außerbetriebnahme) dieser Produkte verantwortlich, um deren Genauigkeit und Qualität sicherzustellen. Wie sieht das in der Praxis aus? Stellen Sie sich ein Supply-Chain-Team vor, das ein Bestandsdatenprodukt erstellt, das Marketingmitarbeiter für die Entwicklung neuer Rabattkampagnen oder regionale Teams für die Bestellung neuer Produkte nutzen können.
Selbstbedienungsinfrastruktur
Das dritte Prinzip besteht darin, den Domänenteams diese Selbstbedienungsfunktionen so einfach wie möglich zu gestalten. Komplexe Technologien und Spezialkenntnisse sind in einem Data-Mesh-Design nicht tragfähig. Es bedarf einer gemeinsamen Plattform und eines gemeinsamen Toolsets , mit dem jedes Domänenteam seine Datenprodukte entwickeln und bereitstellen kann, ohne durch Infrastrukturressourcen oder Wartungsbeschränkungen ausgebremst zu werden.
Föderierte Regierung
Der letzte Baustein eines erfolgreichen Datennetzes ist die Governance. Eine Datennetzarchitektur darf nicht auf Kosten von Zugriffskontrollen und Datenschutz gehen. Es muss ein Gleichgewicht zwischen globalen Governance-Richtlinien und -Kontrollen bestehen, und jedes Domänenteam muss diese Richtlinien bei der Entwicklung und gemeinsamen Nutzung seiner Datenprodukte definieren und implementieren können. Diese föderierte Governance ist entscheidend für die Gewährleistung von Datenschutz und Compliance sowie für die Unterstützung der Datenermittlung im großen Maßstab.
Zusammen ermöglichen diese Prinzipien ein dezentrales, aber dennoch robustes und umfassendes Datenframework, das auf die Erzielung von Geschäftsergebnissen ausgerichtet ist. Die daraus resultierende analytische Datenarchitektur und das Betriebsmodell behandeln Daten als Produkt, das von den Teams verwaltet werden kann, die ihre Nutzungs- und Analyseanforderungen am besten kennen.
Sehen Sie sich nun einige der wesentlichen Vorteile von Data Mesh in der folgenden Abbildung an.
Die Implementierung eines Data Mesh kann den Datenzugriff und die Datenkontrolle in Ihrem Unternehmen deutlich verbessern. Um jedoch den größtmöglichen Nutzen aus dieser Technologie zu ziehen, ist es entscheidend, die Best Practices für die Implementierung zu berücksichtigen.
- Beginnen Sie mit den Geschäftsfunktionen: Identifizieren Sie zunächst die Geschäftsfunktionen und deren Datenbedarf und entwerfen Sie die Datennetzarchitektur darum herum.
- Dezentralisierung der Datenhoheit: Weisen Sie die Datenhoheit einzelnen Teams zu, die für die Datenqualität, -sicherheit und -verwaltung verantwortlich sind.
- Nutzen Sie domänengesteuertes Design: Wenden Sie die Prinzipien des domänengesteuerten Designs an, um domänenspezifische Datenprodukte zu erstellen, die von anderen Teams genutzt werden können.
- Nutzen Sie APIs für Datenprodukte: Erstellen Sie APIs für Datenprodukte, um diese leicht auffindbar und nutzbar zu machen.
- Betonen Sie die Datenqualität: Stellen Sie sicher, dass die Daten von hoher Qualität sind, indem Sie Datenqualitätsprüfungen durchführen, Datenpipelines überwachen und den Datenproduzenten Feedback geben.
- Nutzen Sie einen Datenkatalog: Implementieren Sie einen zentralen Datenkatalog, um eine einheitliche Datenquelle für die Datenfindung bereitzustellen. Implementieren Sie Datensicherheit: Implementieren Sie Datensicherheitsmaßnahmen, um sicherzustellen, dass sensible Daten vor unbefugtem Zugriff geschützt sind.
- Implementieren Sie Data Governance: Implementieren Sie Data-Governance-Praktiken, um die Einhaltung von Vorschriften und Standards sicherzustellen.
- Setzen Sie auf Cloud-native Technologien: Nutzen Sie Cloud-native Technologien, um Skalierbarkeit, Zuverlässigkeit und Agilität zu ermöglichen.
- Fördern Sie eine datengetriebene Kultur: Unterstützen Sie eine datengetriebene Kultur, in der Daten zur Entscheidungsfindung genutzt werden und Daten als wertvolles Gut betrachtet werden.
Indem Sie diese bewährten Vorgehensweisen für die Implementierung eines Data Mesh befolgen, können Sie sicherstellen, dass Ihr Unternehmen über die richtige Infrastruktur, die richtigen Ziele und die richtigen Bedürfnisse verfügt, um eine effektive Data-Mesh-Lösung zu entwickeln.
Wie können wir Sie bei Ihrer Transformation und Ihrem Wachstum unterstützen?
Unser Ansatz kann Ihnen dabei helfen, Daten über eine zentrale Plattform zu erfassen, anzureichern, zu transformieren und bereitzustellen.
Obwohl verteilte Datennetzarchitekturen erst allmählich an Bedeutung gewinnen, helfen sie Teams bereits dabei, Skalierbarkeitsziele für gängige Big-Data-Anwendungsfälle zu erreichen. Dazu gehören:
Business-Intelligence-Dashboards: Bei neuen Initiativen benötigen Teams häufig individuell angepasste Datenansichten, um die Performance dieser Projekte zu verstehen. Data-Mesh-Architekturen können diesen Bedarf an Flexibilität und Anpassbarkeit decken, indem sie Daten für die Nutzer besser zugänglich machen.
Kundenerlebnis: Kundendaten ermöglichen es Unternehmen, ihre Nutzer besser zu verstehen und ihnen so personalisiertere Erlebnisse zu bieten. Dies lässt sich in verschiedenen Branchen beobachten, vom Marketing bis zum Gesundheitswesen.
Projekte im Bereich maschinelles Lernen: Durch die Standardisierung domänenunabhängiger Daten können Data Scientists Daten aus zahlreichen Quellen leichter zusammenführen und so den Zeitaufwand für die Datenverarbeitung reduzieren. Diese Zeitersparnis beschleunigt die Überführung von Modellen in die Produktionsumgebung und trägt somit zur Erreichung von Automatisierungszielen bei.
Da Unternehmen immer mehr Daten sammeln, speichern und analysieren, wird die dezentrale Datenhoheit immer deutlicher. Letztendlich ist es der richtige Weg, die Daten wieder in die Hände derer zu geben, die sie verstehen. Die Entwicklung einer verteilten Self-Service-Architektur mit zentralisierter Governance erfordert kontinuierliches Engagement.
Der Übergang von einem monolithischen zu einem verteilten Modell erfordert eine Umstrukturierung des Unternehmens und einen Kulturwandel. Diese Anstrengung lohnt sich jedoch, da dieses transformative Paradigma das Potenzial besitzt, die datenzentrierte Vision eines Unternehmens zu stärken.
Polestar Analytics ist ein führendes IT-Beratungsunternehmen, das bereits zahlreiche Organisationen bei der Transformation ihrer Datenprozesse unterstützt hat. Die Datenmenge wächst exponentiell, und der Zugriff auf monolithische Datensätze wird zunehmend schwieriger. Vereinbaren Sie noch heute einen Beratungstermin!