Ein Data Lake ist im Grunde ein Ort, an dem große Mengen an Rohdaten oder Daten in ihrem nativen Format gespeichert werden. Im Vergleich zu einem Data Warehouse, das Daten in Dateien oder Ordnern (hierarchische Struktur) speichert, bieten Data Lakes unbegrenzten Speicherplatz, unbegrenzte Dateigröße und vielfältige Zugriffsmöglichkeiten auf die Daten sowie die notwendigen Werkzeuge zur Analyse, Abfrage und Verarbeitung. Datenelemente in einem Data Lake erhalten eindeutige Kennungen und Metadaten-Tags. Dadurch können Daten aus dem Data Lake abgerufen und anschließend eine kleinere Menge relevanter Daten analysiert werden. Darüber hinaus können Daten auch in Data Lakes zwischengespeichert werden, bevor sie aufbereitet und in Data Warehouses übertragen werden.
- Von Menschen erzeugte Daten (z. B. Blogs, E-Mails, Tweets)
- Maschinendaten (z. B. Protokolldateien, Internet der Dinge, Sensormesswerte)
- Verkaufsdaten, Bestandsdaten, Ticketing-Daten usw.
- Bild, Ton und Video
Der Zweck eines Data Lakes besteht darin, große Mengen detaillierter Quelldaten bereitzustellen, die anschließend für Data Mining, grafische Darstellung, Clustering und statistische Auswertungen analysiert werden können. Unternehmen und Organisationen profitieren von Datenanalysen , indem sie Abwanderungsmodelle erstellen, Kundenabwanderungsraten schätzen, Kundensegmente visualisieren und identifizieren.
Die Data-Lake-Plattform basiert auf Azure Blob Storage, einer Cloud-basierten Objektspeicherlösung von Microsoft. Die Lösung bietet kostengünstigen, mehrstufigen Speicher mit hoher Verfügbarkeit und Funktionen zur Notfallwiederherstellung. Sie ist in andere Azure-Dienste integriert, darunter Azure Data Factory, mit dem sich ETL- und ELT-Prozesse erstellen und ausführen lassen.
Diese Lösung nutzt die YARN-Clusterverwaltungsplattform (Yet Another Resource Negotiator) für Apache Hadoop. Neben Servern in Azure SQL Database und Azure SQL Data Warehouse kann sie dynamisch über SQL-Server innerhalb des Data Lakes skaliert werden.
Um den Azure Data Lake zu nutzen, müssen Sie ein kostenloses Konto im Microsoft Azure-Portal erstellen. Alle Azure-Dienste sind über das Portal zugänglich.
Organisationen, die von Big Data profitieren möchten, können die Azure Data Lake-Lösung nutzen. Entwickler, Data Scientists und Analysten erhalten Zugriff auf eine Datenplattform, die Daten in beliebigen Formaten und Größen speichert sowie diese plattform- und programmiersprachenübergreifend verarbeitet und analysiert. Sie lässt sich nahtlos in bestehende Identitätsmanagement- und Sicherheitslösungen integrieren und ist zudem mit anderen Data Warehouses und Cloud-Umgebungen kompatibel. Die Lösung eignet sich unter anderem für folgende Organisationstypen:
Die Lösung kann zur Integration beliebiger Unternehmensdaten in ein einziges Data Warehouse verwendet werden, da sie alle Datentypen unterstützt.
Mehrere Geräte können Daten in Echtzeit an die Azure-Plattform streamen.
Eine lokale Big-Data-Infrastruktur kann mithilfe der Azure HDInsight-Komponente auf die Azure-Cloud erweitert werden.
Microsoft verwaltet und unterstützt die Umgebung und bietet Unternehmensfunktionen für Sicherheit, Verschlüsselung und Governance. Azure ermöglicht die Erweiterung lokaler Sicherheitslösungen und -kontrollen in die Cloud.
Mit der Azure Data Lake-Lösung können Sie schnell loslegen. Über das Portal haben Sie Zugriff auf alle Komponenten; Server oder Infrastruktur müssen weder installiert noch verwaltet werden.
Wie die Einführung von Data Lake as a Service die Unternehmen verändert
Termin buchen