Een data lake is in principe een plek waar grote hoeveelheden ruwe data of data in hun oorspronkelijke formaat worden opgeslagen. In tegenstelling tot een datawarehouse, dat data opslaat in bestanden of mappen (hiërarchische structuur), biedt een data lake onbeperkte opslagruimte, onbeperkte bestandsgrootte en diverse manieren om toegang te krijgen tot de data, samen met de tools die nodig zijn om deze te analyseren, op te vragen en te verwerken. Data-items in een data lake krijgen unieke identificaties en metadata-tags toegewezen. Op deze manier kan data uit de data lake worden opgehaald en kan een kleinere set relevante data vervolgens worden geanalyseerd. Bovendien kan data ook in data lakes worden opgeslagen voordat deze worden gecureerd en naar datawarehouses worden verplaatst.
- Door mensen gegenereerde data (bijv. blogs, e-mails, tweets)
- Machinegegevens (bijv. logbestanden, Internet of Things, sensorwaarden)
- Verkoopgegevens, voorraadgegevens, ticketgegevens, enz.
- Beeld, geluid en video
Het doel van een data lake is het leveren van grote hoeveelheden gedetailleerde brongegevens die vervolgens kunnen worden geanalyseerd voor data mining, grafische weergave, clustering en statistieken. Bedrijven en organisaties kunnen profiteren van data-analyse door bijvoorbeeld klantverloopmodellen te creëren, klantverlooppercentages te schatten, klantsegmenten te visualiseren en klantsegmenten te identificeren.
Het Data Lake-platform is gebaseerd op Azure Blob Storage, een cloudgebaseerde objectopslagoplossing van Microsoft. De oplossing biedt voordelige, gelaagde opslag met hoge beschikbaarheid en mogelijkheden voor noodherstel. Het is geïntegreerd met andere Azure-services , waaronder Azure Data Factory, waarmee extractie-, transformatie- en laadprocessen (ETL) en extractie-, transformatie- en laadprocessen (ELT) kunnen worden gemaakt en uitgevoerd.
Deze oplossing maakt gebruik van het YARN (Yet Another Resource Negotiator) clustermanagementplatform voor Apache Hadoop. Naast servers in Azure SQL Database en Azure SQL Data Warehouse kan de oplossing dynamisch schalen over SQL-servers binnen het data lake.
Om Azure Data Lake te gebruiken, moet u een gratis account aanmaken in de Microsoft Azure-portal. Alle Azure-services zijn toegankelijk via de portal.
Organisaties die willen profiteren van big data kunnen gebruikmaken van de Azure Data Lake-oplossing . Ontwikkelaars, datawetenschappers en analisten hebben toegang tot een dataplatform dat data in elk formaat en elke grootte opslaat, verwerkt en analyseert op meerdere platforms en met verschillende programmeertalen. Het kan worden gebruikt in combinatie met uw bestaande oplossingen voor identiteitsbeheer en beveiliging. Bovendien integreert het met andere datawarehouses en cloudomgevingen. Hieronder vindt u een lijst met typen organisaties waarvoor het nuttig kan zijn:
De oplossing kan worden gebruikt voor het integreren van elk type bedrijfsdata in één datawarehouse , aangezien het alle soorten data ondersteunt.
Meerdere apparaten kunnen in realtime gegevens naar het Azure-platform streamen.
Een on-premises big data-infrastructuur kan worden uitgebreid naar de Azure-cloud met behulp van de Azure HDInsight-component.
Microsoft beheert en ondersteunt de omgeving en biedt bedrijfsfuncties voor beveiliging, versleuteling en governance. Azure maakt het mogelijk om on-premises beveiligingsoplossingen en -controles uit te breiden naar de cloud.
Met de Azure Data Lake-oplossing kunt u er snel mee aan de slag. Via de portal hebt u toegang tot alle componenten en hoeft u geen servers of infrastructuur te installeren of te beheren.
Hoe de implementatie van Data Lake as a Service bedrijven transformeert
Plan een afspraak