In de wereld van big data wordt ruwe, ongeorganiseerde data vaak opgeslagen in relationele, niet-relationele en andere opslagsystemen. Ruwe data mist echter de context en betekenis die nodig zijn om analisten, datawetenschappers en zakelijke besluitvormers waardevolle inzichten te bieden. Big data vereist een service die procedures kan orkestreren en operationaliseren voor het transformeren van enorme hoeveelheden ruwe data in bruikbare zakelijke inzichten. Azure Data Factory is een beheerde cloudoplossing die is ontworpen voor applicaties die complexe hybride extract-transform-load (ETL), extract-load-transform (ELT) en data-integratie vereisen.
Azure Data Factory kan verbinding maken met al uw gegevens- en verwerkingsbronnen, waaronder SaaS, bestandsdeling en andere internetdiensten. Met de Data Factory-service kunt u gegevenspijplijnen maken die gegevens transporteren en deze plannen om op vooraf bepaalde tijdstippen te worden uitgevoerd. Dit betekent dat we de mogelijkheid hebben om een geplande of eenmalige pijplijn te gebruiken.
De kopieeractiviteit van een datapipeline kan worden gebruikt om gegevens van lokale en cloudbronnen naar een gecentraliseerde gegevensopslag in de cloud of lokaal te verplaatsen voor verdere analyse en verwerking.
Nadat de gegevens op een centrale locatie zijn opgeslagen, worden ze geconverteerd met behulp van services zoals HDInsight Hadoop, Azure Data Lake Analytics en machine learning.
Gegevens importeren met Azure Data Factory
Dit e-book presenteert een casestudy om belangrijke inzichten te delen over hoe Azure Data Factory het eenvoudig maakt om codevrije of codegerichte ETL- en ETL-processen te bouwen.
Bestel nu! SSIS is de meest gebruikte tool voor data-integratie op locatie, maar er zijn enkele uitdagingen bij het werken met data in de cloud. De volgende methoden kunnen door Azure Data Factory worden gebruikt om deze problemen aan te pakken bij het verplaatsen van data van of naar de cloud:
- Taakplanning en -orkestratie: In de cloud zijn er niet veel services die data-integratie initiëren. Hoewel er wel enkele services voor dataverplaatsing beschikbaar zijn, zoals Azure Scheduler, Azure Automation, SQL VM, enzovoort, zijn de mogelijkheden voor taakplanning van Azure Data Factory superieur.
- Beveiliging: Azure Data Factory versleutelt automatisch elk stukje data dat tussen de cloud en uw lokale omgeving wordt verzonden.
- Continue integratie en levering: Met de integratie van Azure Data Factory en GitHub kunt u eenvoudig ontwikkelen, bouwen en implementeren in Azure.
- Schaalbaarheid: Azure Data Factory is ontwikkeld om grote hoeveelheden data te kunnen verwerken.
Om de functionaliteit van Azure Data Factory te begrijpen, is het belangrijk om de functies ervan te kennen. Deze zijn als volgt:
- Datasets: Datasets bevatten gedetailleerdere configuratieparameters voor de gegevensbron. Een dataset bevat een tabelnaam of bestandsnaam, evenals een structuur.
- Activiteiten omvatten onder andere gegevensoverdracht, transformaties en besturingsstroombewerkingen. Activiteitsconfiguraties bevatten opties zoals databasequery, naam van opgeslagen procedure, argumenten, scriptlocatie en meer.
- Gekoppelde services: Gekoppelde services slaan configuratieparameters op voor specifieke gegevensbronnen. Informatie zoals de server-/databasenaam, bestandsmap, inloggegevens, enzovoort, kan hierin worden opgenomen.
- Pijplijnen: Pijplijnen zijn logische groepen acties. De pijplijnen van een datafactory kunnen één of meer acties bevatten.
- Triggers: Triggers zijn configuraties voor het plannen van pipelines die start-/einddatums, uitvoeringsfrequentie en andere parameters bevatten.
LEES MEER: AWS versus Azure voor data-analyse: een vergelijking van de platformaanbiedingen