Inom stordata lagras rådata ofta i relationella, icke-relationella och andra lagringssystem. Rådata, å andra sidan, saknar det sammanhang och den betydelse som behövs för att ge betydande insikter till analytiker, dataforskare och affärsbeslutsfattare. Stordata kräver en tjänst som kan orkestrera och operationalisera procedurer för att omvandla massiva mängder rådata till användbara affärsinsikter. Azure Data Factory är en hanterad molnlösning utformad för applikationer som kräver komplicerad hybrid extract-transform-load (ETL), extract-load-transform (ELT) och dataintegration.
Azure Data Factory kan ansluta till alla dina data- och bearbetningskällor, inklusive SaaS, fildelning och andra internettjänster. Med Data Factory-tjänsten kan du skapa datapipelines som transporterar data och schemalägga dem att köras vid förutbestämda tidpunkter. Det betyder att vi har möjlighet att använda en schemalagd eller engångspipeline.
En datapipelines kopieringsaktivitet kan användas för att flytta data från lokala och molnbaserade källor till en centraliserad datalagring i molnet eller lokalt för vidare analys och bearbetning.
Efter att ha sparats på en centraliserad datalagringsplats konverteras data med hjälp av tjänster som HDInsight Hadoop, Azure Data Lake Analytics och Machine Learning.
Datainmatning med Azure Data Factory
Den här e-boken presenterar en fallstudie för att dela viktiga insikter om hur Azure Data Factory gör det enkelt att bygga kodfria eller kodcentrerade ETL och ETL-processer.
Hämta det nu SSIS är det mest använda lokala verktyget för dataintegration, men det finns vissa utmaningar att övervinna när man hanterar data i molnet. Följande metoder kan användas av Azure Data Factory för att åtgärda dessa problem när man flyttar data till eller från molnet:
- Jobbschemaläggning och orkestrering: I molnet finns det inte många tjänster som utlöser dataintegration. Även om det finns vissa dataflyttningstjänster tillgängliga, till exempel Azure Scheduler, Azure Automation, SQL VM och så vidare, är Azure Data Factorys jobbschemaläggningsfunktioner överlägsna dem.
- Säkerhet: Azure Data Factory krypterar automatiskt alla data som överförs mellan molnet och lokalt.
- Kontinuerlig integration och leverans: Med hjälp av Azure Data Factory och GitHub-integrationen kan du enkelt utveckla, bygga och distribuera till Azure.
- Skalbarhet: Azure Data Factory skapades med möjligheten att hantera stora mängder data.
För att förstå Azure Data Factorys funktioner krävs det att man är bekant med dess funktioner. De är följande:
- Dataset: Dataset innehåller mer detaljerade konfigurationsparametrar för datakällor. En dataset innehåller ett tabellnamn eller filnamn, samt en struktur.
- Aktiviteterna inkluderar dataöverföring, transformationer och kontrollflödesoperationer, för att nämna några. Aktivitetskonfigurationer innehåller alternativ som databasfråga, namn på sparad procedur, argument, skriptplats och annat.
- Länkade tjänster: Länkade tjänster lagrar konfigurationsparametrar för specifika datakällor. Information som server-/databasnamn, filmapp, inloggningsuppgifter och så vidare kan inkluderas.
- Pipelines: Pipelines är logiska grupper av åtgärder. En datafabriks pipelines kan ha en eller flera åtgärder.
- Utlösare: Utlösare är pipeline-schemaläggningskonfigurationer som inkluderar start-/slutdatum, körningsfrekvens och andra parametrar.
LÄS MER: AWS vs Azure för dataanalys: Jämförelse av plattformserbjudanden