Vat dit blogbericht samen met:
Noot van de redactie: Deze blog biedt een uitgebreid overzicht van Microsoft Fabric en de mogelijke impact ervan op organisaties die overstappen van Azure Synapse Analytics naar Data Fabric. De verschillende onderdelen worden zo uitgelegd dat ze gemakkelijk te begrijpen zijn.
In onze vorige blog over Microsoft Fabric: Het data-universum voor het AI-tijdperk , hebben we Fabric, de voordelen ervan en de rol van OneLake als ruggengraat nader bekeken.
De specifieke toepassingsvoorbeelden illustreren verder hoe Fabric in diverse sectoren kan worden ingezet. De vergelijkingen en observaties die in dit artikel worden gemaakt, bieden een evenwichtig beeld van de voordelen en uitdagingen van de overstap naar Fabric.
Microsoft Fabric is een ultiem inzichtenplatform dat diverse analyses en datadiensten verbetert, van dataverplaatsing tot datawetenschap, realtime analyses en business intelligence. Het brengt Synapse Data Engineering, Data Factory, Synapse Data Science, Synapse Data Warehouse, Synapse Real-time Analytics en Power BI samen in één uniforme omgeving.
De basis van Fabric is OneLake, een uniform data lake gebouwd op Azure Data Lake Storage Gen2. Het elimineert de noodzaak voor gebruikers om complexe infrastructuurconcepten te begrijpen en zorgt voor naleving van beleid en beveiligingsinstellingen.
De introductie van mirroring als functionaliteit houdt een methode in voor het repliceren van gegevens uit verschillende bronnen, zoals Cosmos DB, Azure SQL DB, Mongo DB en Snowflake. Mirroring kan essentieel zijn voor het waarborgen van gegevensconsistentie en ervoor zorgen dat het analyseplatform toegang heeft tot de meest actuele informatie.
Om het platform universeel te maken, heeft Microsoft ervoor gezorgd dat data-integratie eenvoudig is, niet alleen in de Microsoft-cloud, maar in "elke cloud", door ondersteuning voor meerdere clouds te bieden. Deze flexibiliteit kan cruciaal zijn voor organisaties met een multi-cloudstrategie of voor organisaties die een cloudmigratie overwegen.
Data Fabric fungeert als een overkoepelend raamwerk, vergelijkbaar met een besturingssysteem, dat de integratie van meerdere analyseapplicaties en -engines op het Azure-platform mogelijk maakt. Het vervangt geen tools zoals Synapse of Power BI , maar verbetert juist hun functionaliteit binnen het Fabric-ecosysteem.
Opvallend is dat een nieuwe SQL-engine de dedicated SQL-pools in Synapse gaat vervangen. Deze engine combineert de sterke punten van zowel serverloze als dedicated engines voor meer flexibiliteit en kracht. De engine leest en verwerkt Parquet-bestanden efficiënt en zorgt voor naadloze compatibiliteit met diverse dataformaten. Met Fabric krijgen gebruikers toegang tot een uitgebreide reeks datawarehouse-functionaliteiten, waarbij de gezamenlijke voordelen van verschillende engines en tools worden benut voor een robuustere analyse-ervaring.
Hier is een YouTube- video voor een beter begrip van dit onderwerp.
Een overzicht van de functies
- Het platform is ontworpen om naadloos samen te werken met hybride cloudarchitecturen, waaronder Azure, Snowflake, AWS en Google Cloud .
- One Lake is de plek waar alle gegevens worden opgeslagen in een open Delta Parquet-formaat, wat zorgt voor gestandaardiseerde toegankelijkheid voor verschillende tools en services binnen Microsoft Fabric.
- Gebruikers hebben via OneDrive-achtige functionaliteit vanaf elk apparaat toegang tot hun gegevens, wat samenwerking en toegang zeer gemakkelijk maakt.
- Met snelkoppelingen kunnen gebruikers gegevens van verschillende cloudproviders opvragen zonder dat gegevensmigratie nodig is.
- De AI-integraties omvatten chatmogelijkheden voor interactie met data en de integratie van Copilot voor taken zoals het schrijven van SQL-query's en het stellen van vragen over data.
- Het platform heeft de potentie om de uitdagingen van datasilo's en datamigratie te verlichten, hoewel de effectiviteit ervan pas in de praktijk zal blijken.
Zoals we hebben gezien, is Microsoft Fabric een allesomvattende oplossing die de mogelijkheden van Azure Synapse versterkt. Dit wordt bereikt door naadloze integratie in een breder ecosysteem van systemen, waarbij gebruik wordt gemaakt van een open bestandsformaat voor vereenvoudigd beheer. Deze integratie maakt ook de creatie van nieuwe modellen en datapijplijnen mogelijk. Als u een meer technisch inzicht in dit onderwerp wilt, kunt u de blog van endjin raadplegen.
Nu kunnen we elk onderdeel binnen Fabric nader bekijken om een beter begrip te krijgen van de cruciale rol die elk onderdeel speelt bij het creëren van een geheel dat meer is dan de som der delen.
Het is een bedrijfsanalyseservice voor datawarehouses en big data-systemen. Het integreert SQL, Spark, Data Explorer, Pipelines en andere Azure-services.
SQL-mogelijkheden
- Gedistribueerd querysysteem voor T-SQL.
- Ondersteunt datawarehousing, datavirtualisatie, streaming en machine learning.
- Biedt serverloze en dedicated resource-modellen aan.
Apache Spark-integratie
- Integreert naadloos met Apache Spark voor data-voorbereiding, -engineering, ETL en machine learning.
- Ondersteunt SparkML-algoritmen en AzureML-integratie.
- Vereenvoudigd resourcebeheer en automatisch schalen.
Data Lake-integratie
- Maakt naadloos gebruik van SQL en Spark samen mogelijk.
- Tabellen gedefinieerd in data lake-bestanden die toegankelijk zijn voor zowel SQL als Spark.
- Directe verkenning en analyse van diverse bestandsformaten.
Gegevensintegratie en ETL
- Inclusief de data-integratie-engine van Azure Data Factory.
- Ondersteunt ETL-pipelines met dataflowactiviteiten zonder code.
- Orchestratie van diverse taken zoals notebooks, Spark-jobs, stored procedures en meer.
Gegevensverkenner
- Biedt een interactieve zoekervaring voor log- en telemetriegegevens.
- Geoptimaliseerd voor loganalyse met krachtige indexeringstechnologie.
- Ondersteunt patroonherkenning, anomaliedetectie en meer.
Een uniforme gebruikerservaring met Synapse Studio
- Een gecentraliseerd platform voor het bouwen, onderhouden en beveiligen van oplossingen.
- Voer taken uit zoals gegevensinvoer, -verkenning, -voorbereiding, -orkestratie en -visualisatie.
- Monitor resources, gebruik en gebruikers in SQL, Spark en Data Explorer.
Op rollen gebaseerd toegangsbeheer (RBAC)
- Vereenvoudigt de toegang tot analysebronnen.
- Ondersteunt het schrijven van SQL-, Spark- of KQL-code en integratie met CI/CD-processen.
Ontdek de onvertelde geheimen van Azure Synapse Analytics! Ontdek nu de oorsprong, architectuur en ongelooflijke voordelen.
Data Activator, onderdeel van Microsoft Fabric, maakt dynamische monitoring van operationele data mogelijk, zowel in realtime als in batches. Het activeert geautomatiseerde acties op basis van vooraf gedefinieerde voorwaarden en verbetert proactieve besluitvorming en probleemoplossing. Het integreert naadloos met diverse applicaties zoals Teams, e-mail en Power Automate-workflows, waardoor efficiënt databeheer en -governance binnen het uitgebreide analyse-ecosysteem van Microsoft Fabric worden gewaarborgd.
Als je meer over dit onderwerp wilt weten, kun je de video van Microsoft op YouTube bekijken.
OneLake is een uniform data lake binnen Microsoft Fabric , vergelijkbaar met OneDrive voor data. Het fungeert als een centrale opslagplaats voor de analysedata van een organisatie, waardoor meerdere afzonderlijke data lakes overbodig worden. Elke Microsoft Fabric-tenant wordt automatisch voorzien van OneLake.
Het ondersteunt gedistribueerd eigendom, waardoor samenwerking tussen verschillende bedrijfsonderdelen binnen een tenant mogelijk is. OneLake is gebouwd op Azure Data Lake Storage Gen2 en is compatibel met diverse bestandstypen. Het slaat gegevens op in Delta Parquet-formaat, waardoor naadloze toegang via API's en SDK's mogelijk is.
Snelkoppelingen maken het delen van gegevens zonder duplicatie mogelijk, en gegevens kunnen door meerdere analyse-engines worden gebruikt, waaronder T-SQL, Spark en Analysis Services, waardoor het kopiëren van gegevens overbodig wordt. Deze integratie biedt flexibiliteit voor verschillende teams, waardoor ze de meest geschikte analyse-engine voor hun specifieke taken kunnen gebruiken. OneLake stroomlijnt de toegang tot, het beheer van en de samenwerking rond gegevens, waardoor de efficiëntie van de organisatie op het gebied van data-analyse wordt verbeterd.
- De OPENROWSET-syntaxis wordt niet ondersteund, maar vergelijkbare functionaliteit is beschikbaar via gestructureerde gegevens in het gedeelte "Tabellen".
- Synapse Link is nog niet beschikbaar in Fabric.
- Fabric biedt naadloze integratie met Azure Machine Learning en verbeterde integratie met Power BI.
- Het biedt een snellere opstarttijd voor de Spark-infrastructuur (20-30 seconden vergeleken met 3-4 minuten in Synapse).
- De functie "Nieuwe notitieboeken" is beschikbaar voor samenwerking en data-exploratie. Het is ook mogelijk om lokaal te werken met Spark-gebaseerde functionaliteit in VS Code.
- Verbeterde Git-integratie in Fabric voor een betere tracking en beoordeling van wijzigingen.
- Er is geen automatisch upgradepad voor bestaande Azure Synapse Analytics-workloads naar Microsoft Fabric.
- Het in kaart brengen van dataflows wordt niet ondersteund in Fabric.
Hanteert een op capaciteit gebaseerd commercieel model, wat mogelijk gevolgen heeft voor de totale eigendomskosten (TCO). Migratie kan eenvoudiger zijn voor organisaties met voornamelijk op Spark gebaseerde workloads .
Aanbevelingen
Evalueer de impact op de totale eigendomskosten, overweeg de voor- en nadelen van SaaS en beoordeel de afhankelijkheid van één leverancier.
Houd rekening met de tijd die nodig is om waarde te creëren, het minimaliseren van technische schulden en de potentiële impact op de Azure-kosten.
Beoordeel nieuwe functies en hun aansluiting op de langetermijnstrategie voor data en analyses.
Toepassingsvoorbeelden uit de industrie
Hieronder volgen enkele korte voorbeelden van het gebruik van Microsoft Fabric in verschillende sectoren:
Detailhandel
- Verbetering van klantinzichten en personalisatie.
- Gegevens importeren vanuit kassasystemen (POS), e-commerceplatforms en loyaliteitsprogramma's.
- Klanten segmenteren en aanbevelingen genereren.
Productie
- Het optimaliseren van productieprocessen en het verlagen van kosten.
- Gegevens verzamelen van sensoren, machines en ERP-systemen.
- Het analyseren van de productieprestaties en het identificeren van inefficiënties.
Financiën en verzekeringen
- Fraude opsporen en financiële misdrijven voorkomen.
- Gegevens verzamelen van transacties, accounts en klanten.
- Verdachte patronen en afwijkingen identificeren.
Bij Polestar helpen we bedrijven de kracht van data te benutten, met name in Azure-implementaties . Ons team van experts maakt gebruik van het robuuste Azure-ecosysteem om data-architecturen te ontwerpen en te implementeren, waarbij optimale integratie, governance en beveiliging worden gewaarborgd.
Met een op maat gemaakte aanpak stellen we bedrijven in staat om bruikbare inzichten te verkrijgen en weloverwogen beslissingen te nemen.
Hieronder vindt u een korte beschrijving van onze diensten op het gebied van datafabricage.
- Ontwerp data-architectuur - Ontwikkel een op maat gemaakte datafabric-architectuur met behulp van Azure-services.
- Gegevensbeheer en -beveiliging - Stel beleid op voor gegevensbeheer en zorg voor naleving van de sectorregelgeving.
- Data-integratie en ETL-processen - Ontwerp en implementeer workflows voor data-integratie en ETL-processen.
- Optimaliseer gegevensopslag en -formaten: kies voor efficiënte opslagformaten zoals Parquet en implementeer partitionering en indexering.
- Gegevenscatalogus en metadata-beheer - Implementeer een robuuste gegevenscatalogus en zorg voor uitgebreid metadata-beheer.
- Geavanceerde analyses en machine learning - Maak gebruik van Azure Machine Learning en andere tools voor geavanceerde analyses.
- Visualisatie en rapportage - Integreer Power BI of andere visualisatietools voor inzichten.
- Training en verandermanagement - Het verzorgen van trainingen en het ontwikkelen van verandermanagementstrategieën.