De hype rondom GenAI is alweer achterhaald (waarbij inzichten worden verkregen via natuurlijke taalreacties, en niet via diepgaand handmatig onderzoek in mogelijk irrelevante bronnen). Tegenwoordig ligt de focus op Agentic AI (waarbij acties in combinatie met menselijke begeleiding routinematige en gestructureerde taken uitvoeren). Maar nog niet zo lang geleden lag de focus op het overbodig maken van on-premise data-infrastructuren en het verplaatsen van workloads naar de cloud.
Waarom zijn we van dit onderwerp afgestapt?
Waarom praten over routinematige data-engineering, de basis van data science/geavanceerde analyses/agentische AI, als je het ook kunt hebben over spannende winstoptimalisatie of omzetverhoging door middel van zakelijke toepassingen die retailers inzicht geven in de klantlevenswaarde, of over het verbeteren van de industriële productiviteit door middel van voorspellend onderhoud, of over het verhogen van de commerciële effectiviteit van life science-bedrijven door het genereren van praktijkgerichte bewijzen? Geld spreekt!
De realiteit achter cloudmigratie
Naar schatting heeft de cloudadoptie de afgelopen zeven jaar een~50-60%Hoewel dat percentage de indruk kan wekken dat de overstap naar de cloud al ver gevorderd is, zijn de gegevens misleidend. Laten we de tegenstrijdigheden eens bekijken:
Talrijke bronnen schatten dat50-60%een groot deel van de IT-workloads is naar de cloud verplaatst.
Maar van dat aantal,60%is bedoeld voor gegevensopslag die geen economische waarde oplevert.AWS meldde dat slechts 21%Een deel van hun recente omzet is gerelateerd aan AI-gerelateerde werkzaamheden.
Google (GCP) stelt dat98%organisaties onderzoeken GenAI (vooral chatbots)
Maar alleen45%Grote bedrijven voeren data- en AI-workloads uit in de cloud vanwege de inertie die wordt veroorzaakt door grote, complexe, verouderde systemen. Dit resulteert in een compleet segment dat in staat is om deze productiviteitsverhogende tools te benutten.
Het adoptiepercentage van50-60%zou er solide uit kunnen zien
Maarmeer dan 70%bedrijven maken gebruik van een vorm van hybride/multi-cloud, waardoor datasilo's ontstaan doordat de hyperscalers zich verzetten tegen het delen van data en gemeenschappelijke oplossingen.
De oplossing? Doorgaan met migreren/moderniseren naar de cloud, maar dan met een Databricks-georiënteerde architectuur. Laten we onze zes standpunten hierover eens nader bekijken:
Voorbereiding op migratie of modernisering –Er zijn boeken over dit onderwerp geschreven, maar uit de opgedane ervaringen blijkt dat het beginnen met een plan waarin de beoogde resultaten en de zakelijke toepassingen duidelijk zijn, prioriteit heeft boven het veiligstellen van budget, het samenstellen van een kernteam, enzovoort. Het beoordelen van het rendement van de toepassingen en hoe dit in de loop van de tijd gemeten zal worden, is cruciaal voor succes. Kijk hiervoor naar de praktische, kwantificeerbare benchmarks die de huidige status quo vertegenwoordigen. Het vermogen om de basislijn te meten en te beheren is essentieel voor de nauwkeurigheid van uw modernisering – als u het vandaag niet kunt meten, zullen geavanceerde analyses u er morgen ook niet bij helpen.
Opschonen van data-omgevingen –Technische schuld drukt zwaar op de meeste grote bedrijven, gezien het feit dat de modernisering van data en AI (door de jaren heen) geleidelijk verloopt. Technische schuld kan vele vormen aannemen, maar we zien inefficiënte pipelines, hoge rekenkosten door volledige tabelscans en langlopende taken, overvolle opslagruimte voor onbeheerde tussengegevens en aanzienlijke tijd die wordt besteed aan het monitoren en repareren van pipelines als belangrijke componenten.
Databricks-oplossingen voor deze uitdagingen? Delta Live Tables en nuLakeflowHet standaardiseert en automatiseert pipelines door declaratieve pipelines te bouwen die de logica vereenvoudigen en ad-hoc scripts vervangen; het heeft ingebouwde datakwaliteit die automatisch foute records detecteert en isoleert; en het maakt gebruik van Change Data Capture (CDC) om overbodige batchtaken te verminderen en pipelines te monitoren om prestaties, fouten en volumetrends te volgen.
Hoe kunnen we de modernisering van pijpleidingen stroomlijnen?
Polestar Analytics breidt Delta Live Tables uit met Data Nexus, een low-code- of no-code-platform voor het eenvoudig ontwerpen en orkestreren van datapijplijnen. Data Nexus biedt combineerbare datamodellen met geautomatiseerde datapijplijnorkestratie en een visuele workflowbuilder; versiebeheerintegratie voor pijplijntransformatie; schaalmogelijkheden om wisselende datavolumes en verwerkingsvereisten aan te kunnen en een op een datawoordenboek gebaseerd schema voorgeneratieve codeverbetering.
Gegevensintegratie -De volgende stap in de voorbereiding van de implementatie van de beoogde use case is inzicht krijgen in de databronnen die in uw datamodel zijn opgenomen en die nodig zijn om de use case te ondersteunen, of dat er een functionaliteit moet worden ontwikkeld. Veelvoorkomende vragen zijn: "Kan ik deze data benaderen vanuit bronnen zoals mijn hybride architectuur (GCP, Azure of AWS), S&P Global, SAP of SFDC?". Databricks pakt deze uitdaging aan metLakehouse FederatieofDelta-aandeelDoor data toegankelijk te maken en vendor lock-in te voorkomen, kunnen bestaande data uit verschillende bronnen eenvoudig worden gedeeld, zonder replicatie en met beheersvereisten. Bovendien worden beheer en herkomstcontrole afgehandeld door Unity Catalog.
Gebruiksscenario's voor geavanceerde analyses –Herinnert u zich de discussie over de hypecurve nog? Velen willen experimenteren met agentische oplossingen die processen automatiseren of geavanceerde analyseoplossingen bouwen op basis van machine learning, maar is een agentische geautomatiseerde oplossing wel nodig als een aanpasbaar dashboard ook volstaat?
Databricks AI/BI GenieGenie is een conversationele analysetool binnen de Databricks AI/BI-suite waarmee gebruikers – met name zakelijke gebruikers – op een natuurlijke manier met de data van hun organisatie kunnen communiceren, zonder dat ze SQL nodig hebben. Genie vertaalt deze query's naar SQL, voert ze uit en geeft de resultaten weer in tekst, tabellen en visualisaties. De conversationele chatbot Genie kan vragen beantwoorden zoals "Hoe presteerde onze salespipeline vorig jaar?".
Degenen die verder willen gaan dan dashboards (slim of simpel),Databricks Mosaicis het platform waar je terecht kunt. Mosaic biedt een uitgebreid scala aan mogelijkheden, waaronder:
Modeltraining en -fijnstelling
Train basismodellen of verfijn open-source LLM's (bijv. LLaMA, MPT, Falcon).
Ondersteunt parameter-efficiënte fijnafstelling voor kostenbesparing.
Model Serveer
Eindpunten met lage latentie en automatische schaling maken het mogelijk om modellen veilig te implementeren binnen Databricks.
Geïntegreerde monitoring van latentie, doorvoer en drift.
AI-agenten en RAG
Bouw samengestelde AI-systemen:Retrieval-Augmented Generation (RAG), toolgebruik en meerstapsredenering.
Integreert met Unity Catalog om modellen veilig te verbinden met beheerde bedrijfsgegevens.
MosaicML
Geoptimaliseerde gedistribueerde trainingsengine voor grote modellen (waardoor kosten/tijd tot wel 10 keer lager worden).
Voorgeprogrammeerde trainingsschema's voor efficiëntie.
Integratie van de ML-levenscyclus
Werkt samen met MLflow voor het volgen, traceren en beheren van experimenten.
Een complete workflow van datavoorbereiding → training → implementatie.
Velen hebben zich tot Polestar Analytics gewend.Agenthood AIOm de ontwikkeling en orkestratie van agents te vereenvoudigen. Met de natuurlijke taalbesturing, op rollen gebaseerde intelligentie en API-first integratie kunt u de cross-functionele orkestratie van uw gehele organisatie verenigen met intelligente workflows met behulp van onze vooraf gebouwde multi-agent frameworks:
Voorgeconfigureerde agenttemplates voor veelvoorkomende bedrijfsprocessen
De intuïtieve workflow-ontwerper maakt het mogelijk om complexe AI-workflows in minuten te bouwen, in plaats van maanden, dankzij de gebruiksvriendelijke drag-and-drop-interface.
Winstpuls:Een geïntegreerde suite van ML- en visualisatieoplossingen voor prijsbepaling, handelsuitgaven/promoties en assortimentsoptimalisatie. De oplossing wordt alom gebruikt in de FMCG-sector.
Data Nexus:Een data-engineeringtool die de levering van samenstelbare datamodellen versnelt. Deze modellen vormen de basis van alle gebruikslagen: visualisatie, machine learning, generatieve AI en agents.
Agenthood AI:Een data science-oplossing die gebruikmaakt van Agent Bricks voor het slepen en neerzetten van agents, een agentmarktplaats en een tool voor agentorkestratie.
Naast onze mogelijkheden voor migratie van on-premise naar de cloud of naar Unity Catalog, kunnen deze geavanceerde analyseoplossingen op twee manieren worden geïmplementeerd:
Dienst -Migratie en modernisering vormen een kerncompetentie van Polestar Analytics. Wij helpen bedrijven inzicht te krijgen in hun dataomgeving en bieden de branchespecifieke middelen, accelerators en technologie die nodig zijn voor migratie of modernisering. We bieden implementaties op maat voor diverse sectoren, zoals retail, FMCG, gezondheidszorg, productie en private equity.
Product –Voor doe-het-zelf-bedrijven is Data Nexus een uitstekende tool voor data-engineering, gericht op kostenbesparing, governance en inzicht in dataherkomst. Dit product, dat in uw eigen omgeving wordt gehost, versnelt met zijn drag-and-drop-functionaliteit het creëren van datamodellen, die de basis vormen voor geavanceerde analyses in de moderne datawetenschap. En wanneer uw dataomgeving wordt gemigreerd of gemoderniseerd, brengt Agenthood u eenvoudig naar de wereld van agents.
Laten we eens kijken naar een praktijkvoorbeeld!
Hieronder vindt u een voorbeeld van hoe wij oplossingen op maat leveren:
Migratie is een eenmalige gebeurtenis (of een reeks gebeurtenissen), maar modernisering is een denkwijze. Databricks brengt intelligente schaalbaarheid naar deze denkwijze met mogelijkheden die verouderde processen en ecosystemen overbodig maken, waardoor data science, data engineering en business intelligent en eenvoudig worden.
Kshitij GuptaData-strateeg
Vat dit blogbericht samen met:
Sudha
Nitin Kumar