Migrera och modernisera din datatillgång: Modernisera innan du lämnas i dammet

Hypecykeln för GenAI var så gammal som igår (där insikter erhålls genom naturliga språksvar, inte djupgående manuell forskning från eventuellt irrelevanta källor). Idag fokuserar hypecykeln på Agentic AI (där åtgärder i kombination med mänsklig vägledning utför rutinmässiga och strukturerade uppgifter). Men för inte så länge sedan fokuserade hypecykeln på att föråldra lokala datainfrastrukturer och flytta arbetsbelastningar till molnet.

Varför har vi gått vidare från det här ämnet?

Varför prata om rutinmässig datateknik, grunden för datavetenskap/avancerad analys/agentisk AI, när man kan prata om spännande vinstoptimering eller ökad försäljning genom affärsanvändningsfall som ger insikter om kundens livstidsvärde till återförsäljare, eller förbättrad industriell produktivitet genom prediktivt underhåll eller förbättrad kommersiell effektivitet hos Life Science-företag genom att generera verkliga bevis. Pengar talar!

Verkligheten bakom molnmigrering

Det uppskattas att molnanvändningen under de senaste sju åren har nått~50–60 %Även om den procentandelen kan se ut som att övergången till molnet är långt gången, är informationen missvisande. Låt oss titta på motsägelserna:

• Många källor uppskattar att50–60 %av IT-arbetsbelastningarna har flyttats till molnet.
  
  Men av det antalet,60 %är för datalagring som inte producerar något ekonomiskt värde.AWS rapporterade att endast 21 %av deras senaste intäkter är relaterade till AI-relaterade arbetsbelastningar.

• Google (GCP) uppger att98 %av organisationer utforskar GenAI (främst chatbotar)
  
  Men bara45 %av stora företag kör data + AI-arbetsbelastningar i molnet på grund av den tröghet som orsakas av stora komplexa äldre system. Detta resulterar i ett helt segment med kapacitet att utnyttja dessa produktivitetshöjande verktyg
 
• Adoptionsgraden för50–60 %kan se solid ut
  
  Menstörre än 70 %av företag använder någon form av hybrid-/multimoln, vilket skapar datasilos eftersom hyperskalningsföretagen motsätter sig datadelning och gemensamhet.

Lösningen? Fortsätt migrera/modernisera till molnet, men gör det med en Databricks-centrerad arkitektur. Låt oss dyka ner i våra sex synvinklar på detta ämne:

• Förberedelser inför migration eller modernisering –Böcker har skrivits om detta, men utifrån lärdomarna har man företräde framför att börja med en plan med resultat i åtanke där affärsanvändningsfall är kända, framför att säkra budget, bygga ett kärnteam etc. Att bedöma avkastning från användningsfall och hur den kommer att mätas över tid är avgörande för framgång. För att göra detta, titta på de praktiska kvantifierbara riktmärken som representerar dagens status quo. Förmågan att mäta och hantera baslinjen är grundläggande för noggrannheten i din modernisering – om du inte kan mäta det idag, kommer avancerad analys inte att hjälpa dig att mäta det imorgon.
 
• Rensning av datatillgångar –Teknisk skuld tynger de flesta stora företag med tanke på att moderniseringen av data och AI (över åren) sker gradvis. Teknisk skuld kan ta sig många former, men vi ser att ineffektiva pipelines, höga beräkningskostnader från fullständiga tabellskanningar och långvariga jobb, uppblåst lagringsutrymme för ohanterad mellanliggande data och betydande ingenjörstid som läggs på att övervaka och åtgärda pipelines är en stor komponent.

Databricks lösningar på dessa utmaningar? Delta Live Tables och nuLakeflowstandardiserar och automatiserar pipelines genom att bygga deklarativa pipelines som förenklar logiken och ersätter ad hoc-skript; den har inbyggd datakvalitet som automatiskt upptäcker och isolerar dåliga poster; och utnyttjar ändringsdatainsamling som minskar redundanta batchjobb och övervakar pipelines för att spåra prestanda, fel och volymtrender.

Så hur kan man effektivisera moderniseringen av rörledningar?

Polestar Analytics utökar Delta Live Tables med Data Nexus, en plattform med låg kod – ingen kod för att enkelt designa och orkestrera datapipelines. Data Nexus levererar komponerbara datamodeller med sin automatiserade datapipelineorkestrering med visuell arbetsflödesbyggare; versionskontrollintegration för pipelinetransformation; skalningsfunktioner för att hantera varierande datavolymer och bearbetningskrav samt ett datalexikonbaserat schema förgenerativ kodförbättring.

• Dataintegration -Nästa steg i förberedelserna för implementeringen av det valda användningsfallet är att förstå de datakällor som ingår i din datamodell, vilket är nödvändigt för att driva användningsfallet, eller om det behövs en funktion som behöver utvecklas? Frågor som vi ofta ser är: "Kan jag komma åt dessa data från källor som min hybridarkitektur (GCP, Azure eller AWS), S&P Global, SAP eller SFDC?". Databricks tar sig an denna utmaning medLakehouse FederationellerDelta-aktiegenom att göra data tillgängliga och undvika leverantörslåsning, enkelt dela befintliga data från datakällor, utan replikering och styrning. Dessutom hanteras styrning och länkningskontroll av Unity Catalog.
  
• Användningsfall för avancerad analys –Kommer ni ihåg diskussionen om hypekurvan? Många vill experimentera med agentiska lösningar som automatiserar processer eller bygger avancerade analyslösningar baserade på maskininlärning, men är en automatiserad agentisk lösning nödvändig när en komponerbar instrumentpanel räcker?

Databricks AI/BI Genieär ett konversationsanalysverktyg inom Databricks AI/BI-svit som gör det möjligt för användare – särskilt affärsanvändare – att interagera med organisationens data med hjälp av vanligt naturligt språk, utan att behöva SQL. Genie översätter dessa frågor till SQL, kör dem och returnerar resultat i text, tabeller och visualiseringar. AI/BI. Genies konversationella chattbot kan svara på frågor och svar-liknande interaktioner som "Hur presterade vår säljpipeline förra året?".

De som vill gå förbi instrumentpaneler (smarta eller dumma),Databricks Mosaicär plattformen att vända sig till. Mosaics omfattande utbud av funktioner är:

Modellträning och finjustering

• Träna grundmodeller eller finjustera LLM:er med öppen källkod (t.ex. LLaMA, MPT, Falcon).
• Stöder parametereffektiv finjustering för kostnadsbesparingar.

Modellservering

• Autoskalningsslutpunkter med låg latens för att distribuera modeller säkert inom Databricks.
• Enhetlig övervakning av latens, dataflöde och drift.

AI-agenter och RAG

• Bygg sammansatta AI-system:Retrieval-Augmented Generation (RAG), verktygsanvändning och flerstegsresonemang.
• Integreras med Unity Catalog för att säkert ansluta modeller till styrda företagsdata.

MosaicML

• Optimerad distribuerad träningsmotor för stora modeller (reducerar kostnad/tid med upp till 10 gånger).
• Färdiga träningsrecept för effektivitet.

ML-livscykelintegration

• Fungerar med MLflow för experimentspårning, härkomst och styrning.
• Helhetsarbetsflöde från dataförberedelse → utbildning → driftsättning.

Många har vänt sig till Polestar AnalyticsAgentskaps-AIför att förenkla agentutveckling och orkestrering. Med naturlig språkkontroll, rollbaserad intelligens och API-först-integration kan man förena hela organisationens tvärfunktionella orkestrering med intelligenta arbetsflöden med våra färdiga ramverk för flera agenter:

• Förkonfigurerade agentmallar för vanliga affärsprocesser
• Automatiserade överlämningar mellan avdelningar
• Realtidsöverblick över hela arbetsflödets livscykel

Dess intuitiva arbetsflödesdesigner bygger komplexa AI-arbetsflöden på minuter, inte månader, med ett intuitivt dra-och-släpp-gränssnitt.

• Visuell processkartläggning och beslutsträd
• Återanvändbart bibliotek med arbetsflödeskomponenter
• Distribution till produktion med ett klick

Hur ska man gå vidare?

Polestar Analytics har anammatDatabricks Data Intelligence-plattformför att driva tre innovativa lösningserbjudanden för marknaden:

• Vinstpuls:En integrerad svit av ML- och visualiseringslösningar som hanterar prissättning, handelsutgifter/kampanjer och sortimentsoptimering. Lösningen har fått ett brett genomslag inom ett konsumentproduktlandskap.
• Datanexus:Ett datatekniskt verktyg som påskyndar leveransen av komponerbara datamodeller, vilka är grunden för alla konsumtionslager – visualisering, maskin- och generativ AI och agenter.
• Agentskaps-AI:En data science-lösning som utnyttjar Agent Bricks och möjliggör dra-och-släpp-skapande av agenter, en agentmarknadsplats och ett agentorkestreringsverktyg.

Tillsammans med våra funktioner för migrering av lokala data till molnet eller Unity Catalog, kan dessa avancerade analyslösningar levereras på två sätt:

• Tjänst –Migrering och modernisering är en kärnfunktion hos Polestar Analytics. Vi hjälper företag att förstå sin datatillgång och tillhandahåller branschcentrerade resurser, acceleratorer och teknik för att migrera eller modernisera. Vi erbjuder domänspecifik implementering av användningsfall inom detaljhandel, konsumentproduktiv konsumtion, HLS, tillverkning av produkter och private equity.

• Produkt –För gör-det-själv-företag är Data Nexus ett utmärkt datahanteringsverktyg som fokuserar på kostnadsreduktion, styrning och förståelse för datagenerering. Produkten, som är värd i din miljö och med sin dra-och-släpp-funktionalitet, påskyndar skapandet av datamodeller som är grunden för modern avancerad dataanalys. Och när din datatillgång migreras eller moderniseras tar Agenthood dig enkelt in i agentvärlden.

Låt oss dyka in i verkliga användningsfallet!

Ett exempel på vår skräddarsydda lösningsleverans är nedan:

Migrering är en engångshändelse (eller en serie av händelser), men modernisering är ett tankesätt. Databricks tillför intelligent skalbarhet till detta tankesätt med funktioner som överbryggar historiska processer och ekosystem, vilket gör datavetenskap, datateknik och affärsverksamhet intelligenta och enkla.

Vänd dig tillPolestar Analyticsdär vi omvandlar data till resultat, enkelt!