Databricks Lakebase förklarad: Databasen byggd för AI i realtid

Vilket arkitekturproblem löser Databricks Lakebase?

Det konventionella tillvägagångssättet för att bygga dataapplikationer tvingade fram en tung ingenjörsmässig avvägning. Man var tvungen att balansera det informativa användningsfallet – historisk kontext, generering av ML-funktioner, analytiska frågor – mot det transaktionella användningsfallet – att fånga vad en användare klickade på för tre sekunder sedan, uppdatera inventariet i realtid och bevara agentens tillstånd mitt i arbetsflödet.

Att hantera båda innebar att man behövde använda separata databaser som var sammankopplade med ömtåliga pipelines. Problemets omfattning är betydande: datateam rapporterar i genomsnitt 67 pipeline-incidenter per månad, och 68 % av teamen behöver fyra timmar eller mer bara för att upptäcka ett fel när det inträffar. Dataingenjörer blev pipeline-brandmän. ML-modeller frågade efter data som redan var föråldrad när den anlände. AI-applikationer i realtid blev en självmotsägelse.

Lakebase på Databricks databasplattform är inte bara "Postgres på Databricks". Det är ett skifte i hur vi tänker kring operativa och analytiska data som lever tillsammans – styrda, frågbara och drivna av samma plattform.

Istället för att skapa en separat databas, bygga omvända ETL-jobb och hantera autentisering på två ställen, kan team nu synkronisera styrda Lakehouse-tabeller till Postgres med frågetider på millisekunder , bygga applikationstillstånds- och transaktionstabeller direkt i Databricks Lakebase och säkra allt med Databricks-identiteter och Postgres-roller.

De tre generationerna av databasarkitektur

Hur databasarkitekturen har utvecklats över tre generationer – från monolitiska lokala system till helt frikopplad, öppen Lakebase-arkitektur. Separationen av beräkning och lagring är det centrala genombrottet som gör AI-applikationer i realtid gångbara utan ömtåliga pipelines.

Vad är Databricks Lakebase och vad är det byggt på?

Databricks Lakebase förenklar applikationsutveckling med en beprövad OLTP-databas, utan huvudvärken med databashantering. Det eliminerar komplexa, anpassade ETL-pipelines och säkerställer att transaktionsdata integreras i analys- och Databricks AI-nativa applikationer. Team kan undvika utvecklingsförseningar genom att använda välbekanta Postgres med öppen källkod med befintliga bibliotek , ramverk och SQL – med frikopplad beräkning och lagring för oberoende skalning, återställning vid tidpunkten och möjligheten att versionsgenerera en databas som kod.

Databricks Lakebase-arkitektur kombinerar Postgres tillförlitlighet och förtrogenhet med moderna databasfunktioner, inklusive autoskalning, skalning till noll, förgrening och omedelbar återställning. Dessa funktioner möjliggör flexibla utvecklingsarbetsflöden, kostnadseffektiv drift och snabb iteration. Plattformen integreras med realtidsfunktionsvisning för ML-modeller och Feature Store, agentstatus för AI-agenter och transaktionsdata för Databricks-appar eller andra applikationer som är anslutna till dem.

Data rör sig i två riktningar mellan Lakehouse och Lakebase:

• Synkroniserade tabeller replikerar Lakehouse-data till Databricks Lakebase så att applikationer kan fråga med låg latens


• Lakehouse Sync flyttar operativa data från Lakebase tillbaka till Lakehouse för analys och nedströms maskininlärning

Båda riktningarna. Inga anpassade pipelines!

Databricks Lakebase-arkitektur: Hur OLTP och OLAP förenas

Databricks Lakebase-arkitektur: transaktionell beräkning (Postgres) körs oberoende ovanpå öppen lagring i sjön, vilket förenar OLTP- och OLAP-arbetsbelastningar på en enda styrd grund – utan ETL-pipelines mellan dem.

Vilka är kärnfunktionerna i Databricks Lakebase-arkitektur?

Lakebase Databricks-plattformen levererar en uppsättning funktioner i produktionsklass:

Förgreningsfunktionen förtjänar särskild uppmärksamhet. Precis som Git för din databas låter förgreningar team skapa isolerade miljöer från produktionsdata på några sekunder – testa schemaändringar, validera ny applikationslogik, köra belastningstester – utan att behöva röra vid live-arbetsbelastningar eller betala för fullständig dataduplicering.

Hur kommer man igång med Databricks Lakebase? Ett praktiskt ramverk

Att få en produktionsklar applikation att köras på Lakebase Databricks-plattformen följer en strukturerad process. Dokumentationen för Microsoft Azure Databricks Lakebase och Databricks-bloggen om att bygga produktionsklara appar beskriver båda detta i detalj.

De viktigaste faserna är:

• Etablera och aktivera. Aktivera Databricks Lakebase från din arbetsyta. Skapa ett Lakebase Autoscaling-projekt – den översta behållaren för databasresurser, grenar, beräkningar och roller. För Azure Databricks Lakebase-användare innehåller Azure-dokumentationen regionspecifika etableringssteg.


• Definiera ditt schema. Använd standard-SQL eller den psql-kompatibla frågeredigeraren direkt i Databricks databasplattformsgränssnitt. Inga nya verktyg krävs; miljön är bekant för alla Postgres-utvecklare.


• Designa dina dataflöden. Bestäm vilka Lakehouse-tabeller som ska synkroniseras med Databricks Lakebase för programläsningar med låg latens, och vilka Lakebase-tabeller som behöver Lakehouse Sync för analytisk nedströmsanvändning. Det är detta arkitekturbeslut som det mesta implementeringsarbetet koncentreras till.


• Anslut din applikationsbackend. Dirigera applikationsläsnings-/skrivåtgärder till Databricks Lakebase via standard Postgres-drivrutiner. För Databricks-appar förenklar en inbyggd Lakebase-resursintegration autentisering och anslutningshantering avsevärt. Databricks-bloggen om att använda Lakebase som ett transaktionellt datalager ger detaljerade mönster för detta steg.


• Tillämpa styrning via Unity Catalog. Registrera Databricks Lakebase som en katalog i Unity Catalog. Principer för åtkomstkontroll, granskning och efterlevnad som definierats en gång gäller enhetligt för både operativa och analytiska data.


• Konfigurera autoskalning och förgrening. Ställ in tröskelvärden för skalning till noll för inaktiva perioder. Skapa en utvecklingsgren från produktionsdata för kontinuerlig testning och iteration.

Hur en produktionsklar dataapplikation sätts samman på Lakebase Databricks-plattformen: Databricks Apps i frontend, Databricks Lakebase som transaktionsdatalager, Unity Catalog som hanterar styrda deltatabeller med automatisk synkronisering – allt distribuerat som kod via Databricks Asset Bundles.

Vilka är användningsområdena för Lakebase-databasen – och vem använder den redan?

Användningsfallen för Lakebase-databasen spänner över branscher och arkitekturmönster. Databricks Lakebase identifierar följande primära arbetsbelastningstyper:

Var passar Databricks Lakebase in?

Databricks Lakebase är byggd för ett specifikt problem. Det är inte en universell ersättning för alla operativa databaser. Här är ett tydligt ramverk för att utvärdera lämplighet:

Använd Databricks Lakebase när:

• Din applikation behöver skriva transaktionsdata och omedelbart fråga efter analytiskt sammanhang från samma data – personalisering i realtid, arbetsflöden för AI-agenter, funktionslager, live-instrumentpaneler.


• Du vill eliminera den tekniska kostnaden för att underhålla en separat OLTP-databas bredvid ett Lakehouse


• Styrning, granskningsbarhet och efterlevnad måste omfatta både operativa och analytiska data utan dubbel konfiguration.

Azure Databricks Lakebase- användare bör notera plattformens nuvarande regionala tillgänglighet för autoskalning – som täcker större AWS- och Azure-regioner – innan de granskar latenskänsliga globala distributioner. Azure-dokumentationen beskriver regioner som stöds och konfigurationsspecifikationer.

Databricks Lakebase stöder latens på under 10 ms för arbetsbelastningar med högt genomflöde, vilket täcker den stora majoriteten av kraven för företags AI-applikationer. Kombinationen av Databricks Lakebase med OLTP-databasen gör det möjligt att lösa arkitekturproblem på ett fundamentalt annorlunda sätt, med en tydlig väg bort från bräckliga ETL-pipelines och den påtvingade separationen av analytiska och operativa lager.

Hur kommer man till produktion med Databricks Lakebase?

Databricks Lakebase är nu allmänt tillgänglig på AWS och i betaversion på Azure, med ett växande ekosystem av lanseringspartners som har validerat det för databasmodernisering, utveckling av realtidsapplikationer och agentbaserade AI-arbetsflöden. Databricks Lakebases lanseringspartners är redo att hjälpa kunder att dra nytta av denna förändring, efter att ha validerat Lakebase Databricks-plattformen för databasmodernisering, byggande av realtidsapplikationer och driftsättning av agentbaserade AI-arbetsflöden.

Polestar Analytics är bland dessa lanseringspartners. Som Databricks AI-native implementeringsspecialist inom datateknik, AI-applikationer och Databricks Lakebase-arkitektur , tillför Polestar Analytics implementeringsmetodiken – arkitekturdesign, dataflödesmappning, styrningskonfiguration och applikationsintegration – som omvandlar en tekniskt kapabel plattform till ett produktionssystem som fungerar tillförlitligt och skalas förutsägbart. Databricks databasplattform eliminerar den arkitektoniska flaskhalsen. En beprövad implementeringspartner eliminerar distributionsrisken.

Databricks Lakebase-integrationskarta: Var Lakebase befinner sig i den fullständiga plattformen

Var Databricks Lakebase sitter inom den fullständiga Databricks AI-nativa plattformen: driver ML-funktionsvisning i realtid, AI-agentstatuspersistens och applikationstransaktionsdata – allt styrs av Unity Catalog.

Vanliga frågor om Databricks Lakebase