Datahanteringsstrategi med datalager och datasjö

• Handlar ert datakrav om öppensinnad upptäckt eller ordnad informationsleverans?
• Är era analysbehov begränsade till ett fåtal avancerade användare? Eller är det för en stor grupp bestående av affärsmålgruppen?
• Finns det ett behov av att kontrollera frågelogiken för att säkerställa att användarna får konsekventa resultat?
• Görs frågor på en stor mängd data?

Skillnader i teknik

En datasjö använder en platt arkitektur för att lagra en enorm mängd rådata i sitt ursprungliga format tills den behövs. Det finns ingen fast gräns för kontostorlek eller fil. De olika dataelementen i datasjöar tilldelas unika identifierare och taggas med utökade metadatataggar. När affärsfrågor uppstår frågas datasjön efter relevant data, och den mindre datamängden analyseras sedan för att besvara frågan. Fram till datafrågan är schemat inte definierat. Å andra sidan lagrar ett hierarkiskt datalager data i filer eller mappar med ett definierat schema. Informationen i ett datalager lagras av subjektet för att hjälpa ledningen att fatta snabba beslut.

Skillnader i användning

Datasjöar är användbara för dataforskare eftersom de möjliggör experiment med massiva datamängder. Användarna av datasjöar är vanligtvis personer som vill göra en grundlig analys av data. Men det betyder inte att de avstår från att använda datalager. Datalagret fungerar som en primär källa och de får tillgång till data från datasjöar när de behöver information utanför datalagrets omfattning. Eftersom data i en datasjö saknar en meningsfull struktur kan datasjön vara rörig för den större affärspubliken.

I ett datalager däremot anpassas mått och dimensioner till härdbara komponenter som är konsekventa, styrda och enklare för en ständigt skalbar publik att konsumera. 80 % av användarna av datalager är affärsanvändare som behöver förfinade och systematiska data. I ett datalager, med frågeverktyg som använder hierarkier, kan du borra ner i dina data och se olika granularitetsnivåer.

Det är därför en avsevärd mängd tid läggs ner på att rengöra och katalogisera data i ett datalager. Detta måste göras innan affärsmän kan använda det för rapportering och analys.

En datasjö, eftersom den lagrar alla typer av data i sin råa form, är lättillgänglig för alla användare. Användare kan utforska data på nya sätt. Mer data innebär att fler frågor kan besvaras. Detta gör den lätt att anpassa. Å andra sidan tar ett datalager ganska lång tid att etablera. Under utvecklingen ägnas mycket tid åt att analysera datakällorna och hur de kan anpassas för att möta behoven hos ett visst företag. Även om de flesta datalager är utformade för att vara så anpassningsbara som möjligt, förbrukar de vanligtvis mycket tid och utvecklarresurser.

Data Lake är ett billigare sätt att lagra/hantera data. Det stöder de snabba utforsknings- och upptäcktsprocesser som data science-teamet använder för att upptäcka variabler och mätvärden. Med data lake kan data science-teamet bygga prediktiva och preskriptiva analyser som är nödvändiga för att stödja organisationens olika affärsanvändningsfall och viktiga affärsinitiativ.

Till exempel, inom hälso- och sjukvårdsbranschen har datalagermetoden misslyckats med att driva fram högvärdiga analysanvändningsfall. En stor mängd data – strukturerad, semistrukturerad och ostrukturerad – samlas in i patientjournaler, kliniska data etc. och insikterna behövs i realtid. Datasjöar tar hälso- och sjukvårdsanalys till nästa nivå och stöder avancerade och komplexa analysanvändningsfall med en snabbare handläggningstid, vilket ger högre värde och större avkastning på investeringen för företag.

När datasjöar först kom ut på marknaden dumpade många organisationer helt enkelt data i sjön. Detta förvandlade dem till träskmarker som var nästan omöjliga att utnyttja, navigera i eller lita på. Även om den lagrade datan är inbyggd behövs det fortfarande styrning och bättre intern organisation med moderna inmatningstekniker som stöder alla former av data- och metadataintegration.

Datasjön är banbrytande. Den sparar inte bara IT-avdelningen en massa pengar, utan den stöder också avancerade analysanvändningsfall. Detta lovar företag en betydande avkastning på värdet. Datalager, å andra sidan, möjliggör mer strategisk användning av data. Organisationer ser vanligtvis datasjöar som tillägg till sitt befintliga datalager.

Datasjöar kommer att fortsätta att utvecklas och spela en allt viktigare roll i företagens datastrategi. Företag måste ha en effektiv datahanteringsarkitektur på plats som inkluderar en datasjö. Detta måste ske i samband med ett eller flera datalager som är anpassade till funktionella och avdelningsmässiga behov. Så nästa gång du funderar på ett datalager kontra en datasjö, tänk på den slutliga användningen och vad dina mål är med att ha datahanteringsarkitekturen. Vi förstår om du fortfarande funderar på vilket ditt rätta val skulle vara, så kontakta oss bara så hjälper vi dig att bestämma vad som skulle vara effektivt för dina behov.