Sammanfatta detta blogginlägg med:
Redaktörens anmärkning: I dagens datadrivna landskap kan betydelsen av korrekt och tillförlitlig information inte överskattas. De ekonomiska konsekvenserna av otillräcklig datakvalitet är betydande och mångfacetterade. Som framhävs av kostnaderna som beskrivs ovan måste organisationer inse att det är mycket mer kostnadseffektivt att säkerställa datanoggrannhet från början (förebyggande kostnad) än att åtgärda fel i efterhand (korrigeringskostnad). Den mest alarmerande kostnaden härrör dock från att man helt försummar datarensning, vilket resulterar i betydande operativa bakslag och en hög felkostnad.
Att investera i robusta datakvalitetsåtgärder är inte bara en proaktiv strategi; det är en viktig sådan. Den här bloggen understryker vikten av en heltäckande strategi för datahantering och betonar hur försiktig förebyggande åtgärder kan förhindra högre korrigerings- och felkostnader. Genom att göra det kan organisationer skydda sina resurser, förbättra beslutsfattandet och stärka sin konkurrensfördel i en alltmerdatacentrerad affärsmiljö .
Vi har alla varit där och känt att datakvaliteten inte håller måttet. ”Förebyggande är bättre än botande” är ett talesätt som vi alla har hört och som vi känner igen oss i. Det är 1, 10, 100-regeln som säger att förebyggande är mindre kostsamt än att korrigera, vilket är mindre kostsamt än att misslyckas.
Att kontrollera en posts kvalitet kostar 1 dollar (förebyggande kostnad), att rengöra och ta bort dubbletter kostar 10 dollar (korrigeringskostnad) och att hantering av en orensad post kostar 100 dollar (felkostnad).
Det finns ett känt uttryck som används flitigt inom branschen i samband med data, nämligen ”Garbage in; Garbage out”, vilket antyder att datamodeller och motorer/prognoser alltid är lika bra som den data som matas in i systemet.
Med hänvisning till den här IBM-videon om datakvalitet, tänk dig en restaurang. Om tomaterna de köpte in visade sig vara dåliga och kvalitetsteamet missade detta, då kommer den resulterande maten också att vara kontaminerad med ruttna tomater. På samma sätt, med dålig data, kommer alla dina efterföljande aggregeringar, prestationsmått och till och med insikter att vara felaktiga.
Om ditt team lider av "dålig" data har du kommit rätt. Låt oss titta på exakt vad som kan betecknas som dålig data, vilka orsakerna är, hur man upptäcker det, vilka utmaningar det utgör, hur företag hanterar problemet och vilken framtida teknik som kan bana väg framåt.
Vad man inte ska göra är lika viktigt som vad man ska göra, i vissa fall ännu viktigare, och det är därför det är klokt att en IT-chef, teknisk chef eller någon annan chef vet hur man upptäcker "dålig/dålig data".
Hur man upptäcker data av dålig kvalitet
| Inkonsekvens: Varierande format och motstridiga värden. | Ofullständighet: Saknad eller ofullständig information. |
| Dubbletter: Upprepade poster snedvrider noggrannheten. | Avvikande värden: Datapunkter som avviker signifikant. |
| Datakällor och tillförlitlighet: Obekräftat eller osäkert ursprung. | Brist på kontext: Avsaknad av nödvändig bakgrund. |
| Datavalideringsfel: Ogiltiga indata påverkar kvaliteten. | Datainmatningsfel: Misstag vid inmatning. |
| Dataålder: Informationen är föråldrad eller irrelevant. | Datarelevans: Inte i linje med syftet. |
- Konsekvens – Datavärden bör inte stå i konflikt med andra värden i dina datamängder
- Noggrannhet – Det ska inte finnas några fel i dina data
- Validitet – Dina data ska överensstämma med ett visst format
- Fullständighet – Det ska inte finnas några data som saknas
- Aktualitet – Dina uppgifter ska vara aktuella
- Unikhet – Det ska inte finnas några dubbletter
Fakta om konsekvenserna av dålig data från forskning
I dagens datadrivna landskap kan de dolda kostnaderna för dålig datakvalitet vara svindlande. Enligt HBR slösar kunskapsarbetare hela 50 % av sin tid i dolda datafabriker, där de brottas med datarelaterade utmaningar som att söka efter information, korrigera fel och söka pålitliga källor.
Detta gäller även dataforskare, där 60 % av deras ansträngningar läggs på datarening och organisation, vilket observerats av CrowdFlower . Forresters alarmerande upptäckt visar att endast 0,5 % av tillgänglig data utnyttjas för analys, och outnyttjad potential kostar företag miljoner. Mitt i dessa svårigheter blir det tydligt hur brådskande det är att åtgärda dålig datakvalitet. Gartners rekommendation att bibehålla ett 3,5 sigma-värde för datakvalitet understryker vikten av endast 22 800 defekter per miljon datapunkter för att få korrekta insikter.
Forrester rapporterar vidare att över en tredjedel av analytikerna lägger över 40 % av sin tid på att hantera dataproblem. Den olyckliga verkligheten är att cirka 88 % av dataintegrationsprojekt antingen misslyckas helt eller drabbas av betydande budgetöverskridanden på grund av undermålig datakvalitet.
Forrester uppskattar dock att en blygsam förbättring av datatillgängligheten på 10 % skulle kunna generera över 65 miljoner dollar i ytterligare nettoinkomst för typiska Fortune 1000-företag.
Denna växande evidens understryker vikten av att företag prioriterar datakvalitet. Det handlar inte bara om att undvika fel; det handlar om att utnyttja datas verkliga potential för välgrundade beslut och hållbar tillväxt.
Orsaker till dålig data
1. Äldre verktyg: Föråldrade eller obsoleta system, programvara eller databaser saknar moderna datakvalitetskontroller, vilket leder till problem med dataintegriteten. De kanske inte integreras väl med nyare system, vilket resulterar i datainkonsekvenser eller fel.
2. Bristande dokumentation: Även om det sägs att data åldras som vin, kan data förfalla när datas noggrannhet och relevans minskar med tiden på grund av bristande dokumentation. Detta kan hända på grund av snabba förändringar i marknadsförhållanden, föråldrade system eller för stort beroende av människor.
3. Fragmenterad data/Datasilos: information som är spridd över olika källor, databaser eller system utan korrekt integration. Datafragmentering kan leda till dubbla poster och motstridig information.
4. Bristande datastyrning: Organisationer som saknar lämpliga policyer och praxis för datastyrning kan ha svårt att upprätthålla dataintegriteten.
5. Dålig datamigrering: Även under lyft- och skiftprocesser kan data bli skadade eller förlorade om de inte hanteras korrekt.
6. Brist på datastandardisering: Inkonsekventa dataformat/scheman och namngivningskonventioner kan leda till utmaningar och felaktigheter i dataintegrationen. Att bygga en datalinje rekommenderas i sådana fall.
7. Mänskliga fel: Misstag som görs av individer vid datainmatning eller datamanipulation kan introducera fel i datamängden.
Att ta itu med dessa orsaker till dålig data kräver en kombination av tekniska lösningar, organisatoriska förändringar och en datacentrerad kultur som betonar vikten av högkvalitativ data.
ResearchGate publicerade en artikel om ”Klassificering av kostnader och effekter av dålig datakvalitet – exempel” av Tony O'Brien och Markus Helfert. Även om den är föråldrad, är utmaningarna och problemen desamma.
Som visas i tabellen är tid en av de viktigaste kostnaderna som uppstår på grund av felaktig data i ditt system, vilket validerats av flera forskningsorganisationer. Det tar tid från ditt datateam som skulle kunna läggas på mer meningsfulla uppgifter.
Låt oss överväga konsekvenserna av okända "dåliga" data och dess inverkan på hela systemet när datateam förbiser denna fråga i de inledande skedena.
Nedströmspåverkan av dålig data
Försämringen av kunddata, med en hastighet av 2 % per månad eller 25 % per år, i kombination med inkonsekvenser, hotar affärsverksamheten och orsakar kostsamma förseningar.
Kostnaden för dålig data
- Bristfälliga insikter: Dålig datakvalitet leder till dubbel och redundant information, vilket snedvrider beslutsfattandet och resulterar i felaktiga insikter.
- Intäkts-/kostnadsläckage: Organisationer kan drabbas av läckage på i genomsnitt 15 miljoner dollar per år på grund av dålig datakvalitet, vilket förvärras i takt med att informationsmiljöerna blir mer komplexa.
- Organisatorisk effektivitet: Dålig datakvalitet hämmar affärsverksamheten, vilket leder till ineffektiv målgruppsinriktning och resursslöseri.
- Problem under migrering: Att migrera från en plattform till en annan kan vara problematiskt på grund av olika datastyrning, standardiseringsregler och inkonsekvenser i dataformat.
Förlorad tid: förklarad genom ett verkligt fall
Medan vi var involverade i implementeringen av FP&A (finansiell planering och analys) för en av världens största BPO/KPO:er, lade vi märke till något intressant: de hade anställt fler än 50 auktoriserade revisorer som främst fokuserade på att sammanställa data i Excel. Istället för att utföra analyser arbetade de med manuell datainsamling/förberedelse.
Om deras data hade varit tydlig och välorganiserad hade derasFP&A-team kunnat utnyttjas mer effektivt. Detta var inte ett ovanligt scenario – många dataexperter lägger ner avsevärd tid på att säkerställa att data är korrekt och organiserad. Att slösa tid innebär att slösa pengar, och ineffektiviteten i att inte optimera teamets potential är fortfarande en betydande utmaning. Denna situation kan dock lösas genom att ha pålitlig och högkvalitativ data lättillgänglig.
I samband med e-handel är en anmärkningsvärd aspekt antalet förlorade försäljningar till följd av felaktig eller ofullständig information på produktsidor. När kunder stöter på felaktig eller otillräcklig information om en produkt de är intresserade av minskar deras förtroende för att göra ett köp.
Förlust av förtroende: Felaktig eller ofullständig data urholkar kundernas förtroende för företagets förmåga att tillhandahålla tillförlitlig information, vilket gör att kunderna tvekar att engagera sig.
Missade försäljningsmöjligheter: Kunder som överger en produktsida på grund av otillräcklig data representerar missade försäljningsmöjligheter för företaget.
Kundfrustration: Frustration uppstår när kunder inte hittar den information de behöver, vilket leder till en negativ känslomässig upplevelse.
Negativa uppfattningar: Dålig kundupplevelse på grund av dålig data kan leda till att kunderna uppfattar varumärket som oprofessionellt, slarvigt eller likgiltigt inför deras behov.
Minskad kundlojalitet: Missnöjda upplevelser minskar kundlojaliteten, vilket gör att kunderna är mindre benägna att återvända för framtida köp.
Skada på varumärkesrykte: Ett mönster av dålig kundupplevelse på grund av dålig data kan skada varumärkets rykte eftersom kunder delar sina negativa upplevelser med andra.
Utvecklingen av stordata har drivits av banbrytande tekniker som artificiell intelligens (AI), maskininlärning (ML) och sakernas internet (IoT). Tillkomsten av edge-to-cloud och strömmande data kräver anpassningsförmåga och precision som aldrig förr. Det gör lagring av data mer ekonomiskt och därmed genereras mycket mörk data som kan utgöra ett hot mot dataintegriteten.
Petabyte av data från Redshift, snowflake och GCP kan inte granskas av människor. Det måste automatiseras. Data är inte längre stationärt utan en dynamisk ström som kräver realtidshantering. Denna övergång innebär nya utmaningar när det gäller att upprätthålla datagranularitet och noggrannhet.
Enligt denna Talend-blogg är dock komplexiteten i att utveckla interna databehandlingslösningar och de orimliga kostnaderna förknippade med att förvärva paketerade verktyg ett dilemma som snabbväxande företag står inför.
"Hönan och ägget"-dilemmat
För att möjliggöra effektiva AI-program är orörda data av största vikt. Likaså kan AI underlätta automatiseringen av datareningsprocesser och säkerställa att data bibehåller sin integritet hela tiden. Om datakvaliteten inte upprätthålls på tillräckligt höga nivåer kommer ML-algoritmer att "lära sig dåligt" och kan utveckla en snedvriden tolkning av verkligheten som sedan kommer att ligga till grund för automatiserade beslut eller rekommendationer.
* AI kunde inte upptäcka en hund som en hund och trodde att det var en tiger, vilket antyder att data utan kontext bara är brus.
När vi hittar ett fel korrigerar vi det vanligtvis helt enkelt och går vidare utan att tänka närmare. Problemet är att felen återkommer, gång på gång. Och de kommer att göra det tills vi gör något åt det. Detta leder oss till nästa punkt: Dataobserverbarhet.
För att kontrollera dålig datakvalitet eller datahantering är det viktigt att ha några viktiga begrepp inom dataobserverbarhet i åtanke. Dessa lägger grunden för att bygga ett robust ramverk för datastyrning som bör vara skräddarsytt för din organisation.
Vår omfattande portfölj för datakvalitet, inklusive databerikning, styrning, integration och en sofistikerad sparse-motor, ger organisationer möjlighet att navigera i datalandskapet med tillförsikt.
Inom datakvalitetshantering använder våra acceleratorer Pyspark för att snabbt utföra datakvalitetskontroller av både ostrukturerad och strukturerad data. Detta säkerställer en filtreringsprocess som eliminerar dubbelarbete och upprätthåller dataintegriteten.
Med ett orubbligt fokus på autonom affärsövervakning står säkerställandet av god datakvalitet i centrum och främjar korrekta insikter. Polestar står redo att vägleda organisationer genom denna resa och ge dem möjlighet att utnyttja den verkliga potentialen hos sina datatillgångar.