Vat dit blogbericht samen met:
Noot van de redactie: In het huidige datagedreven landschap kan het belang van accurate en betrouwbare informatie niet genoeg benadrukt worden. De financiële gevolgen van onvoldoende datakwaliteit zijn aanzienlijk en veelzijdig. Zoals de hierboven beschreven kosten illustreren, moeten organisaties beseffen dat het vanaf het begin waarborgen van datanauwkeurigheid (preventiekosten) veel kosteneffectiever is dan het achteraf corrigeren van fouten (correctiekosten). De meest alarmerende kosten ontstaan echter door het volledig verwaarlozen van dataopschoning, wat leidt tot aanzienlijke operationele tegenslagen en hoge kosten als gevolg van datafalen.
Investeren in robuuste maatregelen voor datakwaliteit is niet alleen een proactieve strategie, maar een essentiële. Deze blog benadrukt het belang van een alomvattende aanpak van datamanagement en laat zien hoe verstandige preventie hogere correctie- en faalkosten kan voorkomen. Op die manier kunnen organisaties hun middelen beschermen, de besluitvorming verbeteren en hun concurrentievoordeel versterken in een steeds meerdatagedreven zakelijke omgeving .
We kennen het allemaal wel: het gevoel dat de datakwaliteit niet goed genoeg is. "Voorkomen is beter dan genezen" is een gezegde dat we allemaal wel eens gehoord hebben en waar we ons in herkennen. Net als de 1, 10, 100-regel, die stelt dat voorkomen goedkoper is dan corrigeren, en corrigeren is weer goedkoper dan falen.
Het controleren van de kwaliteit van een document kost $1 (preventiekosten), het opschonen en verwijderen van duplicaten kost $10 (correctiekosten) en het afhandelen van een onjuist document kost $100 (foutkosten).
Er is een bekende uitdrukking die in de branche veelvuldig wordt gebruikt in de context van data: "Garbage in, Garbage out" (waardeloze invoer, waardeloze uitvoer). Dit houdt in dat datamodellen en -engines/voorspellingen altijd zo goed zijn als de data die in het systeem wordt ingevoerd.
Om een voorbeeld te geven uit deze IBM-video over datakwaliteit: stel je een restaurant voor. Als de tomaten die ze inkopen slecht blijken te zijn en dit ook nog eens over het hoofd wordt gezien door het kwaliteitsteam, dan zal het eten dat ze serveren ook besmet zijn met rotte tomaten. Op dezelfde manier zullen al je daaropvolgende aggregaties, prestatiemetingen en zelfs inzichten onnauwkeurig zijn als de data slecht is.
Als uw team te kampen heeft met "slechte" data, bent u hier aan het juiste adres. Laten we eens kijken wat we precies onder slechte data verstaan, wat de oorzaken zijn, hoe we het kunnen herkennen, welke uitdagingen het met zich meebrengt, hoe bedrijven dit probleem aanpakken en welke toekomstige technologieën de weg vooruit kunnen banen.
Wat je niet moet doen is net zo belangrijk als wat je wel moet doen, in sommige gevallen zelfs belangrijker. Daarom is het verstandig dat een CIO, CTO of andere leidinggevende weet hoe hij of zij "slechte/onbetrouwbare data" kan herkennen.
Hoe herken je data van slechte kwaliteit?
| Inconsistentie: uiteenlopende formaten en tegenstrijdige waarden. | Onvolledigheid: Ontbrekende of gedeeltelijke informatie. |
| Dubbele vermeldingen: Herhaalde invoer die de nauwkeurigheid verstoort. | Uitschieters: Gegevenspunten die significant afwijken. |
| Gegevensbronnen en betrouwbaarheid: Ongeverifieerde of onzekere herkomst. | Gebrek aan context: Afwezigheid van noodzakelijke achtergrondinformatie. |
| Fouten bij gegevensvalidatie: Ongeldige invoer die de kwaliteit beïnvloedt. | Fouten bij gegevensinvoer: Fouten tijdens het invoeren. |
| Leeftijd van de gegevens: De informatie is verouderd of irrelevant. | Relevantie van de gegevens: Niet in lijn met het doel. |
- Consistentie – Gegevenswaarden mogen niet met elkaar in conflict zijn in andere gegevenssets.
- Nauwkeurigheid – Er mogen geen fouten in uw gegevens zitten.
- Validiteit – Uw gegevens moeten aan een bepaald formaat voldoen.
- Volledigheid – Er mogen geen ontbrekende gegevens zijn.
- Actualiteit – Uw gegevens moeten actueel zijn.
- Uniekheid – Er mogen geen duplicaten zijn.
Feiten over de gevolgen van gebrekkige onderzoeksgegevens
In het huidige datagedreven landschap kunnen de verborgen kosten van slechte datakwaliteit enorm zijn. Volgens HBR verspillen kenniswerkers maar liefst 50% van hun tijd aan verborgen datafabrieken, waar ze worstelen met data-gerelateerde uitdagingen zoals het zoeken naar informatie, het corrigeren van fouten en het vinden van betrouwbare bronnen.
Dit geldt ook voor datawetenschappers, die volgens CrowdFlower 60% van hun tijd besteden aan het opschonen en organiseren van data. De alarmerende ontdekking van Forrester laat zien dat slechts 0,5% van de beschikbare data wordt gebruikt voor analyse, waardoor bedrijven miljoenen mislopen. Te midden van deze problemen wordt de urgentie om de slechte datakwaliteit te verbeteren duidelijk. De aanbeveling van Gartner om een sigma-waarde van 3,5 voor datakwaliteit aan te houden, onderstreept de noodzaak van slechts 22.800 defecten per miljoen datapunten voor accurate inzichten.
Forrester meldt verder dat ruim een derde van de analisten meer dan 40% van hun tijd besteedt aan het oplossen van data-problemen. De trieste realiteit is dat ongeveer 88% van de data-integratieprojecten volledig mislukken of te maken krijgen met aanzienlijke budgetoverschrijdingen als gevolg van ondermaatse datakwaliteit.
Forrester schat echter dat een bescheiden verbetering van 10% in de toegankelijkheid van gegevens voor doorsnee Fortune 1000-bedrijven meer dan 65 miljoen dollar extra nettowinst zou kunnen opleveren.
Dit groeiende bewijs onderstreept de noodzaak voor bedrijven om prioriteit te geven aan datakwaliteit. Het gaat niet alleen om het voorkomen van fouten; het gaat erom het ware potentieel van data te benutten voor weloverwogen besluitvorming en duurzame groei.
Redenen voor onjuiste gegevens
1. Verouderde systemen: Verouderde systemen, software of databases missen moderne controlemechanismen voor gegevenskwaliteit, wat leidt tot problemen met de gegevensintegriteit. Ze integreren mogelijk niet goed met nieuwere systemen, met als gevolg inconsistenties of fouten in de gegevens.
2. Gebrek aan documentatie: Hoewel men zegt dat data beter wordt als wijn, kan data in de loop der tijd achteruitgaan doordat de nauwkeurigheid en relevantie ervan afnemen als gevolg van gebrek aan documentatie. Dit kan gebeuren door snelle veranderingen in de marktomstandigheden, verouderde systemen of een te grote afhankelijkheid van de data.
3. Gefragmenteerde data/datasilo's: informatie die verspreid is over verschillende bronnen, databases of systemen zonder goede integratie. Datafragmentatie kan leiden tot dubbele vermeldingen en tegenstrijdige informatie.
4. Gebrek aan databeheer: Organisaties die geen adequaat databeheerbeleid en -procedures hanteren, kunnen moeite hebben om de data-integriteit te waarborgen.
5. Slechte datamigratie: Zelfs tijdens 'lift and shift'-processen kunnen gegevens beschadigd raken of verloren gaan als ze niet correct worden behandeld.
6. Gebrek aan datastandaardisatie: Inconsistente dataformaten/schema's en naamgevingsconventies kunnen leiden tot problemen met data-integratie en onnauwkeurigheden. In dergelijke gevallen wordt het aan te raden een data-herkomststructuur op te bouwen.
7. Menselijke fouten: Fouten die individuen maken tijdens het invoeren of bewerken van gegevens kunnen fouten in de dataset introduceren.
Het aanpakken van deze oorzaken van slechte data vereist een combinatie van technologische oplossingen, organisatorische veranderingen en een datacentrische cultuur die het belang van hoogwaardige data benadrukt.
ResearchGate publiceerde een artikel over "Het classificeren van kosten en effecten van slechte datakwaliteit - voorbeelden" van Tony O'Brien en Markus Helfert. Hoewel het artikel gedateerd is, blijven de uitdagingen en problemen onveranderd.
Zoals de tabel laat zien, is tijd een van de belangrijkste kostenposten die voortkomen uit onjuiste gegevens in uw systeem, wat door meerdere onderzoeksinstellingen is bevestigd. Het kost uw datateam tijd die ze aan belangrijkere taken zouden kunnen besteden.
Laten we eens kijken naar de gevolgen van onerkende "slechte" data en de impact daarvan op het hele systeem wanneer datateams dit probleem in de beginfase over het hoofd zien.
Gevolgen van onjuiste gegevens in de toeleveringsketen
De achteruitgang van klantgegevens, met een snelheid van 2% per maand of 25% per jaar, in combinatie met inconsistenties, bedreigt de bedrijfsvoering en veroorzaakt kostbare vertragingen.
De kosten van gebrekkige data
- Gebrekkige inzichten: Slechte datakwaliteit leidt tot dubbele en overbodige informatie, waardoor besluitvorming wordt verstoord en onjuiste inzichten ontstaan.
- Lekkage van inkomsten/uitgaven: Organisaties kunnen gemiddeld $15 miljoen per jaar verliezen als gevolg van slechte datakwaliteit, een probleem dat verergert naarmate informatieomgevingen complexer worden.
- Organisatorische efficiëntie: Slechte datakwaliteit belemmert de bedrijfsvoering, wat leidt tot ineffectieve targeting en verspilling van middelen.
- Problemen tijdens de migratie: Migreren van het ene platform naar het andere kan problematisch zijn vanwege verschillen in gegevensbeheer, standaardisatieregels en inconsistenties in gegevensformaten.
Verloren tijd: uitgelegd aan de hand van een praktijkvoorbeeld
Tijdens onze betrokkenheid bij de implementatie van FP&A (Financial Planning and Analysis) voor een van de grootste BPO/KPO-bedrijven ter wereld, viel ons iets interessants op: ze hadden meer dan 50 registeraccountants in dienst die zich voornamelijk bezighielden met het verzamelen van gegevens in Excel. In plaats van analyses uit te voeren, waren ze betrokken bij handmatige taken voor het verzamelen en voorbereiden van gegevens.
Als hun data schoon en goed georganiseerd was geweest, had hunFP&A-team effectiever kunnen worden ingezet. Dit was geen ongebruikelijk scenario – veel data-experts besteden veel tijd aan het waarborgen van de nauwkeurigheid en organisatie van hun data. Tijdverspilling betekent geldverspilling, en de inefficiëntie die ontstaat door het potentieel van je team niet optimaal te benutten, blijft een grote uitdaging. Deze situatie kan echter worden opgelost door te zorgen voor betrouwbare en kwalitatief hoogwaardige data die direct beschikbaar zijn.
In de context van e-commerce is een opvallend aspect het aantal gemiste verkopen als gevolg van onjuiste of onvolledige informatie op productpagina's. Wanneer klanten onjuiste of onvoldoende details aantreffen over een product waarin ze geïnteresseerd zijn, neemt hun vertrouwen in de aankoop af.
Verlies van vertrouwen: Onnauwkeurige of onvolledige gegevens ondermijnen het vertrouwen van klanten in het vermogen van het bedrijf om betrouwbare informatie te verstrekken, waardoor klanten aarzelen om zaken te doen.
Gemiste verkoopkansen: Klanten die een productpagina verlaten vanwege onvoldoende gegevens, betekenen gemiste verkoopkansen voor het bedrijf.
Klantfrustratie: Frustratie ontstaat wanneer klanten de benodigde informatie niet kunnen vinden, wat leidt tot een negatieve emotionele ervaring.
Negatieve percepties: Een slechte klantervaring als gevolg van onjuiste data kan ertoe leiden dat klanten het merk als onprofessioneel, onzorgvuldig of onverschillig ten opzichte van hun behoeften beschouwen.
Verminderde klantloyaliteit: Onbevredigende ervaringen verminderen de klantloyaliteit, waardoor klanten minder snel terugkeren voor toekomstige aankopen.
Schade aan de merkreputatie: Een patroon van slechte klantervaring als gevolg van onjuiste data kan de reputatie van het merk schaden, omdat klanten hun negatieve ervaringen met anderen delen.
De evolutie van big data wordt aangedreven door baanbrekende technologieën zoals kunstmatige intelligentie (AI), machine learning (ML) en het Internet of Things (IoT). De opkomst van edge-to-cloud en streaming data vereist een ongekende mate van aanpassingsvermogen en precisie. Hierdoor wordt dataopslag economischer, wat resulteert in een grote hoeveelheid 'dark data' die een bedreiging kan vormen voor de data-integriteit.
Petabytes aan data van Redshift, Snowflake en GCP kunnen niet door mensen worden geïnspecteerd. Dit moet geautomatiseerd gebeuren. Data is niet langer statisch, maar een dynamische stroom die realtime beheer vereist. Deze transitie brengt nieuwe uitdagingen met zich mee op het gebied van het waarborgen van de granulariteit en nauwkeurigheid van de data.
De complexiteit van het ontwikkelen van interne oplossingen voor dataopschoning en de exorbitante kosten die gepaard gaan met de aanschaf van kant-en-klare tools vormen echter een dilemma voor snelgroeiende bedrijven, aldus deze blogpost van Talend.
Het kip-of-ei-dilemma
Om efficiënte AI-programma's mogelijk te maken, zijn onberispelijke data van het grootste belang. AI kan bovendien de automatisering van dataopschoningsprocessen vergemakkelijken, waardoor de integriteit van de data gewaarborgd blijft. Als de datakwaliteit niet op een voldoende hoog niveau wordt gehouden, zullen machine learning-algoritmen "slecht leren" en mogelijk een vertekende interpretatie van de werkelijkheid ontwikkelen, die vervolgens de basis vormt voor geautomatiseerde beslissingen of aanbevelingen.
* De AI kon een hond niet als hond herkennen en dacht dat het een tijger was, wat impliceert dat data zonder context slechts ruis is.
Wanneer we een fout vinden, corrigeren we die meestal gewoon en gaan we verder zonder er verder over na te denken. Het probleem is echter dat fouten zich steeds opnieuw voordoen. En dat zullen ze blijven doen totdat we er iets aan doen. Dit brengt ons bij het volgende punt: Data-observeerbaarheid.
Om slechte datakwaliteit of gebrekkig databeheer te controleren, is het essentieel om enkele kernconcepten van data-observabiliteit in gedachten te houden. Deze vormen de basis voor het opbouwen van een robuust databeheerframework dat op maat gemaakt moet zijn voor uw organisatie.
Ons uitgebreide portfolio voor datakwaliteit, inclusief dataverrijking, -beheer, -integratie en een geavanceerde sparse engine, stelt organisaties in staat om vol vertrouwen door het datalandschap te navigeren.
Op het gebied van datakwaliteitsbeheer maken onze accelerators gebruik van Pyspark om snel datakwaliteitscontroles uit te voeren op zowel ongestructureerde als gestructureerde data. Dit zorgt voor een filterproces dat duplicaten elimineert en de integriteit van de data waarborgt.
Met een onwrikbare focus op autonome bedrijfsmonitoring staat de waarborging van goede datakwaliteit centraal, wat leidt tot accurate inzichten. Polestar staat klaar om organisaties te begeleiden in dit proces en hen in staat te stellen het ware potentieel van hun data te benutten.