Fassen Sie diesen Blogbeitrag wie folgt zusammen:
Anmerkung der Redaktion: In der heutigen datengetriebenen Welt ist die Bedeutung genauer und verlässlicher Informationen nicht zu unterschätzen. Die finanziellen Folgen unzureichender Datenqualität sind erheblich und vielschichtig. Wie die oben genannten Kosten verdeutlichen, müssen Unternehmen erkennen, dass die Sicherstellung korrekter Daten von Anfang an (Präventionskosten) weitaus kostengünstiger ist als die nachträgliche Fehlerbehebung (Korrekturkosten). Die alarmierendsten Kosten entstehen jedoch durch die gänzliche Vernachlässigung der Datenbereinigung, was zu erheblichen betrieblichen Rückschlägen und hohen Ausfallkosten führt.
Investitionen in robuste Maßnahmen zur Datenqualität sind nicht nur eine proaktive, sondern eine unerlässliche Strategie. Dieser Blog unterstreicht die Bedeutung eines umfassenden Ansatzes im Datenmanagement und zeigt auf, wie vorausschauende Prävention höhere Korrektur- und Ausfallkosten vermeiden kann. Dadurch können Unternehmen ihre Ressourcen schützen, ihre Entscheidungsfindung verbessern und ihre Wettbewerbsfähigkeit in einem zunehmenddatenzentrierten Geschäftsumfeld stärken.
Wir kennen das alle: Man hat das Gefühl, die Datenqualität sei mangelhaft. „Vorbeugen ist besser als Heilen“ – diesen Spruch haben wir alle schon einmal gehört und er trifft den Nagel auf den Kopf. Er entspricht der 100-Regel, die besagt, dass Vorbeugen günstiger ist als Korrigieren und Korrigieren günstiger als Scheitern.
Die Überprüfung der Qualität eines Datensatzes kostet 1 US-Dollar (Präventionskosten), die Bereinigung und Entfernung von Duplikaten kostet 10 US-Dollar (Korrekturkosten) und die Bearbeitung eines nicht bereinigten Datensatzes kostet 100 US-Dollar (Fehlerkosten).
Es gibt eine bekannte Redewendung, die in der Branche im Zusammenhang mit Daten weit verbreitet ist: „Müll rein, Müll raus“. Sie besagt, dass Datenmodelle und -systeme bzw. Prognosen immer nur so gut sind wie die Daten, die in das System eingespeist werden.
Um auf dieses IBM-Video zur Datenqualität zurückzukommen: Stellen Sie sich ein Restaurant vor, dessen Tomaten verdorben sind und das Qualitätsteam dies nicht bemerkt. Dann ist auch das Essen mit faulen Tomaten verunreinigt. Genauso verhält es sich mit fehlerhaften Daten: Alle nachfolgenden Auswertungen, Leistungskennzahlen und sogar Erkenntnisse sind ungenau.
Wenn Ihr Team unter „schlechten“ Daten leidet, sind Sie hier genau richtig. Wir schauen uns an, was genau als schlechte Daten bezeichnet werden kann, was die Gründe dafür sind, wie man sie erkennt, welche Herausforderungen sie mit sich bringen, wie Unternehmen dieses Problem angehen und welche Zukunftstechnologien den Weg ebnen könnten.
Was man nicht tun sollte, ist genauso wichtig wie das, was man tun sollte, in manchen Fällen sogar noch wichtiger. Deshalb ist es ratsam, dass ein CIO, CTO oder jede Führungskraft weiß, wie man „schlechte/mangelhafte Daten“ erkennt.
Wie man minderwertige Daten erkennt
| Inkonsistenz: Unterschiedliche Formate und widersprüchliche Werte. | Unvollständigkeit: Fehlende oder nur teilweise Informationen. |
| Duplikate: Wiederholte Einträge verfälschen die Genauigkeit. | Ausreißer: Datenpunkte, die deutlich abweichen. |
| Datenquellen und Zuverlässigkeit: Nicht verifizierte oder unsichere Herkunft. | Fehlender Kontext: Fehlende notwendige Hintergrundinformationen. |
| Datenvalidierungsfehler: Ungültige Eingaben beeinträchtigen die Qualität. | Dateneingabefehler: Fehler bei der Eingabe. |
| Datenalter: Die Informationen sind veraltet oder irrelevant. | Datenrelevanz: Nicht zweckorientiert. |
- Konsistenz – Die Datenwerte sollten in Ihren Datensätzen nicht mit anderen Werten in Konflikt stehen.
- Genauigkeit – Ihre Daten sollten fehlerfrei sein.
- Gültigkeit – Ihre Daten müssen einem bestimmten Format entsprechen.
- Vollständigkeit – Es sollten keine Daten fehlen.
- Aktualität – Ihre Daten sollten auf dem neuesten Stand sein.
- Einzigartigkeit – Es sollte keine Duplikate geben.
Fakten zu den Auswirkungen mangelhafter Daten in der Forschung
In der heutigen datengetriebenen Welt können die versteckten Kosten mangelhafter Datenqualität enorm sein. Laut HBR verschwenden Wissensarbeiter sage und schreibe 50 % ihrer Arbeitszeit in sogenannten „Datenfabriken“, wo sie mit datenbezogenen Herausforderungen wie der Informationssuche, der Fehlerkorrektur und der Suche nach verlässlichen Quellen zu kämpfen haben.
Dies betrifft auch Data Scientists: Laut CrowdFlower verbringen sie 60 % ihrer Arbeitszeit mit der Datenbereinigung und -organisation. Forresters alarmierende Entdeckung zeigt, dass lediglich 0,5 % der verfügbaren Daten für Analysen genutzt werden – ein ungenutztes Potenzial, das Unternehmen Millionen kostet. Angesichts dieser Schwierigkeiten wird die Dringlichkeit, die mangelhafte Datenqualität zu verbessern, deutlich. Gartners Empfehlung, einen Sigma-Wert von 3,5 für die Datenqualität einzuhalten, unterstreicht die Notwendigkeit von lediglich 22.800 Fehlern pro Million Datenpunkte für präzise Erkenntnisse.
Forrester geht noch weiter und berichtet, dass über ein Drittel der Analysten mehr als 40 % ihrer Arbeitszeit mit der Bewältigung von Datenproblemen verbringt. Die traurige Realität ist, dass rund 88 % der Datenintegrationsprojekte entweder komplett scheitern oder aufgrund mangelhafter Datenqualität erhebliche Budgetüberschreitungen erleiden.
Forrester schätzt jedoch, dass eine moderate Verbesserung der Datenzugänglichkeit um 10 % bei typischen Fortune-1000-Unternehmen zu einem zusätzlichen Nettogewinn von über 65 Millionen US-Dollar führen könnte.
Diese zunehmenden Erkenntnisse unterstreichen die Notwendigkeit für Unternehmen, der Datenqualität höchste Priorität einzuräumen. Es geht nicht nur darum, Fehler zu vermeiden, sondern darum, das wahre Potenzial von Daten für fundierte Entscheidungen und nachhaltiges Wachstum auszuschöpfen.
Gründe für fehlerhafte Daten
1. Legacy-Tools: Veraltete oder überholte Systeme, Software oder Datenbanken verfügen nicht über moderne Datenqualitätskontrollen, was zu Problemen mit der Datenintegrität führt. Sie lassen sich möglicherweise nicht gut in neuere Systeme integrieren, was Dateninkonsistenzen oder Fehler zur Folge haben kann.
2. Fehlende Dokumentation: Daten reifen zwar bekanntlich wie guter Wein, doch ihre Genauigkeit und Relevanz können mit der Zeit aufgrund mangelnder Dokumentation abnehmen. Dies kann durch schnelle Marktveränderungen, veraltete Systeme oder eine zu starke Abhängigkeit der Nutzer verursacht werden.
3. Fragmentierte Daten/Datensilos: Informationen, die über verschiedene Quellen, Datenbanken oder Systeme verteilt sind und nicht ordnungsgemäß integriert werden. Datenfragmentierung kann zu doppelten Einträgen und widersprüchlichen Informationen führen.
4. Fehlende Daten-Governance: Organisationen, denen es an angemessenen Daten-Governance-Richtlinien und -Praktiken mangelt, haben möglicherweise Schwierigkeiten, die Datenintegrität aufrechtzuerhalten.
5. Fehlerhafte Datenmigration: Selbst bei Lift-and-Shift-Prozessen können Daten beschädigt werden oder verloren gehen, wenn sie nicht korrekt behandelt werden.
6. Fehlende Datenstandardisierung: Inkonsistente Datenformate/-schemata und Namenskonventionen können zu Problemen bei der Datenintegration und zu Ungenauigkeiten führen. In solchen Fällen empfiehlt sich die Erstellung einer Datenherkunftsdokumentation.
7. Menschliches Versagen: Fehler, die von Einzelpersonen bei der Dateneingabe oder Datenmanipulation gemacht werden, können zu Fehlern im Datensatz führen.
Die Behebung dieser Ursachen für schlechte Daten erfordert eine Kombination aus technologischen Lösungen, organisatorischen Veränderungen und einer datenzentrierten Kultur, die die Bedeutung qualitativ hochwertiger Daten hervorhebt.
ResearchGate veröffentlichte eine Arbeit von Tony O'Brien und Markus Helfert mit dem Titel „Klassifizierung der Kosten und Auswirkungen schlechter Datenqualität – Beispiele“. Obwohl die Arbeit bereits etwas älter ist, bleiben die Herausforderungen und Probleme dieselben.
Wie aus der Tabelle hervorgeht, ist Zeit einer der wichtigsten Kostenfaktoren, die durch fehlerhafte Daten in Ihrem System entstehen. Dies wurde von mehreren Forschungsorganisationen bestätigt. Dadurch verliert Ihr Datenteam wertvolle Zeit, die es für wichtigere Aufgaben nutzen könnte.
Betrachten wir einmal die Folgen unerkannter „schlechter“ Daten und deren Auswirkungen auf das gesamte System, wenn Datenteams dieses Problem in der Anfangsphase übersehen.
Nachgelagerte Auswirkungen fehlerhafter Daten
Die Verschlechterung der Kundendaten um 2 % monatlich bzw. 25 % jährlich, verbunden mit Inkonsistenzen, gefährdet den Geschäftsbetrieb und verursacht kostspielige Verzögerungen.
Die Kosten schlechter Daten
- Fehlerhafte Erkenntnisse: Eine schlechte Datenqualität führt zu doppelten und redundanten Informationen, was die Entscheidungsfindung verzerrt und zu ungenauen Erkenntnissen führt.
- Umsatz-/Kostenverluste: Unternehmen erleiden aufgrund schlechter Datenqualität durchschnittlich 15 Millionen Dollar pro Jahr an Verlusten, wobei sich die Situation mit zunehmender Komplexität der Informationsumgebungen noch verschärft.
- Organisatorische Effizienz: Schlechte Datenqualität behindert den Geschäftsbetrieb, was zu ineffektivem Targeting und Ressourcenverschwendung führt.
- Probleme bei der Migration: Die Migration von einer Plattform auf eine andere kann aufgrund unterschiedlicher Datenverwaltungs- und Standardisierungsregeln sowie Inkonsistenzen im Datenformat problematisch sein.
Zeitverlust: erklärt anhand eines realen Falls
Während unserer Beteiligung an der Implementierung von FP&A (Finanzplanung und -analyse) für eines der weltweit größten BPO/KPO-Unternehmen fiel uns etwas Interessantes auf: Dort waren über 50 Wirtschaftsprüfer beschäftigt, deren Hauptaufgabe darin bestand, Daten in Excel zusammenzustellen. Anstatt Analysen durchzuführen, waren sie mit der manuellen Datenerfassung und -aufbereitung beschäftigt.
Wären ihre Daten sauber und gut strukturiert gewesen, hätte ihrFP&A-Team effektiver arbeiten können. Dies war kein Einzelfall – viele Datenexperten investieren viel Zeit in die Sicherstellung korrekter und strukturierter Daten. Zeitverschwendung bedeutet Geldverschwendung, und die Ineffizienz, das Potenzial des Teams nicht voll auszuschöpfen, bleibt eine große Herausforderung. Diese Situation lässt sich jedoch durch den Zugriff auf zuverlässige und qualitativ hochwertige Daten beheben.
Im E-Commerce-Bereich ist ein wichtiger Aspekt die Anzahl der Umsatzeinbußen aufgrund fehlerhafter oder unvollständiger Produktinformationen. Wenn Kunden ungenaue oder unzureichende Angaben zu einem Produkt finden, an dem sie interessiert sind, sinkt ihr Vertrauen in den Kauf.
Vertrauensverlust: Ungenaue oder unvollständige Daten untergraben das Vertrauen der Kunden in die Fähigkeit des Unternehmens, verlässliche Informationen bereitzustellen, und führen dazu, dass die Kunden zögern, mit dem Unternehmen in Kontakt zu treten.
Verpasste Verkaufschancen: Kunden, die eine Produktseite aufgrund unzureichender Daten verlassen, stellen für das Unternehmen verpasste Verkaufschancen dar.
Frustration bei Kunden: Frustration entsteht, wenn Kunden die benötigten Informationen nicht finden können, was zu einem negativen emotionalen Erlebnis führt.
Negative Wahrnehmungen: Eine schlechte Kundenerfahrung aufgrund fehlerhafter Daten kann dazu führen, dass Kunden die Marke als unprofessionell, nachlässig oder gleichgültig gegenüber ihren Bedürfnissen wahrnehmen.
Verminderte Kundentreue: Unzufriedene Kundenerlebnisse senken die Kundentreue und verringern die Wahrscheinlichkeit, dass Kunden für zukünftige Einkäufe zurückkehren.
Schädigung des Markenrufs: Ein Muster schlechter Kundenerfahrung aufgrund fehlerhafter Daten kann den Ruf der Marke schädigen, da Kunden ihre negativen Erfahrungen mit anderen teilen.
Die Entwicklung von Big Data wurde durch bahnbrechende Technologien wie künstliche Intelligenz (KI), maschinelles Lernen (ML) und das Internet der Dinge (IoT) vorangetrieben. Die zunehmende Vernetzung von Edge- und Cloud-Daten sowie das Streaming von Daten erfordern Anpassungsfähigkeit und Präzision wie nie zuvor. Dadurch wird die Datenspeicherung wirtschaftlicher, was jedoch zu einer großen Menge an ungenutzten Daten (Dark Data) führt, die die Datenintegrität gefährden können.
Petabytes an Daten aus Redshift, Snowflake und GCP können nicht manuell ausgewertet werden. Die Verarbeitung muss automatisiert werden. Daten sind nicht mehr statisch, sondern ein dynamischer Strom, der Echtzeitmanagement erfordert. Dieser Wandel bringt neue Herausforderungen für die Aufrechterhaltung der Datengranularität und -genauigkeit mit sich.
Laut diesem Talend-Blog stellt die Komplexität der Entwicklung eigener Datenbereinigungslösungen und die exorbitanten Kosten für den Erwerb von Komplettlösungen jedoch ein Dilemma für wachstumsstarke Unternehmen dar.
Das „Hühnchen-Ei“-Dilemma
Für effiziente KI-Programme sind einwandfreie Daten unerlässlich. KI kann zudem die Automatisierung von Datenbereinigungsprozessen unterstützen und so die Datenintegrität gewährleisten. Wird die Datenqualität nicht ausreichend hoch gehalten, lernen ML-Algorithmen unzureichend und können eine verzerrte Interpretation der Realität entwickeln, die die Grundlage für automatisierte Entscheidungen oder Empfehlungen bildet.
* Die KI konnte einen Hund nicht als Hund erkennen und hielt ihn für einen Tiger, was bedeutet, dass Daten ohne Kontext lediglich Rauschen darstellen.
Wenn wir einen Fehler entdecken, korrigieren wir ihn meist einfach und machen weiter, ohne groß darüber nachzudenken. Das Problem ist, dass Fehler immer wieder auftreten. Und das wird so bleiben, bis wir etwas dagegen unternehmen. Das führt uns zum nächsten Punkt: Datenbeobachtbarkeit.
Um mangelhafte Datenqualität oder unzureichendes Datenmanagement zu erkennen, müssen einige Schlüsselkonzepte der Datenbeobachtbarkeit unbedingt beachtet werden. Diese bilden die Grundlage für den Aufbau eines robusten Data-Governance-Frameworks, das individuell auf Ihr Unternehmen zugeschnitten sein sollte.
Unser umfassendes Portfolio im Bereich Datenqualität, einschließlich Datenanreicherung, Governance, Integration und einer hochentwickelten Sparse-Engine, versetzt Unternehmen in die Lage, sich souverän in der Datenlandschaft zu bewegen.
Im Bereich des Datenqualitätsmanagements nutzen unsere Beschleuniger PySpark, um schnell Datenqualitätsprüfungen für unstrukturierte und strukturierte Daten durchzuführen. Dies gewährleistet einen Filterprozess, der Duplikate entfernt und die Datenintegrität wahrt.
Mit dem klaren Fokus auf autonomes Geschäftsmonitoring steht die Sicherstellung hoher Datenqualität im Mittelpunkt und fördert präzise Erkenntnisse. Polestar begleitet Unternehmen auf diesem Weg und unterstützt sie dabei, das volle Potenzial ihrer Datenbestände auszuschöpfen.