Dubletten erkennen und bereinigen: Kunden- und Artikelsätze

Die häufigste Ursache ist banal: Eine Person legt einen Kunden neu an, weil sie ihn im Bestand nicht findet. Nicht, weil er fehlt, sondern weil er anders geschrieben ist. Die Suchmaske im System verlangt den Anfang des Namens, gesucht wurde aber nach dem zweiten Wortbestandteil. Die Rechtsform wurde einmal ausgeschrieben und einmal abgekürzt. Der Straßenname steht einmal mit Punkt und einmal ausgeschrieben. In dieser Situation ist die Neuanlage die vernünftige Reaktion, weil der Vorgang weitergehen muss. Der doppelte Satz entsteht also genau dort, wo jemand seine Arbeit erledigt und nicht dort, wo jemand unaufmerksam ist.

Die zweite große Quelle sind Datenübernahmen. Bei jedem Systemwechsel, bei jeder Zusammenführung zweier Bestände und bei jedem Import aus einer Liste treffen Datensätze aufeinander, die dieselbe Wirklichkeit beschreiben, aber unterschiedlich aufgebaut sind. Wenn der Import keine Prüfung enthält, entstehen in wenigen Minuten mehr Dubletten als in Jahren manueller Arbeit. Wer eine Altsystem-Ablösung plant, sollte die Bereinigung deshalb vor die Übernahme legen und nicht danach, denn im Zielsystem sind die Sätze bereits mit neuen Vorgängen verknüpft und damit schwerer zu trennen.

Die dritte Quelle sind getrennte Erfassungswege. Ein Kontaktformular auf der Website legt einen Interessenten an, das Ladengeschäft erfasst denselben Menschen an der Kasse, der Außendienst führt seine eigene Liste. Solange diese Wege nicht auf denselben Bestand schauen, ist die Dublette systembedingt und keine Frage der Disziplin. Bei Artikelsätzen kommt hinzu, dass Einkauf, Lager und Verkauf unterschiedliche Bezeichnungen für dasselbe Teil verwenden, oft aus guten Gründen. Eine Dublette ist selten ein Tippfehler, sondern fast immer das Ergebnis eines Ablaufs ohne Prüfschritt.

Vor jeder Bereinigung steht eine Messung, und sie ist einfacher, als sie klingt. Ziel ist keine Zahl auf zwei Stellen hinter dem Komma, sondern eine Größenordnung: Reden wir über ein paar Dutzend Fälle oder über einen strukturellen Anteil des Bestands? Diese Antwort entscheidet darüber, ob eine Nachmittagsaktion genügt oder ob ein Werkzeug gebaut werden muss. Bilden Sie dafür Gruppen nach eindeutigen Merkmalen und zählen Sie, wie viele Sätze pro Gruppe zusammenfallen. Jede Gruppe ist noch keine Dublettenliste, sondern eine Kandidatenliste.

Nehmen Sie aus jeder Gruppe eine kleine Stichprobe und sehen Sie sich die Sätze wirklich an. Sie werden schnell merken, welche Regeln tragen und welche zu viele falsche Treffer erzeugen. Die gleiche Telefonnummer ist zum Beispiel bei Privatkunden ein starkes Merkmal, bei Firmenkunden mit einer zentralen Nummer ein schwaches. Die gleiche Postleitzahl mit gleicher Hausnummer trifft in ländlichen Gemeinden gut und in Bürohäusern schlecht. Halten Sie diese Beobachtungen schriftlich fest, denn sie sind die Grundlage für die späteren Vergleichsregeln.

Der eigentliche Abgleich vergleicht nicht ganze Datensätze, sondern einzelne Felder, und er liefert kein Ja oder Nein, sondern ein Maß für die Nähe zweier Werte. Zwei Namen, die sich in einem Buchstaben unterscheiden, sind sehr ähnlich; zwei Namen mit vertauschten Wortteilen sind es ebenfalls, obwohl kein Zeichen an derselben Stelle steht. Ein einfaches Verfahren zählt, wie viele Zeichenänderungen nötig wären, um einen Wert in den anderen zu überführen. Ein anderes vergleicht die Klangform, was bei am Telefon aufgenommenen Namen hilft. Ein drittes zerlegt beide Werte in kurze Zeichenfolgen und misst die Überschneidung, was gegen vertauschte Wortteile gut wirkt.

Diese Feldwerte werden anschließend gewichtet zusammengefasst. Nicht jedes Feld wiegt gleich schwer: Eine übereinstimmende Umsatzsteuer-Identifikationsnummer ist ein starkes Argument, eine übereinstimmende Postleitzahl allein ist fast bedeutungslos. Umgekehrt darf ein einzelnes abweichendes Feld einen Treffer nicht sofort verwerfen, denn genau darin unterscheiden sich Dubletten ja. Sinnvoll ist deshalb eine kleine, schriftlich festgehaltene Regelsammlung, die für jedes Feld sagt, wie streng verglichen wird und wie viel es zählt. Diese Sammlung gehört in die Prozessdokumentation, sonst weiß nach dem ersten Durchlauf niemand mehr, warum ein Fall in der Liste steht.

Rechnerisch ist der vollständige Vergleich aller Sätze gegen alle Sätze bei größeren Beständen zu aufwendig. Deshalb wird vorher gruppiert: Nur Sätze, die in einem groben Merkmal übereinstimmen, etwa im ersten Buchstaben des normalisierten Namens zusammen mit der Postleitzahl, werden überhaupt gegeneinander geprüft. Diese Vorgruppierung senkt den Aufwand erheblich, hat aber einen Preis: Wer ein Gruppierungsmerkmal wählt, das in einer Dublette abweicht, findet sie nie. In der Praxis hilft es, zwei oder drei Gruppierungen nacheinander laufen zu lassen und die Ergebnisse zusammenzuführen.

Bei Kunden gibt es meist wenigstens ein starkes Merkmal: eine Anschrift, eine E-Mail-Adresse, eine Identifikationsnummer. Bei Artikeln fehlt das oft. Zwei Sätze für dasselbe Bauteil unterscheiden sich in der Bezeichnung, in der Reihenfolge der Attribute, in der Einheit und manchmal in der Verpackungsgröße. Eine Bezeichnung aus Materialangabe, Maß, Farbe und Norm lässt sich in vielen Reihenfolgen schreiben, und jede davon ist im Betrieb einmal verwendet worden. Deshalb trägt bei Artikeln der reine Textvergleich weniger weit als bei Kunden.

Was hier trägt, sind fremde Nummern: die Artikelnummer des Herstellers, die des Lieferanten, eine Normbezeichnung, eine Zeichnungsnummer. Diese Felder sind in vielen Beständen vorhanden, aber schlecht gepflegt, weil sie im Alltag niemand braucht. Genau deshalb lohnt es sich, sie im Zuge der Bereinigung nachzuziehen: Sie sind gleichzeitig das beste Vergleichsmerkmal und die beste Vorbeugung gegen künftige Dubletten. Wo diese Nummern fehlen, hilft nur eine Kombination aus normalisierter Bezeichnung, Einheit und Warengruppe, und die Ergebnisse gehören dann fast immer in die Prüfklasse.

Ein Vergleichsverfahren kann sehr gut darin sein, Kandidaten zu finden, und trotzdem völlig ungeeignet sein, allein zu entscheiden. Der Grund liegt in der Beschaffenheit der Fehler. Wird eine echte Dublette nicht gefunden, bleibt der Zustand so, wie er ohnehin war: unangenehm, aber ohne neuen Schaden. Werden dagegen zwei verschiedene Sätze zusammengeführt, entsteht ein neuer, falscher Zustand, und die Vorgänge zweier verschiedener Kunden hängen anschließend an einem Satz. Diese beiden Fehler sind nicht gleich schwer, und deshalb darf man sie auch nicht gleich behandeln.

Besonders anfällig sind Fälle, die einem Vergleich sehr ähnlich vorkommen, fachlich aber getrennt gehören: zwei Filialen desselben Unternehmens an derselben Anschrift, zwei Personen mit gleichem Namen im selben Haus, Vater und Sohn im Familienbetrieb, eine Besitzgesellschaft und eine Betriebsgesellschaft mit identischer Adresse, eine Baustellenanschrift, die vorübergehend mit einer Firmenanschrift übereinstimmt. In all diesen Fällen ist die Ähnlichkeit hoch und die richtige Entscheidung lautet trotzdem: getrennt lassen. Zusammenführen ist eine fachliche Entscheidung, keine technische Operation.

Beginnen Sie mit dem Bestand, der den größten Schaden verursacht, und das sind in den meisten Betrieben die Kundensätze, weil an ihnen Rechnungen und Kommunikation hängen. Arbeiten Sie dort zuerst die sicheren Treffer ab, weil sie schnell gehen und ein sichtbares Ergebnis liefern. Erst danach lohnt der Einstieg in die Prüffälle, und erst danach der Artikelbestand. Der weit überwiegende Teil der Unternehmen in Deutschland sind kleine und mittlere Unternehmen (Statistisches Bundesamt), und dort gibt es keine Stabsstelle für Datenqualität: Ein Vorgehen, das mehr als wenige Stunden pro Woche verlangt, wird nicht durchgehalten.

Benennen Sie eine zuständige Person je Bestand. Nicht als zusätzliche Aufgabe im Organigramm, sondern als klare Antwort auf die Frage, wer im Zweifel entscheidet, ob zwei Sätze derselbe Kunde sind. Ohne diese Person wandern Prüffälle im Kreis, und die Liste wächst schneller, als sie abgearbeitet wird. Bei Artikeln ist die Zuständigkeit meist geteilt zwischen Einkauf und Lager; dann braucht es eine Absprache, wer den Ausschlag gibt.

Messen Sie zum Schluss dasselbe wie am Anfang: Anzahl der Sätze, Anzahl der Kandidatengruppen, Anzahl der offenen Prüffälle und die Zahl der Neuanlagen pro Monat. Die letzte Kennzahl ist die interessanteste, denn wenn die Neuanlagen nach Einführung der Prüfung deutlich zurückgehen, war der doppelte Bestand tatsächlich ein Ablaufproblem. Halten Sie den Ausgangswert und die Regeln fest, damit im nächsten Jahr niemand von vorn anfängt. Wenn die Bereinigung Teil einer größeren Aufräumaktion ist, gehört sie in den Ablauf einer Prozessanalyse und nicht in ein eigenes, isoliertes Vorhaben.