CSV Duplikate entfernen: ganze Zeile oder bestimmte Spalte?

Inhalt
- Was der Begriff „Duplikat“ verschweigt
- Ist das Kriterium zu eng, werden echte Duplikate übersehen
- Ist das Kriterium zu weit, werden andere Personen gelöscht
- Vorab ohne Tool prüfen: Sortieren und ZÄHLENWENN
- Warum das Tool beide Kriterien zur Auswahl stellt
- Beachten Sie auch: Die erste Zeile bleibt erhalten
- Zusammenfassung
- Häufig gestellte Fragen
Wenn Sie in einer CSV-Datei mit einer Kundenliste doppelte Zeilen entfernen möchten, wird oft eine Frage übersehen: Wann gelten zwei Zeilen überhaupt als doppelt? Ob Name, E-Mail-Adresse und Stadt vollständig übereinstimmen müssen oder ob schon eine gleiche E-Mail-Adresse genügt, entscheidet darüber, wie viele Zeilen am Ende gelöscht werden.
Wer dieses Kriterium nicht festlegt und gleich „Duplikate entfernen“ ausführt, riskiert zwei Fehler: Die Daten verschiedener Personen werden zu einer Zeile zusammengefasst und gelöscht, oder die Daten derselben Person bleiben doppelt erhalten.
Zusammenfassung ① Ob nur vollständig identische Zeilen als Duplikat gelten oder bereits eine übereinstimmende Spalte (z. B. die E-Mail-Adresse), sind unterschiedliche Kriterien und führen zu einer unterschiedlichen Zeilenzahl im Ergebnis. ② Wenn Sie das Kriterium auf die ganze Zeile beschränken, können Tippfehler oder Unterschiede in der Groß- und Kleinschreibung dazu führen, dass Daten derselben Person nicht als Duplikat erkannt werden und stehen bleiben. ③ Wenn Sie das Kriterium auf eine einzelne Spalte ausweiten, können die Daten verschiedener Personen, die zufällig denselben Wert in dieser Spalte haben, zu einer Zeile zusammengefasst und gelöscht werden.
Was der Begriff „Duplikat“ verschweigt
„Entfernen Sie die doppelten Zeilen“ klingt einfach, setzt aber bereits eine Entscheidung voraus: Wann gelten zwei Datensätze als gleich? Je nachdem, wie diese Entscheidung ausfällt, kommt aus derselben Datei ein völlig anderes Ergebnis heraus.
| Name | Stadt | |
|---|---|---|
| Max Mustermann | max@example.com | Berlin |
| Max Mustermann | MAX@example.com | Berlin |
Für das menschliche Auge sind das eindeutig die Angaben derselben Person. Vergleicht man die Zeichenketten jedoch unverändert, sind Großbuchstaben (MAX) und Kleinbuchstaben (max) unterschiedliche Zeichenketten. Nach dem Kriterium „Die ganze Zeile muss identisch sein“ werden die beiden Zeilen daher als verschiedene Datensätze gewertet.
Ist das Kriterium zu eng, werden echte Duplikate übersehen
Die ganze Zeile als Kriterium zu nehmen, scheint die strengste Filterung zu bieten, doch tatsächlich entsteht das Gegenteil. Weil schon eine abweichende Spalte verhindert, dass ein Duplikat erkannt wird, bleiben Angaben derselben Person stehen, wenn sich auch nur ein Zeichen unterscheidet.
Dazu gehören ein zusätzliches Leerzeichen in einer Zelle, eine abweichende Schreibweise der Stadt (etwa „Berlin“ und „Berlin, Stadt“) oder eine gemischte Groß- und Kleinschreibung bei der E-Mail-Adresse. Solche kleinen Unterschiede findet man kaum, wenn man mehrere tausend Zeilen mit bloßem Auge durchsieht.
Ist das Kriterium zu weit, werden andere Personen gelöscht
| Name | Stadt | |
|---|---|---|
| Michael Schmidt | familie@example.com | Berlin |
| Michaela Schmidt | familie@example.com | Hamburg |
Hier ist es umgekehrt. Die beiden Zeilen gehören eindeutig zu zwei verschiedenen Personen, denn Name und Stadt unterscheiden sich. Wie bei einer Familie, die sich eine E-Mail-Adresse teilt, ist der Wert in der E-Mail-Spalte aber identisch.
Wenden Sie nun das Kriterium „Gleiche E-Mail-Adresse = Duplikat“ an, wird eine der beiden Personen fälschlich als Duplikat der anderen angesehen und gelöscht. Bei einem weiten Kriterium passiert so etwas unauffälliger als bei einem engen: Auf dem Bildschirm wird nur eine Zeile weniger angezeigt, was verschwunden ist, sieht man nicht.
Vorab ohne Tool prüfen: Sortieren und ZÄHLENWENN
Wenn Sie in Excel oder einer Tabellenkalkulation von Hand prüfen möchten, sortieren Sie zuerst nach der Spalte, die als Kriterium dienen soll (z. B. E-Mail). Gleiche Werte stehen dann direkt untereinander und lassen sich leichter vergleichen.
Nach dem Sortieren können Sie mit einer Funktion wie ZÄHLENWENN (englisch COUNTIF) zählen, wie oft ein Wert in dieser Spalte vorkommt, und nur die Werte herausfiltern, die mindestens zweimal auftreten. So grenzen Sie die Kandidaten ein. Allerdings müssen Sie Sortierung und Formel jedes Mal neu aufbauen, wenn Sie die Kriteriumsspalte wechseln (z. B. von der E-Mail-Spalte auf die ganze Zeile), und bei mehr als einigen tausend Zeilen werden die Formeln so schwerfällig, dass die Tabelle ruckelt.
Besonders mühsam ist das, weil das Kriterium selten mit einem Mal feststeht: Oft muss man es anhand des Ergebnisses ändern und erneut prüfen.
Fügen Sie Ihre CSV ein oder laden Sie die Datei hoch. Dann wählen Sie, ob ganze Zeilen oder bestimmte Spalten als Kriterium gelten, und bereinigen doppelte Zeilen sofort.

Warum das Tool beide Kriterien zur Auswahl stellt
„Doppelte Zeilen in CSV entfernen“ ist so gebaut, dass Sie das Kriterium selbst wählen: die ganze Zeile oder eine bestimmte Spalte. Das Tool legt nicht automatisch irgendein Kriterium fest. Wenn Sie Ihre Daten einfügen, zeigt es die Spaltennamen aus der ersten Zeile (Kopfzeile) als Auswahlliste an.
Lassen Sie das Kriterium auf „Ganze Zeile (alle Spalten identisch)“, können Sie Zeilen mit Unterschieden in der Groß- und Kleinschreibung übersehen, wie im ersten Beispiel. Dafür lassen sich die Optionen „Groß-/Kleinschreibung ignorieren“ und „Leerzeichen-Unterschiede ignorieren“ separat aktivieren. So bleibt die ganze Zeile das Kriterium, geringfügige Schreibunterschiede werden aber als gleicher Wert behandelt. Möchten Sie dagegen nur eine einzelne Spalte wie die E-Mail-Adresse als Kriterium nutzen, wählen Sie diese im Dropdown-Menü aus. Bedenken Sie dabei aber, dass ein so eng gefasstes Kriterium zu Fehlern führen kann, wenn mehrere Personen den Wert dieser Spalte teilen könnten, wie im zweiten Beispiel.
Bei jeder Änderung von Kriterium oder Optionen werden die Zahlen für Eingabezeilen, entfernte Duplikate und verbleibende eindeutige Zeilen sofort neu berechnet. So können Sie vor dem Herunterladen der Datei vergleichen, wie viele Zeilen bei welchem Kriterium gelöscht werden.
Beachten Sie auch: Die erste Zeile bleibt erhalten
Unabhängig vom Kriterium behält das Tool von mehreren Zeilen mit demselben Wert diejenige, die in der Datei zuerst auftaucht, und entfernt die folgenden als Duplikate. Die Reihenfolge wird nicht verändert. Wenn in Ihrer Datei später hinzugefügte Angaben die aktuellen Werte sind, sollten Sie die Reihenfolge daher vorab anpassen, damit diese Zeilen nicht gelöscht werden.
Das bereinigte Ergebnis können Sie als CSV-Datei herunterladen oder direkt kopieren. Auch Dateien, die statt mit Komma mit Tabulator, Semikolon oder senkrechtem Strich (Pipe) getrennt sind, lassen sich auf dieselbe Weise verarbeiten, indem Sie nur das Trennzeichen ändern.
Zusammenfassung
- Ob nur vollständig identische Zeilen als Duplikat gelten oder schon eine übereinstimmende Spalte genügt, sind unterschiedliche Kriterien mit unterschiedlichen Ergebnissen.
- Beschränken Sie das Kriterium auf die ganze Zeile, können echte Duplikate mit Unterschieden in Groß-/Kleinschreibung oder Leerzeichen unentdeckt bleiben.
- Weiten Sie das Kriterium auf eine einzelne Spalte aus, können Daten verschiedener Personen gelöscht werden, die zufällig denselben Wert teilen.
- Mit Sortieren und ZÄHLENWENN (COUNTIF) können Sie von Hand prüfen, müssen aber alles von vorn aufbauen, sobald Sie das Kriterium ändern und erneut vergleichen.
- Wählen Sie das Kriterium (ganze Zeile/bestimmte Spalte) und das Ignorieren von Groß-/Kleinschreibung und Leerzeichen selbst, können Sie vor der Ausführung vergleichen, wie viele Zeilen gelöscht werden.
Fügen Sie Ihre CSV ein oder laden Sie die Datei hoch. Dann wählen Sie, ob ganze Zeilen oder bestimmte Spalten als Kriterium gelten, und bereinigen doppelte Zeilen sofort.
Häufig gestellte Fragen
Kann ich auch nur eine einzelne Spalte als Kriterium verwenden?
Ja, das ist möglich. Überlegen Sie vorher aber, ob verschiedene Personen den Wert dieser Spalte teilen könnten. Wenn Sie eine Spalte allein als Kriterium nehmen, deren Werte sich überschneiden können, etwa weil eine Familie sich eine E-Mail-Adresse teilt oder mehrere Personen dieselbe Sammelnummer einer Abteilung angegeben haben, können Daten tatsächlich verschiedener Personen als Duplikat gelöscht werden.
Was kann ich tun, wenn Duplikate wegen Groß-/Kleinschreibung oder Leerzeichen nicht erkannt werden?
Vergleicht man Zeichenketten unverändert, egal ob in einer Kriteriumsspalte oder in der ganzen Zeile, gelten „Hong“ und „hong“ oder ein Wert mit und ohne Leerzeichen am Anfang oder Ende als verschiedene Werte. Wenn Sie auch solche Unterschiede als gleichen Wert behandeln möchten, aktivieren Sie die Optionen zum Ignorieren der Groß-/Kleinschreibung und der Leerzeichen und prüfen das Ergebnis erneut.
Ich möchte nur dann ein Duplikat annehmen, wenn Name und E-Mail beide übereinstimmen. Geht das?
Das Tool unterstützt zwei Varianten: die ganze Zeile oder eine einzelne Spalte als Kriterium. Eine Kombination aus zwei oder drei ausgewählten Spalten wird derzeit nicht unterstützt. Brauchen Sie eine solche Kombination unbedingt, müssen Sie sich behelfen und die Werte von Name und E-Mail in der Originaldatei vorab in einer Spalte zusammenführen.
Welche Zeile bleibt erhalten, welche wird beim Entfernen von Duplikaten gelöscht?
Von Zeilen mit demselben Wert bleibt diejenige erhalten, die in der Datei zuerst vorkommt, die folgenden werden als Duplikate gelöscht. Die Reihenfolge wird nicht verändert. Stehen die neuesten Angaben in einer späteren Zeile, werden also möglicherweise gerade die aktuellen Daten gelöscht. Ordnen Sie die Reihenfolge deshalb vorher entsprechend.
Dieser Artikel basiert auf unserem koreanischen Original. Koreanisches Original lesen