Doppelte Zeilen entfernen: So funktioniert es ohne Excel

Inhalt
Wenn in einer mehrzeiligen Liste mit Keywords, E-Mail-Adressen oder URLs dieselben Zeilen mehrfach vorkommen, lässt sich das auch ohne Spezialfunktionen in Excel oder im Texteditor lösen – vorausgesetzt, Sie kennen das Prinzip dahinter. Entscheidend ist nur: Die Einträge werden durch Zeilenumbrüche getrennt, Sie legen fest, wie Groß-/Kleinschreibung und Leerzeichen verglichen werden, und dann wird Schritt für Schritt abgearbeitet.
Dieser Artikel erklärt dieses Vorgehen der Reihe nach und stellt am Ende ein Tool vor, das dieselbe Aufgabe direkt im Browser erledigt.
Kurz zusammengefasst ① Der Zeilenumbruch (Enter) trennt die Einträge und ist zugleich die Einheit, in der Duplikate verglichen werden. ② Ist „Groß-/Kleinschreibung ignorieren“ ausgeschaltet, bleiben Apple und apple als zwei verschiedene Einträge erhalten. ③ Ohne „Leerzeichen bereinigen“ werden Duplikate nicht entfernt, wenn unsichtbare Leerzeichen am Anfang oder Ende stehen – obwohl das Wort identisch ist.
Warum sich beim Zusammenführen von Listen Duplikate ansammeln
Das passiert häufig, wenn mehrere Personen ihre recherchierten Keyword-Kandidaten in einem Dokument zusammenführen oder wenn E-Mail-Adressen von verschiedenen Seiten in eine Liste kopiert werden. Dasselbe Wort kommt dann mehrfach vor, nur leicht anders geschrieben (Groß- und Kleinschreibung, Leerzeichen am Anfang oder Ende) – und beim Überfliegen fällt das kaum auf.
Wird die Liste länger als einige Dutzend oder Hundert Zeilen, dauert der zeilenweise Vergleich von Hand lange, und es rutscht leicht etwas durch. Deshalb müssen Sie zuerst genau festlegen, wann zwei Zeilen als „gleich“ gelten sollen.
So entfernen Sie doppelte Zeilen ohne Tool
Wenn man dem Prinzip folgt, lässt sich eine Liste auch allein mit einer Tabellenkalkulation oder einem Texteditor bereinigen. Die Reihenfolge ist diese:
- Pro Zeile einen Eintrag anlegen. Der Zeilenumbruch (Enter) trennt die Einträge. Wenn Ihre Liste nur durch Kommas oder Leerzeichen getrennt ist, ersetzen Sie die Trennzeichen zuerst per Suchen und Ersetzen durch Zeilenumbrüche, damit die späteren Schritte korrekt funktionieren.
- Unsichtbare Leerzeichen entfernen. In einer Tabellenkalkulation entfernt die Funktion TRIM (in deutschsprachigen Versionen: GLÄTTEN) Leerzeichen am Anfang und Ende eines Texts. In einem Texteditor löschen Sie Leerzeichen am Zeilenende mit Suchen und Ersetzen (Strg+H). Überspringen Sie diesen Schritt, bleiben „사과“ und „사과 “ (mit einem Leerzeichen am Ende) unterschiedliche Zeichenketten und werden nicht als Duplikate erkannt.
- Entscheiden, ob die Schreibweise vereinheitlicht wird. Legen Sie fest, ob Apple und apple als derselbe Eintrag gelten sollen. Wenn ja, erstellen Sie in der Tabellenkalkulation mit der Funktion LOWER (deutsch: KLEIN) eine Hilfsspalte, vereinheitlichen alles auf Kleinbuchstaben und vergleichen dann.
- Sortieren. Nach dem Sortieren stehen gleiche Werte direkt untereinander, sodass Sie Duplikate mit bloßem Auge viel leichter finden. Eine Liste mit koreanischen Einträgen wird in der Reihenfolge der Konsonanten (ㄱ bis ㅎ) angeordnet, also in der Reihenfolge des koreanischen Alphabets („가나다“-Reihenfolge).
- Duplikate entfernen. In Tabellenkalkulationen gibt es meist im Menü „Daten“ eine Funktion zum Entfernen doppelter Werte (in Excel „Duplikate entfernen“, in Google Tabellen „Duplikate entfernen“). Sie behält nur Zeilen, deren Werte in der gewählten Spalte vollständig übereinstimmen, daher müssen Schritt 2 und 3 zuerst erledigt sein, damit alles wie gewünscht funktioniert.
Das Problem: Diese fünf Schritte müssen Sie bei jeder neuen Liste erneut von Hand durchführen. Funktionen neu anwenden, Sortierkriterium neu festlegen, Optionen anders kombinieren und das Ergebnis jedes Mal neu prüfen – das kostet jedes Mal Zeit.
Probieren Sie es mit unserem Tool „Doppelte Zeilen entfernen und sortieren“ aus.
Doppelte Zeilen direkt im Browser entfernen und sortieren, ohne Anmeldung. Ihre eingegebene Liste wird nicht an einen Server gesendet.

Typische Stolpersteine
Hier sind die Stellen, an denen es beim Bereinigen einer Liste auf diese Weise in der Praxis am häufigsten hakt.
| Situation | Ergebnis |
|---|---|
| „Groß-/Kleinschreibung ignorieren“ an + Eingabe Apple, apple | Nur die zuerst vorkommende Schreibweise (Apple) bleibt erhalten, beide werden zu einem Eintrag zusammengeführt |
| „Groß-/Kleinschreibung ignorieren“ aus + Eingabe Apple, apple | Werden als verschiedene Zeilen behandelt, beide bleiben erhalten |
| „Leerzeichen bereinigen“ aus + „사과“, „사과 “ (Leerzeichen am Ende) | Werden als unterschiedliche Zeichenketten erkannt, Duplikat wird nicht entfernt |
| „Leerzeichen bereinigen“ an + gleiche Eingabe wie oben | Werden als gleicher Wert erkannt, nur ein Eintrag bleibt |
| „Leerzeilen entfernen“ aus | Auch Leerzeilen zählen als Eintrag und werden in der Zeilenzahl mitgezählt |
| Sortierung „Aufsteigend“/„Absteigend“ | Sortiert nach koreanischer Reihenfolge („가나다“-Reihenfolge) |
| Sortierung „Zufällig“ | Mischt die Einträge; ein Klick auf „Erneut mischen“ ergibt eine neue Reihenfolge |
Wenn Sie die Sortierung „Aufsteigend“ oder „Absteigend“ wählen, wird nach koreanischer Sortierreihenfolge verglichen. Koreanische Einträge werden in der Konsonantenreihenfolge (ㄱ, ㄴ, ㄷ … ㅎ) angeordnet, und auch gemischte Einträge mit lateinischen Buchstaben oder Zahlen werden nach demselben Maßstab mitsortiert.
Die Zeilenzahl vor der Bearbeitung minus die Zeilenzahl danach ergibt die Anzahl der entfernten Zeilen. Daran sehen Sie sofort, wie viele Zeilen tatsächlich herausgefiltert wurden.
Fazit
- Der Zeilenumbruch trennt die Einträge, und auch der Duplikatvergleich erfolgt zeilenweise.
- Sie müssen zuerst festlegen, ob Groß- und Kleinschreibung als gleicher Wert gelten (Apple = apple) oder nicht.
- Wenn Sie Leerzeichen am Anfang und Ende nicht bereinigen, bleibt dasselbe Wort als unterschiedliche Zeichenkette erhalten, und das Duplikat wird nicht entfernt.
- Die Sortierung koreanischer Einträge folgt der Konsonantenreihenfolge des koreanischen Alphabets („가나다“-Reihenfolge).
- Statt die fünf Schritte jedes Mal von Hand zu wiederholen, ist es schneller, Optionen ein- und auszuschalten und das Ergebnis direkt zu sehen.
Doppelte Zeilen direkt im Browser entfernen und sortieren, ohne Anmeldung. Ihre eingegebene Liste wird nicht an einen Server gesendet.
Häufige Fragen
Kann ich Duplikate mit unterschiedlicher Groß-/Kleinschreibung zu einem Eintrag zusammenfassen?
Ja. Wenn Sie „Groß-/Kleinschreibung ignorieren“ einschalten, werden Apple und apple als derselbe Eintrag behandelt, und nur die zuerst vorkommende Zeile bleibt erhalten. Die angezeigte Schreibweise entspricht weiterhin der ursprünglichen Eingabe, und auch die Sortierreihenfolge folgt diesem Maßstab.
Werden koreanische Einträge alphabetisch sortiert?
Ja. Die Einträge werden nach koreanischer Sortierreihenfolge verglichen, daher stehen koreanische Wörter in der natürlichen „가나다“-Reihenfolge. Mit Aufsteigend und Absteigend können Sie auch die umgekehrte Richtung wählen.
Wird meine eingegebene Liste an einen Server übertragen?
Nein. Die gesamte Verarbeitung findet ausschließlich in Ihrem Browser statt. Die eingefügte Liste wird weder an einen Server übertragen noch gespeichert.
Ändert sich das Ergebnis jedes Mal, wenn ich die Sortierung auf „Zufällig“ stelle?
Wenn Sie „Zufällig“ wählen, wird die Reihenfolge der Liste gemischt angezeigt. Auch bei gleicher Eingabe wird die Liste mit jedem Klick auf „Erneut mischen“ in einer neuen Reihenfolge gemischt.
Dieser Artikel basiert auf unserem koreanischen Original. Koreanisches Original lesen