Doppelte Zeilen entfernen: So funktioniert es ohne Excel

VeröffentlichtToolDoppelte Zeilen entfernen und sortieren

Inhalt
  1. Warum sich beim Zusammenführen von Listen Duplikate ansammeln
  2. So entfernen Sie doppelte Zeilen ohne Tool
  3. Typische Stolpersteine
  4. Fazit
  5. Häufige Fragen

Wenn in einer mehrzeiligen Liste mit Keywords, E-Mail-Adressen oder URLs dieselben Zeilen mehrfach vorkommen, lässt sich das auch ohne Spezialfunktionen in Excel oder im Texteditor lösen – vorausgesetzt, Sie kennen das Prinzip dahinter. Entscheidend ist nur: Die Einträge werden durch Zeilenumbrüche getrennt, Sie legen fest, wie Groß-/Kleinschreibung und Leerzeichen verglichen werden, und dann wird Schritt für Schritt abgearbeitet.

Dieser Artikel erklärt dieses Vorgehen der Reihe nach und stellt am Ende ein Tool vor, das dieselbe Aufgabe direkt im Browser erledigt.

Kurz zusammengefasst ① Der Zeilenumbruch (Enter) trennt die Einträge und ist zugleich die Einheit, in der Duplikate verglichen werden. ② Ist „Groß-/Kleinschreibung ignorieren“ ausgeschaltet, bleiben Apple und apple als zwei verschiedene Einträge erhalten. ③ Ohne „Leerzeichen bereinigen“ werden Duplikate nicht entfernt, wenn unsichtbare Leerzeichen am Anfang oder Ende stehen – obwohl das Wort identisch ist.

Warum sich beim Zusammenführen von Listen Duplikate ansammeln

Das passiert häufig, wenn mehrere Personen ihre recherchierten Keyword-Kandidaten in einem Dokument zusammenführen oder wenn E-Mail-Adressen von verschiedenen Seiten in eine Liste kopiert werden. Dasselbe Wort kommt dann mehrfach vor, nur leicht anders geschrieben (Groß- und Kleinschreibung, Leerzeichen am Anfang oder Ende) – und beim Überfliegen fällt das kaum auf.

Wird die Liste länger als einige Dutzend oder Hundert Zeilen, dauert der zeilenweise Vergleich von Hand lange, und es rutscht leicht etwas durch. Deshalb müssen Sie zuerst genau festlegen, wann zwei Zeilen als „gleich“ gelten sollen.

So entfernen Sie doppelte Zeilen ohne Tool

Wenn man dem Prinzip folgt, lässt sich eine Liste auch allein mit einer Tabellenkalkulation oder einem Texteditor bereinigen. Die Reihenfolge ist diese:

  1. Pro Zeile einen Eintrag anlegen. Der Zeilenumbruch (Enter) trennt die Einträge. Wenn Ihre Liste nur durch Kommas oder Leerzeichen getrennt ist, ersetzen Sie die Trennzeichen zuerst per Suchen und Ersetzen durch Zeilenumbrüche, damit die späteren Schritte korrekt funktionieren.
  2. Unsichtbare Leerzeichen entfernen. In einer Tabellenkalkulation entfernt die Funktion TRIM (in deutschsprachigen Versionen: GLÄTTEN) Leerzeichen am Anfang und Ende eines Texts. In einem Texteditor löschen Sie Leerzeichen am Zeilenende mit Suchen und Ersetzen (Strg+H). Überspringen Sie diesen Schritt, bleiben „사과“ und „사과 “ (mit einem Leerzeichen am Ende) unterschiedliche Zeichenketten und werden nicht als Duplikate erkannt.
  3. Entscheiden, ob die Schreibweise vereinheitlicht wird. Legen Sie fest, ob Apple und apple als derselbe Eintrag gelten sollen. Wenn ja, erstellen Sie in der Tabellenkalkulation mit der Funktion LOWER (deutsch: KLEIN) eine Hilfsspalte, vereinheitlichen alles auf Kleinbuchstaben und vergleichen dann.
  4. Sortieren. Nach dem Sortieren stehen gleiche Werte direkt untereinander, sodass Sie Duplikate mit bloßem Auge viel leichter finden. Eine Liste mit koreanischen Einträgen wird in der Reihenfolge der Konsonanten (ㄱ bis ㅎ) angeordnet, also in der Reihenfolge des koreanischen Alphabets („가나다“-Reihenfolge).
  5. Duplikate entfernen. In Tabellenkalkulationen gibt es meist im Menü „Daten“ eine Funktion zum Entfernen doppelter Werte (in Excel „Duplikate entfernen“, in Google Tabellen „Duplikate entfernen“). Sie behält nur Zeilen, deren Werte in der gewählten Spalte vollständig übereinstimmen, daher müssen Schritt 2 und 3 zuerst erledigt sein, damit alles wie gewünscht funktioniert.

Das Problem: Diese fünf Schritte müssen Sie bei jeder neuen Liste erneut von Hand durchführen. Funktionen neu anwenden, Sortierkriterium neu festlegen, Optionen anders kombinieren und das Ergebnis jedes Mal neu prüfen – das kostet jedes Mal Zeit.

Probieren Sie es mit unserem Tool „Doppelte Zeilen entfernen und sortieren“ aus.

Doppelte Zeilen entfernen und sortieren

Doppelte Zeilen direkt im Browser entfernen und sortieren, ohne Anmeldung. Ihre eingegebene Liste wird nicht an einen Server gesendet.

Typische Stolpersteine

Hier sind die Stellen, an denen es beim Bereinigen einer Liste auf diese Weise in der Praxis am häufigsten hakt.

SituationErgebnis
„Groß-/Kleinschreibung ignorieren“ an + Eingabe Apple, appleNur die zuerst vorkommende Schreibweise (Apple) bleibt erhalten, beide werden zu einem Eintrag zusammengeführt
„Groß-/Kleinschreibung ignorieren“ aus + Eingabe Apple, appleWerden als verschiedene Zeilen behandelt, beide bleiben erhalten
„Leerzeichen bereinigen“ aus + „사과“, „사과 “ (Leerzeichen am Ende)Werden als unterschiedliche Zeichenketten erkannt, Duplikat wird nicht entfernt
„Leerzeichen bereinigen“ an + gleiche Eingabe wie obenWerden als gleicher Wert erkannt, nur ein Eintrag bleibt
„Leerzeilen entfernen“ ausAuch Leerzeilen zählen als Eintrag und werden in der Zeilenzahl mitgezählt
Sortierung „Aufsteigend“/„Absteigend“Sortiert nach koreanischer Reihenfolge („가나다“-Reihenfolge)
Sortierung „Zufällig“Mischt die Einträge; ein Klick auf „Erneut mischen“ ergibt eine neue Reihenfolge

Wenn Sie die Sortierung „Aufsteigend“ oder „Absteigend“ wählen, wird nach koreanischer Sortierreihenfolge verglichen. Koreanische Einträge werden in der Konsonantenreihenfolge (ㄱ, ㄴ, ㄷ … ㅎ) angeordnet, und auch gemischte Einträge mit lateinischen Buchstaben oder Zahlen werden nach demselben Maßstab mitsortiert.

Die Zeilenzahl vor der Bearbeitung minus die Zeilenzahl danach ergibt die Anzahl der entfernten Zeilen. Daran sehen Sie sofort, wie viele Zeilen tatsächlich herausgefiltert wurden.

Fazit

  • Der Zeilenumbruch trennt die Einträge, und auch der Duplikatvergleich erfolgt zeilenweise.
  • Sie müssen zuerst festlegen, ob Groß- und Kleinschreibung als gleicher Wert gelten (Apple = apple) oder nicht.
  • Wenn Sie Leerzeichen am Anfang und Ende nicht bereinigen, bleibt dasselbe Wort als unterschiedliche Zeichenkette erhalten, und das Duplikat wird nicht entfernt.
  • Die Sortierung koreanischer Einträge folgt der Konsonantenreihenfolge des koreanischen Alphabets („가나다“-Reihenfolge).
  • Statt die fünf Schritte jedes Mal von Hand zu wiederholen, ist es schneller, Optionen ein- und auszuschalten und das Ergebnis direkt zu sehen.
Doppelte Zeilen entfernen und sortieren

Doppelte Zeilen direkt im Browser entfernen und sortieren, ohne Anmeldung. Ihre eingegebene Liste wird nicht an einen Server gesendet.

Häufige Fragen

Kann ich Duplikate mit unterschiedlicher Groß-/Kleinschreibung zu einem Eintrag zusammenfassen?

Ja. Wenn Sie „Groß-/Kleinschreibung ignorieren“ einschalten, werden Apple und apple als derselbe Eintrag behandelt, und nur die zuerst vorkommende Zeile bleibt erhalten. Die angezeigte Schreibweise entspricht weiterhin der ursprünglichen Eingabe, und auch die Sortierreihenfolge folgt diesem Maßstab.

Werden koreanische Einträge alphabetisch sortiert?

Ja. Die Einträge werden nach koreanischer Sortierreihenfolge verglichen, daher stehen koreanische Wörter in der natürlichen „가나다“-Reihenfolge. Mit Aufsteigend und Absteigend können Sie auch die umgekehrte Richtung wählen.

Wird meine eingegebene Liste an einen Server übertragen?

Nein. Die gesamte Verarbeitung findet ausschließlich in Ihrem Browser statt. Die eingefügte Liste wird weder an einen Server übertragen noch gespeichert.

Ändert sich das Ergebnis jedes Mal, wenn ich die Sortierung auf „Zufällig“ stelle?

Wenn Sie „Zufällig“ wählen, wird die Reihenfolge der Liste gemischt angezeigt. Auch bei gleicher Eingabe wird die Liste mit jedem Klick auf „Erneut mischen“ in einer neuen Reihenfolge gemischt.

Dieser Artikel basiert auf unserem koreanischen Original. Koreanisches Original lesen

Ähnliche Artikel

  1. Drop Cap in CSS erstellen: ::first-letter, float und line-heightSo gelingt die Zierinitiale mit ::first-letter: Warum float und line-height dazugehören und wie sich Slider-Werte im CSS-Code wiederfinden. Mit Code-Generator.
  2. Buchstabenhäufigkeit berechnen: So entstehen die ProzentwerteWie sich bei der Buchstabenhäufigkeit die Prozente berechnen: Nur Buchstaben zählen als Basis, und die Groß-/Kleinschreibung entscheidet über 26 oder 52 Zeichen.
  3. Englische Plural-Bildung: Regeln und Ausnahmen im ÜberblickWie bilden Sie den Plural englischer Nomen? Die Regeln für -s, -es, -ies und -ves, unregelmäßige Formen wie man–men und Wörter wie sheep im Überblick.
  4. CSS-Variablen extrahieren: Alle --var-Deklarationen auflistenSo sammeln Sie verstreute CSS-Variablen per regulärem Ausdruck in einer Tabelle, durchsuchen sie nach Name und Wert und kopieren sie als var().
  5. Markdown-Links extrahieren: Hyperlinks und Bildlinks als TabelleSo erkennt ein regulärer Ausdruck Links und Bilder in Markdown, welche Fälle er übersieht und wie Sie Tabelle, URL-Liste und JSON-Ergebnis richtig lesen.
  6. URLs in Links umwandeln: So erkennt der Regex AdressenErfahren Sie, wie ein regulärer Ausdruck http- und https-Adressen im Text findet und in a-Tags umwandelt, und wie target, rel, Kürzung und class wirken.

Passende Tools