Excel CSV Umlaute falsch: UTF-8 BOM als Ursache und Lösung

VeröffentlichtToolExcel CSV Zeichen-Reparatur

Inhalt
  1. Warum erscheinen ausgerechnet Zeichen wie 수출?
  2. In CSV-Dateien gibt es keine Stelle für die Kodierung
  3. Was die drei BOM-Bytes bewirken
  4. So beheben Sie das Problem ohne Zusatztool
  5. Typische Stolperstellen
  6. Zusammenfassung
  7. Häufig gestellte Fragen

Sie öffnen eine CSV-Datei in Excel, und statt der koreanischen Schriftzeichen steht dort lauter fremdes lateinisches Zeug wie 수출? Dann hilft Ihnen dieser Artikel weiter. Vorab das Wichtigste: Die Datei ist nicht beschädigt, Excel hat sie lediglich nicht als UTF-8 gelesen.

In einer CSV-Datei gibt es keine Stelle, an der man vermerken könnte: „Ich bin UTF-8.“ Deshalb setzt man drei Bytes als BOM an den Dateianfang, um Excel ein Signal zu geben. Sind diese drei Bytes vorhanden, liest Excel die Datei als UTF-8.

Zusammenfassung ① Die fehlerhaften Zeichen entstehen, wenn UTF-8-Bytes mit einer anderen Zeichentabelle gelesen werden. Die Bytes selbst bleiben unverändert, der Vorgang lässt sich also umkehren. ② Das UTF-8-BOM besteht aus den drei Bytes EF BB BF am Dateianfang. In Programmen, die es korrekt auswerten, ist es auf dem Bildschirm nicht sichtbar. ③ Sie können die Datei auch öffnen, ohne sie zu ändern: Statt per Doppelklick importieren Sie sie in Excel über das Menüband „Daten“ mit „Aus Text/CSV“ und legen die Kodierung selbst fest.

Warum erscheinen ausgerechnet Zeichen wie 수출?

Speichert man das koreanische Wort „수출“ als UTF-8, ergeben sich die sechs Bytes EC 88 98 EC B6 9C. Ein koreanisches Zeichen belegt nämlich in der Regel drei Bytes.

Erkennt Excel die Datei nicht als UTF-8, setzt es diese sechs Bytes Byte für Byte in eine ältere Zeichentabelle ein, in der ein Byte genau einem Zeichen entspricht. In der westeuropäischen Zeichentabelle (Windows-1252) steht EC für ì, 88 für ˆ und 98 für ˜.

Aus den sechs Bytes werden so die sechs Zeichen 수출. Es ist also kein Zeichen verloren gegangen: Dieselben Bytes wurden lediglich mit einer anderen Tabelle gelesen. Öffnen Sie die Datei in einem Editor, der UTF-8 liest, sehen Sie den koreanischen Text unversehrt.

Wie der Zeichensalat aussieht, hängt davon ab, mit welcher Tabelle gelesen wurde. Wird die Datei mit der koreanischen Codepage (CP949) gelesen, werden jeweils zwei Bytes zusammengefasst. Dann erscheint 주문번호 unter Umständen als sinnloses Gemisch aus chinesischen Schriftzeichen und Hangul wie 二쇰Ц踰덊샇.

In CSV-Dateien gibt es keine Stelle für die Kodierung

Der RFC 4180, der das CSV-Format beschreibt, sieht keine Möglichkeit vor, den Zeichensatz innerhalb der Datei anzugeben. Dort steht lediglich sinngemäß, dass in der Regel US-ASCII verwendet wird, andere Zeichensätze aber zusammen mit dem Parameter charset möglich sind.

Der hier genannte charset ist ein Wert im Übertragungs-Header, der beim Austausch der Datei mitgeschickt wird. Die Kodierungsinformation liegt also außerhalb der Datei.

Sobald Sie die Datei herunterladen und speichern, geht dieser Header verloren. Übrig bleibt nur eine Folge von Bytes, und das öffnende Programm muss die Kodierung raten.

Was die drei BOM-Bytes bewirken

BOM steht für Byte Order Mark. Dabei wird das Unicode-Zeichen U+FEFF an den Anfang der Datei gesetzt. In UTF-8 kodiert, ergibt dieses Zeichen die drei Bytes EF BB BF.

Ursprünglich diente es dazu, bei Kodierungen mit zwei möglichen Bytereihenfolgen, etwa UTF-16, anzuzeigen, welche gilt. UTF-8 kennt nur eine Bytereihenfolge, es gibt also nichts anzuzeigen. Hier dient das BOM nur noch als Signatur: „Diese Datei ist UTF-8.“

Diese drei Bytes gehören nicht zum Inhalt. Das Verfahren zur UTF-8-Dekodierung im WHATWG Encoding Standard schreibt vor: Lauten die ersten drei Bytes EF BB BF, werden sie gelesen und verworfen, erst danach wird der Rest als Inhalt verarbeitet.

Auch die Excel-Supportdokumentation von Microsoft sagt dasselbe. Eine UTF-8-kodierte CSV-Datei lässt sich problemlos direkt öffnen, wenn sie mit BOM gespeichert wurde. Andernfalls wird der Import über das Menüband „Daten“ empfohlen.

So beheben Sie das Problem ohne Zusatztool

Es gibt drei Wege. Wählen Sie danach, ob Sie die Datei verändern dürfen oder nicht.

1. Statt Doppelklick: Import in Excel

Diese Methode lässt die Datei völlig unangetastet. Wählen Sie in Excel auf der Registerkarte Daten den Eintrag „Daten abrufen“ → „Aus Datei“ → „Aus Text/CSV“ und markieren Sie die gewünschte Datei.

Es öffnet sich ein Vorschaufenster, in dem oben die Liste Dateiursprung steht. Wählen Sie dort 65001: Unicode (UTF-8), wird der koreanische Text in der Vorschau darunter sofort korrekt angezeigt.

Nachteil: Haben mehrere Personen die Datei erhalten, muss jede diese Schritte selbst wiederholen.

2. Im Editor mit BOM neu speichern

Öffnen Sie die Datei im Windows-Editor und wählen Sie „Datei“ → „Speichern unter“. Unter dem Speicherdialog finden Sie die Liste Codierung. Wählen Sie dort UTF-8 mit BOM.

Genau deshalb stehen UTF-8 und UTF-8 mit BOM getrennt in der Liste. Die Standardeinstellung des heutigen Editors ist die Variante ohne BOM; wenn Sie einfach so speichern, bleibt das Problem bestehen.

3. Beim Export aus Excel gleich das richtige Format wählen

Umgekehrt gilt: Wenn Sie eine in Excel erstellte Tabelle als CSV weitergeben, wählen Sie unter „Speichern unter“ den Dateityp CSV UTF-8 (durch Trennzeichen getrennt). Dieses Format wird mit BOM gespeichert.

Schwierig wird es, wenn bereits mehrere Dateien vorliegen. Der Editor tut sich mit großen Dateien schwer, der Import muss bei jedem Öffnen wiederholt werden, und die Formatauswahl wirkt nicht rückwirkend auf bereits erstellte Dateien.

Mit unserem Tool prüfen. Wenn Sie eine Datei hochladen, zeigt Ihnen das Tool zunächst in einer Vorschau der ersten 5 Zeilen, ob die koreanischen Zeichen korrekt gelesen werden. Mit einem Klick laden Sie dann eine neue CSV-Datei herunter, der das BOM vorangestellt ist. Es heißt „Excel CSV Zeichen-Reparatur“.

Excel CSV Zeichen-Reparatur

Ohne Installation und Registrierung im Browser: Die BOM wird hinzugefügt und die Datei heruntergeladen. Hochgeladene Dateien werden nicht an einen Server übertragen.

Typische Stolperstellen

Wenn die Zeichen trotz BOM weiterhin fehlerhaft sind, war die Datei vermutlich von Anfang an nicht in UTF-8 kodiert. Das BOM ist nur ein „Hinweis, dass es sich um UTF-8 handelt“; eine andere Kodierung wandelt es nicht in UTF-8 um.

Deshalb zeigt das Tool zuerst die Vorschau der ersten 5 Zeilen. Sie stellt die Datei als UTF-8 gelesen dar und dient damit als Kriterium zur Beurteilung.

Was die Vorschau zeigtWas das bedeutet
Der koreanische Text ist korrekt lesbarDie Datei ist UTF-8. Mit BOM lässt sie sich in Excel öffnen
Rautenförmige Fragezeichen wie �Die Datei ist nicht UTF-8 (z. B. CP949). Bitte nicht herunterladen
Hangul mit chinesischen Schriftzeichen und Symbolen vermischtGleiches gilt hier. Die Originaldatei muss erneut als UTF-8 exportiert werden

Sieht die Vorschau fehlerhaft aus und Sie laden die Datei trotzdem herunter, werden die nicht lesbaren Zeichen dauerhaft durch Ersatzzeichen festgeschrieben, und der ursprüngliche Text lässt sich nicht wiederherstellen. In diesem Fall hilft nur, dass die Stelle, die die Datei erstellt hat, sie erneut als UTF-8 exportiert.

Umgekehrt kann das BOM auch Nebenwirkungen haben. Wenn ein Programm die CSV-Datei einliest und der Name der ersten Spalte als \ufeff주문번호 erscheint, hat die lesende Seite das BOM nicht entfernt.

Zusammenfassung

  • Die fehlerhaften Zeichen entstehen, wenn UTF-8-Bytes mit einer alten Ein-Byte-Zeichentabelle gelesen werden. So erscheinen die Bytes EC 88 98 EC B6 9C von 수출 als 수출.
  • CSV-Dateien enthalten keine Angabe zur Kodierung. Der RFC 4180 behandelt charset nur als Information auf der Übertragungsebene.
  • Das UTF-8-BOM besteht aus den drei Bytes EF BB BF am Dateianfang und ist die Kodierung von Unicode U+FEFF.
  • Wenn Sie die Datei nicht verändern möchten, gehen Sie in Excel auf „Daten“ → „Aus Text/CSV“ und legen den Dateiursprung auf 65001: Unicode (UTF-8) fest.
  • Wenn Sie die Datei reparieren möchten, speichern Sie sie im Editor als UTF-8 mit BOM, nutzen in Excel das Format CSV UTF-8 (durch Trennzeichen getrennt) oder verwenden das Tool unten.
  • Funktioniert es auch mit BOM nicht, ist die Originaldatei nicht in UTF-8 kodiert. Prüfen Sie das zuerst in der Vorschau.
Excel CSV Zeichen-Reparatur

Ohne Installation und Registrierung im Browser: Die BOM wird hinzugefügt und die Datei heruntergeladen. Hochgeladene Dateien werden nicht an einen Server übertragen.

Häufig gestellte Fragen

Verändert sich der Inhalt der Datei, wenn ich eine BOM hinzufüge?

Der eigentliche Text bleibt unverändert, lediglich die drei Bytes EF BB BF werden an den Anfang gestellt. Die Datei wird dadurch 3 Byte größer.

Programme, die dem Standard folgen, lesen diese 3 Bytes zuerst ein, verwerfen sie und verarbeiten den Rest als Text. Was auf dem Bildschirm zu sehen ist, ändert sich also nicht. Wenn Sie eine Datei, die bereits eine BOM enthält, erneut hochladen, wird die BOM nicht doppelt gesetzt. Der Grund: Beim UTF-8-Decodieren, das der Browser beim Lesen der Datei verwendet, werden die ersten 3 Bytes zuerst entfernt.

In Notepad sieht alles richtig aus, nur in Excel nicht. Woran liegt das?

Die beiden Programme bestimmen die Zeichenkodierung auf unterschiedliche Weise. Notepad versucht zuerst, die Datei als UTF-8 zu lesen. Excel hingegen erkennt eine CSV-Datei beim direkten Öffnen nur dann als UTF-8, wenn eine BOM vorhanden ist. Dass dieselbe Datei unterschiedlich dargestellt wird, liegt also nicht an der Datei, sondern an der Einschätzung des jeweiligen Programms, das sie liest.

Ich habe eine BOM hinzugefügt, aber die Zeichen sind immer noch fehlerhaft.

Das passiert, wenn die Originaldatei nicht in UTF-8 vorliegt. Die BOM ist lediglich ein Hinweis darauf, dass die Datei UTF-8 verwendet; Bytes in einer anderen Kodierung wandelt sie nicht um. Wenn die koreanischen Schriftzeichen bereits in der 5-Zeilen-Vorschau des Tools fehlerhaft angezeigt werden, trifft genau dieser Fall zu. Dann müssen Sie die Datei aus dem System, in dem sie erstellt wurde, erneut als UTF-8 exportieren.

Wird die hochgeladene CSV-Datei an einen Server übertragen?

Nein. Das Einlesen der Datei, die Vorschau und das Erstellen der neuen Datei mit BOM laufen vollständig im Browser ab, die Datei wird nicht auf einen Server hochgeladen. Auch CSV-Dateien mit internen Bestellungen oder Kundenlisten verlassen Ihren Rechner nicht.

Dieser Artikel basiert auf unserem koreanischen Original. Koreanisches Original lesen

Ähnliche Artikel

  1. Excel CSV Umlaute falsch: Ursache und Umwandlung in UTF-8Warum Umlaute und Sonderzeichen in Excel-CSV-Dateien als Fragezeichen erscheinen und wie Sie Ihre Datei als UTF-8-CSV ohne Zeichenfehler herunterladen.
  2. Excel mehrere Tabellenblätter als CSV speichern: Warum nur eins bleibtWarum beim Speichern als CSV nur das aktive Tabellenblatt übrig bleibt und wie Sie alle Blätter einer Excel-Datei als eigene CSV-Dateien erhalten.
  3. Excel in JSON: Warum Datum als Zahl erscheint (46037)Warum Excel-Datumswerte im JSON als Zahl wie 46037 erscheinen, was die Datumsseriennummer ist und wie Sie sie per Formel in ein Datum umrechnen.
  4. Excel und CSV zusammenführen: Warum Spalten verrutschenWarum beim Zusammenführen von Excel- und CSV-Dateien Spalten verrutschen, was Sie vorher prüfen sollten und wie Blattnamen automatisch angepasst werden.
  5. Excel-Tabelle in Markdown einfügen: Ursache und LösungWarum aus Excel oder Google Tabellen kopierte Tabellen in GitHub-README und Notion zerfallen – und wie Sie sie per Markdown-Syntax selbst umwandeln.
  6. Gantt-Diagramm vs. Kalender: Dauer als Balken sichtbar machenWarum ein Gantt-Diagramm Dauer, Überschneidungen und Fortschritt in einer Ansicht zeigt, der Kalender aber nicht – inklusive Berechnung zum Selberzeichnen.

Passende Tools