Excel CSVの文字化けはUTF-8 BOM 3バイトが原因

公開ツールCSV文字化け修復器 (BOM追加)

目次
  1. なぜ수출のような文字が出るのか
  2. CSVにはエンコードを書く場所がない
  3. BOM 3バイトの役割
  4. ツールを使わずに直す方法
  5. よくつまずくポイント
  6. まとめ
  7. よくある質問

ExcelでCSVファイルを開いたら、文字がすべて수출のような見慣れないラテン文字に化けていた——そんな方に向けた記事です。先に結論を言うと、ファイルが壊れているのではなく、ExcelがそのファイルをUTF-8として読んでいないだけです。

CSVには「自分はUTF-8です」と書き込んでおく場所がありません。そこでファイルの先頭にBOM 3バイトを付けて合図を送ると、Excelはその3バイトがあるときにUTF-8として読みます。

要点 ① 化けた文字は、UTF-8のバイト列を別の文字コード表で読んだ結果です。バイト自体はそのままなので元に戻せます。 ② UTF-8 BOMはファイル先頭のEF BB BFという3バイトで、正しく読めるプログラムでは画面に表示されません。 ③ ファイルを書き換えなくても、Excelでダブルクリックする代わりに「データ」タブのテキスト/CSVのインポートを使い、エンコードを自分で指定して開けます。

なぜ수출のような文字が出るのか

ハングルの「수출(輸出)」をUTF-8で保存すると、EC 88 98 EC B6 9Cの6バイトになります。ハングル1文字は通常3バイトを占めるからです。

ExcelがこのファイルをUTF-8として認識できないと、この6バイトを1バイトにつき1文字を対応させる古い文字コード表にそのまま当てはめて読みます。西ヨーロッパの文字コード表(Windows-1252)では、ECはì、88はˆ、98は˜です。

そのため6バイトが6文字の수출として表示されます。文字が消えたわけではなく、同じバイトを別の表で読んだだけなので、同じファイルをUTF-8として読むエディタで開けば正常なハングルが見えます。

化け方は、どの表で読まれたかによって変わります。韓国語のコードページ(CP949)で読まれると2バイトずつまとめられるため、주문번호が二쇰Ц踰덊샇のように意味の通らない漢字やハングルになることもあります。

CSVにはエンコードを書く場所がない

CSV形式をまとめたRFC 4180には、文字集合をファイル内に示す方法が定められていません。「通常はUS-ASCIIを使うが、他の文字集合はcharsetパラメータとともに使える」と書かれているだけです。

ここでいうcharsetは、ファイルをやり取りするときに付く転送ヘッダーの値です。つまりエンコード情報はファイルの外にあります。

ファイルをダウンロードして保存した瞬間に、そのヘッダーは消えます。残るのはバイトの塊だけなので、開く側のプログラムは推測するしかありません。

BOM 3バイトの役割

BOMはByte Order Markの略で、Unicode文字のU+FEFFをファイルの先頭に置いたものです。この文字をUTF-8でエンコードするとEF BB BFの3バイトになります。

もともとはUTF-16のようにバイト順が2通りあるエンコーディングで、どちらなのかを知らせるためのものでした。UTF-8はバイト順が1通りしかないので知らせることは何もなく、ここでは「このファイルはUTF-8です」という署名の役割だけを果たします。

この3バイトは本文ではありません。Web標準(WHATWG Encoding Standard)のUTF-8デコード手順では、先頭3バイトがEF BB BFであればその3バイトを読み捨て、残りを本文として処理すると定めています。

MicrosoftのExcelサポート文書も同じことを述べています。UTF-8でエンコードされたCSVファイルは、BOM付きで保存されていればそのまま開いても正常で、そうでなければ「データ」タブのインポートを使うよう案内しています。

ツールを使わずに直す方法

3つの方法があります。ファイルを編集してよいかどうかで選べば十分です。

1. ダブルクリックせずExcelでインポートする

ファイルにまったく手を加えない方法です。Excelのデータタブで「データの取得」→「ファイルから」→「テキスト/CSVから」を選び、対象のファイルを選択します。

するとプレビュー画面が開き、上部にファイル オリジンの一覧があります。ここで65001: Unicode (UTF-8)を選ぶと、下のプレビューのハングルがすぐに正常な表示に変わります。

受け取る人が複数いる場合は、それぞれがこの作業を繰り返さなければならないのが難点です。

2. メモ帳でBOMを付けて保存し直す

Windowsのメモ帳でファイルを開き、「ファイル」→「名前を付けて保存」を押すと、保存ダイアログの下にエンコードの一覧があります。ここでUTF-8(BOM)を選べばOKです。

一覧にUTF-8とUTF-8(BOM)が別々にあるのは、まさにこのためです。最近のメモ帳の既定値はBOMなしのほうなので、そのまま保存すると問題はそのまま残ります。

3. Excelから書き出す時点で形式を選ぶ

逆に、Excelで作った表をCSVとして書き出すときは、「名前を付けて保存」でファイルの種類をCSV UTF-8 (コンマ区切り)に選びます。この形式はBOMを付けて保存します。

問題は、すでに受け取ったファイルが複数あるときです。メモ帳は大きなファイルでは厳しく、インポートは開くたびに繰り返す必要があり、形式の選択はすでにできあがったファイルにはさかのぼって適用されません。

「CSV文字化け修復器 (BOM追加)」で確認する。 ファイルをアップロードすると、先頭5行のプレビューでハングルが正しく読めるかをまず示し、ボタン1つで先頭にBOMが付いた新しいCSVをダウンロードできます。

CSV文字化け修復器 (BOM追加)

インストールも会員登録も不要で、ブラウザ内でBOMを付けてダウンロードできます。アップロードしたファイルがサーバーへ送信されることはありません。

よくつまずくポイント

BOMを付けてもまだ文字化けするなら、そのファイルはそもそもUTF-8ではなかった可能性が高いです。BOMは「UTF-8であることを知らせる印」にすぎず、他のエンコーディングをUTF-8に変換してくれるわけではありません。

そのため、ツールは先頭5行のプレビューを最初に表示します。このプレビューはファイルをUTF-8として読んで表示したものなので、判断の基準になります。

プレビューの見え方意味
ハングルが正常に見えるファイルはUTF-8です。BOMを付けるだけでExcelで開けます
�のようなひし形の疑問符ファイルがUTF-8ではありません(例: CP949)。ダウンロードしないでください
漢字や記号が混ざったハングル上と同じです。元のファイルをUTF-8で書き出し直す必要があります

プレビューが化けて見えるのにそのままダウンロードすると、読めなかった文字が代替文字として固定され、元の文字を復元できなくなります。この場合は、ファイルを作った側でUTF-8で書き出し直すのが唯一の解決策です。

逆に、BOMが原因で起きる副作用もあります。プログラムでCSVを読むときに先頭の列名が\ufeff주문번호のように見える場合で、これは読む側がBOMを取り除いていないためです。

まとめ

  • 化けた文字は、UTF-8のバイト列を1バイト単位の古い文字コード表で読んだ結果です。수출のEC 88 98 EC B6 9Cが수출に見える、という具合です。
  • CSVはファイル内にエンコーディングを書きません。RFC 4180はcharsetを転送段階の情報としてのみ扱います。
  • UTF-8 BOMはファイル先頭のEF BB BFの3バイトで、UnicodeのU+FEFFをエンコードした値です。
  • ファイルに手を加えたくない場合は、Excelの「データ」タブ →「テキスト/CSVから」→「ファイル オリジン」を65001: Unicode (UTF-8)に指定します。
  • ファイルを直す場合は、メモ帳のUTF-8(BOM)保存、ExcelのCSV UTF-8 (コンマ区切り)形式、または下のツールを使います。
  • BOMを付けてもだめなら、元のファイルがUTF-8ではありません。まずプレビューで確認してください。
CSV文字化け修復器 (BOM追加)

インストールも会員登録も不要で、ブラウザ内でBOMを付けてダウンロードできます。アップロードしたファイルがサーバーへ送信されることはありません。

よくある質問

BOMを付けるとファイルの中身は変わるのでしょうか?

本文の文字はそのままで、先頭に EF BB BF の3バイトが追加されます。ファイルサイズは3バイト増えます。

標準に準拠したプログラムはこの3バイトを読み飛ばしたうえで残りを本文として扱うため、画面に表示される内容は変わりません。すでにBOMが付いたファイルをもう一度アップロードしても二重には付きません。ブラウザがファイルを読み込むときのUTF-8デコード手順が、先頭の3バイトを最初に取り除くためです。

メモ帳では問題ないのに、Excelでだけ文字化けします。なぜでしょうか?

2つのプログラムでエンコーディングを決める方法が異なるためです。メモ帳はUTF-8を優先して試すのに対し、ExcelはCSVを直接開くときにBOMがなければUTF-8とはみなしません。同じファイルなのに結果が違うのは、ファイルではなく読み込む側の判断が違うからです。

BOMを付けたのに、まだ文字化けします。

元のファイルがUTF-8でない場合に起こります。BOMは「このファイルはUTF-8」という目印にすぎず、別のエンコーディングのバイト列を変換してくれるものではありません。ツールの5行プレビューで文字がすでに化けて見えるならこのケースなので、ファイルを作成したシステムからUTF-8で書き出し直す必要があります。

アップロードしたCSVファイルはサーバーに送信されますか?

いいえ。ファイルの読み込み、プレビュー、BOMを付けた新しいファイルの作成はすべてブラウザ内で処理され、ファイルがサーバーに送られることはありません。社内の注文履歴や取引先リストが入ったCSVも外部に流出しません。

この記事は韓国語の原文をもとに作成しています。 韓国語の原文を読む

関連記事

  1. Excel CSV 文字化けの原因とUTF-8変換方法ExcelでCSV保存したファイルを他のプログラムで開くと文字が「?」や記号に化ける原因(文字コードの違い)を説明し、UTF-8で文字化けしないCSVに変換してダウンロードする方法を紹介します。
  2. Excelの複数シートをCSV保存すると1つしか残らない理由複数シートのExcelをCSV保存すると、開いているシート1つだけが残る理由と、すべてのシートをCSVとして残す方法を整理して解説します。
  3. ExcelのJSON変換で日付が数字になる原因と計算方法ExcelをJSONに変換すると日付が46037のような数字になる理由と、シリアル値を実際の日付に戻す計算式、事前に文字列へ変換しておく方法を解説します。
  4. Excel・CSV結合で列がずれる原因と防ぎ方複数のExcel・CSVを1つにまとめると列がずれる理由を、結合の仕組みから説明します。結合前に確認するポイントと、シート名が自動で変わる規則も整理します。
  5. Excelの表をMarkdown変換|貼り付けが崩れる原因と対処ExcelやGoogleスプレッドシートからコピーした表をGitHub READMEやNotionに貼り付けると崩れる理由と、Markdown表の書き方、貼り付けるだけで変換する方法を解説します。
  6. ガントチャートとカレンダーの違い|期間と重なりが棒で見えるカレンダーでは見えない期間の長さや日程の重なりを、ガントチャートが棒の位置と長さで示す仕組みを解説。計算式と手書きの手順、進捗率の表し方までまとめました。

関連ツール