Excel CSVの文字化けを直す|CP949・UTF-8で復元

公開ツールテキストエンコーディング変換(CP949 ↔ UTF-8)

目次
  1. なぜこんなことが起きるのか: 銀行のCSVをダウンロードしたとき
  2. エンコーディングとは:文字を収める「バイトのルールブック」
  3. CP949・EUC-KR・ANSI・UTF-8・BOMは、それぞれ何を意味するのか
  4. ツールを使わずに自分で復元する方法
  5. よくある誤解と失敗
  6. まとめ
  7. よくある質問

ExcelやエディターでCSV・テキストファイルを開いたら、韓国語が「뷁뷁」や「���」のように文字化けして見えたとしても、ファイルが破損しているわけではありません。文字をバイト列に変換して保存したときの規則(エンコーディング)と、そのバイト列を文字に戻して読むときの規則が食い違っているだけです。

規則を合わせて読み直せば、元の文字にそのまま戻ります。この記事では、なぜ文字化けするのかをエンコーディングの原理から説明し、どのエンコーディングで保存されたファイルなのかを自分で見分けて復元する方法まで整理します。

まとめ ① 韓国語の文字化けは、ファイルが壊れたのではなく、保存時と読み込み時でエンコーディングが違うときに起きる症状です。 ② 古いWindowsプログラムが作ったファイルはたいていCP949(メモ帳が「ANSI」と呼ぶもの)で、最近のエディターやWeb、Excelの内部ではUTF-8が標準です。 ③ 同じバイト列を2つのエンコーディングで同時に読み、文字化けした文字(置換文字U+FFFD、画面では黒いひし形の疑問符)がより少ないほうを選べば、そのファイルのエンコーディングを判別できます。

なぜこんなことが起きるのか: 銀行のCSVをダウンロードしたとき

銀行やカード会社のサイトから取引明細をCSVでダウンロードしたり、昔の会計・給与計算プログラムからデータをエクスポートしたりした場面を思い浮かべてください。ファイルをダブルクリックするとExcelが開き、日付や数字は問題ないのに、韓国語の列だけが「뷁・꽭・븳」のような妙な文字で埋め尽くされています。

同じファイルをVS Codeやメモ帳で開くと、今度は黒いひし形の疑問符がずらりと出てくることもあります。症状は二通りに見えても、原因は一つです。

こうしたファイルはたいてい古いWindowsプログラムが作成したもので、韓国語がCP949方式で保存されています。ところが最近のプログラムは、ファイルをUTF-8とみなして読み込みます。保存時の規則と読み込み時の規則がずれるため、文字が化けるのです。

エンコーディングとは:文字を収める「バイトのルールブック」

コンピューターは文字をそのまま保存することはできません。すべての文字は数値(バイト)に変換して保存され、読み込むときに再び文字へ戻されます。この「文字 ↔ バイト」の変換ルールブックこそが、エンコーディングです。

問題は、ルールブックが一つではないことです。同じ「한」という文字でも、ルールブックが違えば別のバイト列で保存されます。

'한' という文字を保存すると
 CP949 ルールブック: c7 d1        (2バイト)
 UTF-8 ルールブック: ed 95 9c     (3バイト)

そのため、CP949で保存したファイルをUTF-8のルールブックで読むと、コンピューターはc7 d1をUTF-8の規則に合う文字として解釈しようとして失敗します。読み取れなかった箇所に表示されるのが置換文字U+FFFDで、画面では黒いひし形の疑問符として見えます。だから疑問符の記号がずらりと並ぶのです。

逆に、UTF-8で保存したファイルをCP949のルールブックで読むと(ExcelがCSVを開くときに韓国語版Windowsで起きることです)、3バイトの韓国語が2バイトずつでたらめに区切られて読み取られます。その結果が「뷁・븞」のような、存在はするものの意味を持たないハングル音節の羅列です。

まとめると、文字化けは二つの方向で現れます。ファイル自体はそのままで、読み込みの規則を変えるだけで元の文字に戻ります。

CP949・EUC-KR・ANSI・UTF-8・BOMは、それぞれ何を意味するのか

用語が混在していて紛らわしいので、一つずつ事実だけを押さえていきます。

  • UTF-8: 世界中の文字を収めるUnicodeを、バイト列として保存する国際標準です。英字・数字は1バイト、韓国語は1文字あたり3バイトで保存します。現在のWeb・Mac・Linux・最新のWindowsでは、これが標準のエンコーディングです。
  • CP949: Microsoftが使っていた韓国語規格で、現代ハングル11,172文字をすべて2バイトで格納します。古いWindowsプログラムが韓国語を保存する際の既定方式で、統合完成形(UHC)とも呼ばれます。
  • EUC-KR: CP949より前の標準で、よく使うハングル2,350文字だけを2バイトで格納しました。「뷁」・「똠」のようにこの一覧にない文字は表現できなかったため、その空白を埋める形で拡張されたのがCP949です。そのため、CP949はEUC-KRを含みます。
  • ANSI: Windowsのメモ帳の「名前を付けて保存」に表示されるエンコーディング名です。実際には「ANSI」という国際標準があるわけではなく、「そのコンピューターの既定のコードページ」を指すMicrosoft流の別名で、韓国語版Windowsではその既定値がCP949にあたります。つまり、韓国で「メモ帳でANSI保存」と言えば、実質はCP949保存です。
  • BOM(Byte Order Mark): ファイルの先頭に付く3バイトの目印(ef bb bf)で、「このファイルはUTF-8」という署名の役割を果たします。Excelはこの目印がないとCSVをCP949として読み込むため、UTF-8の韓国語が文字化けします。

この五つの用語を押さえておけば、以降で「どのルールブックで読むか」によって結果が変わる理由が理解しやすくなります。

ツールを使わずに自分で復元する方法

専用ツールがなくても復元できます。状況に応じて、以下の標準機能を使いましょう。

  • ExcelでCSVが文字化けするときは、ファイルをダブルクリックせず、インポート機能で開くのが定石です。「データ」タブ → 「テキスト/CSVから」(または「テキスト/CSVのインポート」)→ ファイルを選択 → プレビュー画面の「ファイル オリジン」ドロップダウンでエンコーディングを選びます。ここには「949: 韓国語(Windows)」と「65001: Unicode(UTF-8)」があるので、韓国語が正しく表示される項目を選んで読み込めば大丈夫です。
  • VS Codeで開いたときは、下部のステータスバーに表示されている現在のエンコーディング(例: UTF-8)をクリック → 「エンコードを指定して再度開く」 → 「Korean (Windows 949)」を選択します。文字が戻ったら、もう一度同じ場所をクリックして「エンコードを指定して保存」 → 「UTF-8」で保存すれば、UTF-8のファイルになります。
  • Windowsのメモ帳は、最新版であればファイルを開いたときに下部へ現在のエンコーディングが表示され、「名前を付けて保存」画面の下にあるエンコーディングのドロップダウンからUTF-8を選んで保存し直せます。ただしメモ帳は開くときのエンコーディングを強制する機能が弱く、すでに文字化けした状態でしか表示できないこともあります。
  • コマンドラインに慣れているなら、Mac・Linuxに標準で入っているiconvの1行で変換できます。
iconv -f cp949 -t utf-8 元ファイル.csv > 結果.csv

ここで難しいのは、「このファイルがCP949なのかUTF-8なのか」を先に知る必要があることです。上記の方法では、人がエンコーディングを一つずつ切り替えながら、目で見当を付けるしかありません。ファイルが複数あるなら、この判定を自動で行うほうが早いでしょう。

Dynamic Labsの無料ツール「テキストエンコーディング変換(CP949 ↔ UTF-8)」で確認してみましょう。

テキストエンコーディング変換(CP949 ↔ UTF-8)

ファイルはブラウザ内だけで処理し(サーバーへのアップロードなし、最大20MB)、CP949とUTF-8のプレビューを並べて表示したうえで、Excel向けのBOM付きUTF-8で保存します。無料・インストール不要で使えます。

このツールは、ドロップしたファイルをブラウザー内だけで読み込み(サーバーにはアップロードされません。20MBまで)、同じバイト列をUTF-8とCP949の2つのルールブックで同時にデコードします。各結果に含まれる置換文字の割合を数え、ファイルの先頭にUTF-8 BOMがあればUTF-8を、なければ文字化けの割合が低いほうを「推奨エンコーディング」として自動判定し、その側に緑のチェック(✅)を付けます。その後、そのエンコーディングで読み込んでUTF-8として保存し直し、保存するファイル名は元のファイル名の後ろに「-utf8」が付きます。

よくある誤解と失敗

文字化けは原因が決まっているので、次の表のように「実際のエンコーディング × 開き方」で症状が分かれます。

ファイルの実際のエンコーディングこのように開くと画面に表示されるもの
CP949(旧ANSI)UTF-8のエディター黒いひし形の疑問符(置換文字)
UTF-8Excel(既定=CP949)「뷁・븞」のようなでたらめなハングル
UTF-8 + BOMExcel正常

緑のチェックだけを過信しないことが第一のコツです。推奨の判定は置換文字の数を数える方式なので、ほとんどの場合は当たりますが、まれに文字化けした側のほうが置換文字が少なくなることもあります。そのため、2つのプレビューのうち実際に単語として読めるほうを、目でもう一度確認するのが安全です。

BOMが必要かどうかは、ファイルの用途によって変わります。 Excelで開くCSVなら、BOMを付けておかないとExcelがUTF-8として認識しません。そのため、ツールには「CP949 → UTF-8 + BOM」というオプションが別に用意されています。逆に、ソースコード・JSON・シェルスクリプトのようなプログラミング用ファイルでは、先頭3バイトのBOMが内容の一部として読まれ、パーサーや実行に支障が出ることがあるため、BOMなしのUTF-8で保存します。

EUC-KRとCP949をわざわざ区別する必要はありません。 CP949はEUC-KRを含む拡張で、ブラウザーはこの2つを同じデコーダーで処理します。そのため、ツールでも2つを分けて尋ねず、一方として読み込みます。

出力は常にUTF-8です。 このツールは、UTF-8に復元して保存する方向のみに対応しています(ブラウザーの保存用エンコーダーがUTF-8だけに対応しているためです)。UTF-8のファイルを再びCP949に戻すためのツールではありません。

まとめ

要点だけをまとめると、次のとおりです。

  1. 韓国語の文字化けはファイルの破損ではなく、保存したときのエンコーディングと読み込むときのエンコーディングがずれている症状です。読み込むルールを合わせるだけで元に戻ります。
  2. 古い Windows のファイルはたいてい CP949(メモ帳の「ANSI」)で、近年の環境は UTF-8 が標準なので、両者がぶつかると文字化けします。
  3. どちらのエンコーディングなのかは、同じバイト列を2つの方式で読み、置換文字が少ないほうを見れば判断できます。BOM があれば UTF-8 で確定です。
  4. Excel 用の CSV には BOM を付け、ソースコードなどプログラミング用のファイルには BOM を付けません。
  5. 判定が微妙なときは緑のチェックだけに頼らず、2つのプレビューのうち文字が読めるほうを目で確認すれば大丈夫です。
テキストエンコーディング変換(CP949 ↔ UTF-8)

ファイルはブラウザ内だけで処理し(サーバーへのアップロードなし、最大20MB)、CP949とUTF-8のプレビューを並べて表示したうえで、Excel向けのBOM付きUTF-8で保存します。無料・インストール不要で使えます。

よくある質問

Excel で CSV の韓国語が文字化けします。どうやって元に戻せますか?

ケースは2つに分かれます。ファイルが CP949(旧 ANSI)なら、そのエンコーディングで読み込んで「UTF-8 + BOM」で保存し直せば元に戻ります。ファイルがすでに UTF-8 なのに Excel 側で崩れている場合は、先頭に BOM を付けるだけで Excel が UTF-8 として正しく認識します。ツールを使わないなら、Excel の「データ」→「テキスト/CSVから」で取り込みながら、元ファイルのエンコーディングを自分で指定すれば済みます。

CP949 と EUC-KR は別のエンコーディングですか?

同じ系列です。EUC-KR はよく使うハングル 2,350 文字だけを収めており、CP949 はそこに「뷁」や「똠」のような残りの現代ハングルまで加えて 11,172 文字をすべて収められるよう拡張した規格です。つまり CP949 は EUC-KR を含みます。ブラウザーはこの2つを同じデコーダーで処理するので、変換時に区別する必要はありません。

BOM は必ず付けるべきですか?

ファイルの用途によって変わります。Excel で開く CSV には付けておくほうが安全です。BOM がないと Excel が UTF-8 のファイルを CP949 と誤って読んでしまい、韓国語が文字化けするからです。反対に、ソースコード・JSON・シェルスクリプトのようなプログラミング用のファイルでは、先頭の BOM 3バイトがエラーの原因になり得るので付けません。

ファイルはサーバーにアップロードされますか?

いいえ。ブラウザーに組み込まれたデコーダーで端末内だけで処理するため、ファイルが外部に出ることはありません。処理できる容量は1ファイルあたり 20MB までです。

この記事は韓国語の原文をもとに作成しています。 韓国語の原文を読む

関連記事

  1. 改行を削除してテキストを1行にまとめる方法PDFやWebからコピーした文章に混ざる改行を、スペース1つに置き換えて1行にまとめる方法を解説。N文字ごとの改行挿入やword-wrapの違い、置換文字の選び方の注意点まで例で確認できます。
  2. テキストの文字数を揃える|パディングの計算と動作複数行のテキストを同じ文字数に揃えるとき、左・右・両側のどこに詰めるか、文字数の数え方、超えた行の扱いを例で確認します。表計算ソフトで使う式も紹介します。
  3. テキスト反転のやり方|文字・単語・行の違いを比較入力した文章を文字・単語・行の3つの単位で反転した結果を例で比較します。絵文字やハングルが崩れない理由(Unicodeのコードポイント処理)と、文字単位と単語単位を混同しがちな点も解説します。
  4. タイポグリセミアとは 文字を混ぜても読める理由と仕組みタイポグリセミアの意味と、単語の中間だけを混ぜる仕組みを解説します。シーザー暗号/ROT13、上下反転、数学記号の4つの変換が何を変えているのか、結果が崩れて見える理由まで確認できます。
  5. フラッシュカードの作り方|単語と意味の1行をカードに変換「単語 : 意味」と1行書くだけで、めくって使える暗記カード1枚に変わります。区切り文字4種類、表裏の決まり、空行や「意味なし」になる理由を無料ツールで確認できます。
  6. テキスト読み上げを無料で 登録もインストールも不要ブラウザに内蔵された音声合成で、入力した文章をそのまま読み上げる無料TTSの仕組みを解説します。声・速度・音量の調整方法と、音が出ないときの確認点もまとめました。

関連ツール