テキストを2進数に変換する仕組み|UTF-8とバイト数

公開ツールテキスト ↔ 2進数変換ツール

目次
  1. 「안녕」は2文字なのに、なぜ6バイトなのか
  2. ツールを使わずに文字を2進数へ変換する方法
  3. 復元するときにつまずきやすいポイント
  4. まとめ
  5. よくある質問

入力した「가」という1文字が、なぜ画面で24個の0と1になって現れるのか。その答えは、コンピューターが文字を「バイト」という8ビットのまとまり単位で保存しているからです。英字は1バイト、ハングルは通常3バイト、絵文字は4バイトなので、1文字が複数の8桁の2進数に分かれます。

この記事では、文字が0と1に変わる過程をUTF-8の規則どおりに説明し、逆にそのコードを文字へ戻すときにつまずきやすいポイントまで、検証できる事実を中心に整理します。

まとめ ① コンピューターは文字をUTF-8のバイトに変換したうえで、各バイトを8桁の2進数、または2桁の16進数で表します。 ② 英字は1バイト・ハングルは3バイト・絵文字は4バイトなので、1文字が複数の8ビットのまとまりとして出てきます。 ③ 復元は2進数なら8桁、16進数なら2桁ずつ区切って読むもので、桁数が合わないときや不正なバイトの組み合わせでは失敗するか、�として表示されます。

「안녕」は2文字なのに、なぜ6バイトなのか

テキストエディタで「안녕」の2文字だけを入力してUTF-8で保存すると、ファイルには6バイトが入ります。文字は明らかに2つなのに、容量はその3倍です。

ここから「文字数」と「バイト数」が別の値だという事実が見えてきます。コンピューターは文字を数えているのではなく、バイトを数えて保存しているからです。

ハングル1文字はUTF-8では通常3バイトを占めます。つまり「안」が3バイト、「녕」が3バイトで、合わせて6バイトになります。この3倍という関係がどこから来るのかがわかれば、2進数に変換したときにあれほど長い0と1の並びになる理由も同時に理解できます。

ツールを使わずに文字を2進数へ変換する方法

すべての工程は手作業でも行えます。手順は3ステップです。

ステップ1 — 文字をバイトに変える。 コンピューターは文字ごとに決められた番号(コードポイント)を、UTF-8の規則に従って1〜4個のバイトに分けます。英字の「A」は番号が65番で1バイト、ハングルの「가」は3バイトに分かれます。

ステップ2 — 各バイトを8桁の2進数で書く。 1バイトは0から255までの値です。この値を2進数で書き、8桁に満たなければ先頭を0で埋めます。「A」(65)は2進数では1000001ですが、8桁に合わせると01000001になります。

ステップ3 — バイトが複数あればつなげる。 「가」はバイト値が234・176・128の3つなので、それぞれ11101010・10110000・10000000になり、つなげると24桁になります。

16進数表記と値を自分で確かめる方法

16進数はもっと単純です。各バイトを2桁の16進数で書けばよいだけです。「A」は41、「가」はea b0 80です。8桁の2進数1バイトは、16進数ではちょうど2桁に対応します。

自分で確かめたいときは、ブラウザの開発者ツールのコンソールで new TextEncoder().encode('가') を実行すると [234, 176, 128] が返ります。この値がそれぞれea・b0・80にあたり、Pythonでは '가'.encode('utf-8') で同じ結果が得られます。

問題は、文字が増えるとこの計算を1文字ずつ繰り返さなければならないことです。

私たちの無料ツール「テキスト ↔ 2進数変換ツール」で確認する。

テキスト ↔ 2進数変換ツール

インストールや会員登録なしで、ブラウザ上でテキストをUTF-8基準の2進数・16進数に変換し、そのコードを元のテキストに復元できます。

復元するときにつまずきやすいポイント

2進数や16進数のコードを文字に戻すときには、決まったルールがあります。復元ツールは2進数なら8桁ずつ、16進数なら2桁ずつ区切って、それぞれのまとまりを1バイトとして読みます。そのため区切り文字(空白)はあってもなくてもかまいません。

問題は、この「区切って読む」が成り立たないときです。以下が代表的なケースです。

症状原因確認方法
2進数が文字にならない0と1の合計個数が8の倍数でない8の倍数か(1バイト=8桁)確認する
16進数が文字にならない桁数が奇数偶数桁か(1バイト=2桁)確認する
つなげて書いたコードも変換できる8ビット・2桁ずつ自動で区切る区切り文字はあってもなくてもよい
文字の代わりに�が出る有効なUTF-8ではないバイトの組み合わせ元のコードが途中で切れたり混ざったりしていないか確認する
16進数なのに2進数として読まれる0と1しかないため自動判定が2進数と判断する形式を16進数に自分で指定する

最後の2行をもう少し詳しく見てみます。たとえば2進数の入力欄に10000000を1つだけ入れると、これは単独では使えないバイトなので、有効な文字として復元されず、代替文字の�として表示されます。コードが欠けていないか見直すべきだという合図です。

また、自動判定モードは入力に0と1しかなければ2進数と判断します。そのため「01」や「10」のような16進数の値は2進数と誤認されることがあるので、その場合は形式を16進数に自分で指定すれば解決します。なお、バイト数が文字数より大きくなるのはエラーではなく、ハングルや絵文字が複数のバイトで成り立っているために起こる正常な結果です。

まとめ

  • コンピューターは文字をUTF-8のバイトに変換し、各バイトを8桁の2進数、または2桁の16進数で表します。
  • 英字は1バイト・ハングルは3バイト・絵文字は4バイトなので、1文字が複数のまとまりに分かれ、バイト数は文字数より大きくなります。
  • 復元は2進数なら8桁、16進数なら2桁ずつ区切って読むので、区切り文字はなくてもかまいません。
  • 2進数の全体の長さが8の倍数でない場合や、16進数が奇数桁の場合は復元されず、案内メッセージが表示されます。
  • 有効なUTF-8ではないバイトの組み合わせは、代替文字の�として表示されます。
テキスト ↔ 2進数変換ツール

インストールや会員登録なしで、ブラウザ上でテキストをUTF-8基準の2進数・16進数に変換し、そのコードを元のテキストに復元できます。

よくある質問

ハングル1文字が2進数で24桁になるのはなぜですか?

ハングルはUTF-8では通常3バイトで保存され、1バイトは8桁の2進数だからです。3バイト × 8桁 = 24桁になります。英字は1バイトなので8桁、絵文字は4バイトなので32桁になります。

区切り(空白)なしでつなげた2進数も復元できますか?

できます。2進数は8桁ずつ、16進数は2桁ずつ自動で区切って読みます。ただし全体の長さが、2進数では8の倍数、16進数では偶数桁である必要があり、桁数が合わない場合は案内メッセージが表示されます。

復元したら �(四角やはてな)記号が出ました。なぜですか?

バイトの組み合わせが有効なUTF-8ではないからです。たとえば単独では使えないバイトが混ざると、復元ツールは元の文字を特定できず、代替文字の�として表示します。元のコードが途中で切れていないか、別の値と混ざっていないかを確認すれば解決します。

2進数と16進数は何が違うのですか?

同じバイトを書き方を変えて表したもので、含まれる情報量は同じです。1バイトを2進数では8桁、16進数では2桁で表します。16進数は短く見やすいのに対し、2進数はビット1つ1つをそのまま見せてくれるという違いがあります。

この記事は韓国語の原文をもとに作成しています。 韓国語の原文を読む

関連記事

  1. テキスト比較の読み方|緑・赤・灰色の意味と仕組み2つのテキストを比較すると、追加は緑、削除は赤、そのままは灰色で表示されます。共通する行を先に探すLCSの仕組みと、1文字直しただけで行全体が削除・追加に見える理由まで、結果の読み方を整理しました。
  2. Excel CSVの文字化けを直す|CP949・UTF-8で復元エクセルで韓国語のCSVが「뷁뷁」や「���」になるのはなぜかをエンコーディングの仕組みから解説。CP949・EUC-KR・UTF-8・BOMの違いと、元の文字に戻す手順をまとめています。
  3. 改行を削除してテキストを1行にまとめる方法PDFやWebからコピーした文章に混ざる改行を、スペース1つに置き換えて1行にまとめる方法を解説。N文字ごとの改行挿入やword-wrapの違い、置換文字の選び方の注意点まで例で確認できます。
  4. テキストの文字数を揃える|パディングの計算と動作複数行のテキストを同じ文字数に揃えるとき、左・右・両側のどこに詰めるか、文字数の数え方、超えた行の扱いを例で確認します。表計算ソフトで使う式も紹介します。
  5. テキスト反転のやり方|文字・単語・行の違いを比較入力した文章を文字・単語・行の3つの単位で反転した結果を例で比較します。絵文字やハングルが崩れない理由(Unicodeのコードポイント処理)と、文字単位と単語単位を混同しがちな点も解説します。
  6. タイポグリセミアとは 文字を混ぜても読める理由と仕組みタイポグリセミアの意味と、単語の中間だけを混ぜる仕組みを解説します。シーザー暗号/ROT13、上下反転、数学記号の4つの変換が何を変えているのか、結果が崩れて見える理由まで確認できます。

関連ツール