CSVのカンマで列がずれる原因と引用符のルール

公開ツールCSVをJSONに変換

目次
  1. 列がずれるのはファイルが壊れているからではありません
  2. CSVの引用ルール: たった3行で全部です
  3. ツールを使わずに自分でパースする方法
  4. 変換結果でよくつまずくポイント
  5. まとめ
  6. よくある質問

Excelから書き出したCSVをコードでカンマ分割したら、一部の行だけ列がひとつずつずれてしまった——そんな方に向けた記事です。結論から言うと、CSVのカンマがすべて列の区切りではありません。ダブルクォートで囲まれた中のカンマは、ただの文字です。

CSVでは値の中にカンマ・ダブルクォート・改行を含めることができ、そのときだけ使う引用のルールが別に用意されています。この3行のルールさえ押さえておけば、ずれた列がなぜずれたのかすぐに見抜けます。

まとめ ① 値の中にカンマ・ダブルクォート・改行があるときは、その値全体をダブルクォートで囲みます。 ② 囲んだ値の中のダブルクォートは、2つ続けて書いてエスケープします。"" はクォート1文字です。 ③ クォートの中のカンマと改行は区切りではなく値なので、split(",") や行単位の読み込みでは切り出せません。

列がずれるのはファイルが壊れているからではありません

商品リストのCSVが次のようになっているとします。

name,memo,price
"鉛筆, 2B","表面に ""HB"" 表記",1200

2行目にはカンマが3つあります。そのため split(",") は断片を4つ作りますが、実際の列は name・memo・price の3つです。"鉛筆 と 2B" に割れた瞬間から、その行の値はひとつずつずれていきます。

行単位で読むときも同じことが起こります。

"ノート","横 210mm
縦 297mm",3500

これはファイル上では2行に見えますが、レコードは1つです。行数だけを数えると行が1つ増えたように見え、それ以降のデータが丸ごとずれていきます。

CSVの引用ルール: たった3行で全部です

CSVは長く使われてきた形式でありながら、正式な規格がないまま広まりました。2005年10月に公開されたRFC 4180がその慣行を文書として整理し、text/csv というMIMEタイプを登録しています。文書自身にも「この形式は非常に一般的だが、公式に文書化されたことは一度もない」と記されています。

ここに書かれている引用ルールは次のとおりです。

  • 各フィールドはダブルクォートで囲んでも囲まなくてもかまいません。ただし囲まないフィールドの中にダブルクォートを置くことはできません。
  • 改行・ダブルクォート・カンマを含むフィールドはダブルクォートで囲む必要があります。
  • 囲んだフィールドの中にダブルクォートが現れたら、その前にダブルクォートをもう1つ付けてエスケープします。

そのため "" はクォート2つではなくクォート1文字です。"表面に ""HB"" 表記" をルールどおりに読むと、値は 表面に "HB" 表記 になります。

もうひとつあります。RFC 4180は「空白もフィールドの一部であり、無視してはならない」と明記しています。a, b の2番目の値は b ではなく、先頭に空白が1つ付いた b です。表計算ソフトが勝手に整えてくれるように見えても、ルール上は残っている値です。

ツールを使わずに自分でパースする方法

ポイントは、クォートの中か外かという状態を1つだけ持ち、文字を1つずつ走査することです。正規表現で一気に切り出そうとすると、連続する "" のところですぐに行き詰まります。

読み取りのルールは4つです。

  • クォートの外で " に出会ったら、引用領域に入ります。
  • 引用領域の中で " に出会い、次の文字も " なら、値にクォート1文字を追加して2文字分を飛ばします。
  • 引用領域の中で " の次に別の文字が来たら、引用領域から抜けます。
  • 引用領域の外にあるカンマだけが列の区切りで、外にある改行だけが行の区切りです。内側にあるものはすべてただの文字です。

ブラウザの開発者ツール(多くの場合F12)のコンソールに以下を貼り付ければ、このルールどおりに動くパーサーをすぐに作れます。

function parseCSV(text, delim) {
  const rows = []; let row = []; let field = ""; let inQuotes = false;
  for (let i = 0; i < text.length; i++) {
    const c = text[i];
    if (inQuotes) {
      if (c === '"') {
        if (text[i + 1] === '"') { field += '"'; i++; }   // "" → " 1文字
        else inQuotes = false;
      } else field += c;                                   // 内側のカンマ・改行は値
    } else if (c === '"') inQuotes = true;
    else if (c === delim) { row.push(field); field = ""; }
    else if (c === "\n") { row.push(field); rows.push(row); row = []; field = ""; }
    else if (c !== "\r") field += c;
  }
  row.push(field); rows.push(row);
  return rows;
}

ファイルの末尾が改行で終わっていると、この関数は空の値1つだけを持つ行を最後にもう1つ作ります。行数を数えるときは、その行を除いて数えれば大丈夫です。

問題は、CSVを確認するたびにこの関数を貼り直し、出てきた配列を目で数えて列が合っているか照合しなければならないことです。先頭行をキーにしてJSONにするなら、コードはさらに増えます。

無料ツール「CSVをJSONに変換」で確認する。 CSV入力欄に貼り付けるだけで、同じ引用ルールでパースし、先頭行をキーにしたJSON配列をそのまま表示します。

CSVをJSONに変換

インストールや会員登録なしでブラウザ内でそのまま変換でき、貼り付けたCSVはサーバーに送信されません。

変換結果でよくつまずくポイント

状況どう処理されるか
値の中のカンマダブルクォートで囲まれた区間なら文字として残ります
値の中の ""ダブルクォート1文字にまとめられます
値の中の改行1つの値の中で保たれ、JSONでは \n として見えます
数値に見える値すべて文字列として出力されます("1200")
列が足りない行欠けているキーは空文字列で埋められます
ヘッダーのセルが空col1・col2 のような名前が代わりに付きます

値がすべて文字列で出てくるのは、CSV自体にデータ型がないからです。ファイルには 1200 という文字が書かれているだけで、それが数値なのか商品コードなのかを書き留めておく場所がありません。数値として扱いたいなら、受け取る側で変換すればかまいません。

区切り文字がカンマではないファイルもよくあります。ツールの区切り文字の項目で、カンマ・タブ・セミコロン・パイプから選べます。変わるのは区切り文字だけで、引用ルールはそのまま適用されます。

先頭行がタイトルではなくデータであるファイルなら、先頭行をヘッダー(キー)として使うのチェックを外せば済みます。するとオブジェクトの配列ではなく、行ごとに配列が入った2次元配列で出力されます。

まとめ

  • CSVのカンマがすべて区切りではありません。ダブルクォートで囲んだ区間の中のカンマは値の一部です。
  • 値にカンマ・ダブルクォート・改行が入る場合はその値をダブルクォートで囲み、内側のダブルクォートは2つ続けて書きます。
  • 値の中の改行があるため、ファイルの行数とレコード数は一致しないことがあります。行単位で読むと行がずれます。
  • 自分でパースするときは、正規表現ではなく「クォートの中か外か」という状態を1つ持って文字を走査すれば十分です。
  • 空白はフィールドの一部として扱います。a, b の2番目の値には先頭の空白が残ります。
  • 変換後の値はすべて文字列です。データ型はCSVが保持できない情報です。
CSVをJSONに変換

インストールや会員登録なしでブラウザ内でそのまま変換でき、貼り付けたCSVはサーバーに送信されません。

よくある質問

引用符を2つ書くと1つになるのはなぜですか?

囲み用の引用符と値の中の引用符を区別する必要があるためです。RFC 4180では、囲んだフィールドの中に二重引用符が現れたら、その前に二重引用符を1つ追加してエスケープするよう定めています。読み取り側は、引用区間の中で"に出会ったときに次の文字も"かどうかだけを見て、そうであれば値を1文字として取り込み、そうでなければ引用区間を閉じます。

値の中に改行があるCSVは、壊れたファイルですか?

いいえ。規格上認められている形式で、改行を含む値は二重引用符で囲むよう定められています。メモや住所のように複数行にわたる値でよく見られます。テキストエディタでファイルを開き、その値が引用符で囲まれているか確認すれば、ファイルが壊れているのか、読み取り側が行単位で読んでいるのかを区別できます。

セミコロンやタブで区切られたファイルも同じルールですか?

区切り文字が違うだけで、引用のルールはそのまま使います。値の中にその区切り文字や二重引用符、改行が入る場合は二重引用符で囲み、内側の引用符は2回書きます。ツールでは区切り文字の項目をカンマからタブ・セミコロン・パイプに変えて、同じ方法で変換できます。

貼り付けたCSVはサーバーに送信されますか?

いいえ。このツールの変換はすべてブラウザ内で処理され、入力したCSVや変換結果がサーバーに送信されたり保存されたりすることはありません。入力欄に内容を入れるとすぐに同じ画面で計算され、結果は「JSONをコピー」ボタンでクリップボードにコピーして使えます。

この記事は韓国語の原文をもとに作成しています。 韓国語の原文を読む

関連記事

  1. SQL INSERTのシングルクォートエスケープが必要な理由CSVの値にシングルクォート(アポストロフィ)が入っていると、なぜSQL INSERT文が壊れるのか。二重に書いてエスケープする仕組みを例で解説します。
  2. CSV連絡先をiPhoneに一括登録するvCard変換手順Excelで整理した連絡先がiPhoneで開かないのは、連絡先アプリがCSVに対応しておらずvCard(.vcf)しか読み込めないためです。CSVをvCardに変換して1つのファイルにまとめる方法を解説します。
  3. アイゼンハワーマトリクス4象限|緊急と重要の分け方アイゼンハワーマトリクスの1〜4象限がそれぞれ何か、緊急と重要をどんな質問で分けるかを整理。緊急だが重要でない第3象限に時間が偏る理由も説明します。
  4. Excel CSVの文字化けはUTF-8 BOM 3バイトが原因ExcelでCSVを開くと文字化けする原因をバイト単位で解説。UTF-8 BOMの3バイトが何をしているのか、ファイルを加工せずに開く方法までまとめました。
  5. Excel CSV 文字化けの原因とUTF-8変換方法ExcelでCSV保存したファイルを他のプログラムで開くと文字が「?」や記号に化ける原因(文字コードの違い)を説明し、UTF-8で文字化けしないCSVに変換してダウンロードする方法を紹介します。
  6. Excelの複数シートをCSV保存すると1つしか残らない理由複数シートのExcelをCSV保存すると、開いているシート1つだけが残る理由と、すべてのシートをCSVとして残す方法を整理して解説します。

関連ツール