重複行の削除サイト|Excelなしでリストを整理する

公開ツール重複行の削除・並べ替え

目次
  1. リストをまとめると重複がたまる理由
  2. ツールを使わずに重複行を削除する仕組み
  3. 間違えやすいポイント
  4. まとめ
  5. よくある質問

キーワード、メールアドレス、URL などを複数行で並べたリストで同じ行が繰り返される問題は、Excel やメモ帳の特別な機能がなくても、仕組みさえわかっていれば手作業で解決できます。ポイントは、改行で項目を区切り、大文字・小文字と空白をどう比較するかを決めてから、順番に処理していくだけです。

この記事では、その処理の仕組みを順番に解説し、最後に同じ作業をブラウザ上でそのまま行える無料ツールをご紹介します。

要点 ① 改行(Enter)は項目を区切る基準であり、重複を比較する単位でもあります。 ② 「大文字・小文字を無視」をオフにすると、Apple と apple は別の項目としてそれぞれ残ります。 ③ 「空白を整理」をオンにしないと、目に見えない前後の空白のせいで同じ単語でも重複が削除されません。

リストをまとめると重複がたまる理由

複数の人がそれぞれ調べたキーワード候補を1つの文書にまとめたり、複数のページからメールアドレスをコピーして1つのリストに集めたりするときに、よく起きることです。同じ単語が表記だけ少し違う形(大文字・小文字、前後の空白)で何度も入っていても、目でざっと見ただけではなかなか気づけません。

リストが数十行、数百行を超えると、人が1行ずつ比べて見つける方法は時間がかかるうえ、見落としも増えます。そのため、まず「同じ行」とみなすかどうかの基準を正確に決めておく必要があります。

ツールを使わずに重複行を削除する仕組み

リストの整理は、仕組みさえ押さえればスプレッドシートやテキストエディタだけでも自分で行えます。手順は次のとおりです。

  1. 1行に1項目ずつ並べる。 改行(Enter)が項目を区切る基準です。カンマや空白だけで区切られたリストなら、まず検索と置換で区切り文字を改行に変えておくと、以降の手順が正確になります。
  2. 目に見えない空白を取り除く。 スプレッドシートなら TRIM 関数が文字列の前後の空白を取り除いてくれます。テキストエディタなら検索と置換(Ctrl+H)で行末の空白を削除します。この手順を飛ばすと、「りんご」と「りんご 」(末尾に空白が1つ)は別の文字列として残り、重複として扱われません。
  3. 大文字・小文字を統一するか決める。 Apple と apple を同じ項目とみなすかどうかを決めます。同じ項目とみなしたい場合は、スプレッドシートの LOWER 関数で補助列を作り、小文字に統一してから比較します。
  4. 並べ替える。 並べ替えておくと、同じ値が隣り合って並ぶため、重複を目で見つけるのがずっと楽になります。ハングルのリストを並べ替えると、子音(ㄱ~ㅎ)の順序に基づく「カナダ順」で並びます。
  5. 重複を削除する。 スプレッドシートには通常、「データ」メニューの中に重複した値を削除する機能があります(Excel は「重複の削除」、Google スプレッドシートは「重複を削除」)。この機能は選択した列の値が完全に一致する行だけを1つにまとめるので、2・3の手順を先に済ませておく必要があります。

問題は、この5つの手順をリストが変わるたびに手作業で繰り返さなければならないことです。関数を設定し直し、並べ替えの基準を決め直し、オプションの組み合わせを変えて結果をまた確認する作業が、毎回必要になります。

無料ツール「重複行の削除・並べ替え」で確認する。

重複行の削除・並べ替え

登録なしで、ブラウザ上でそのまま重複行を削除して並べ替えられます。入力したリストはサーバーに送信されません。

間違えやすいポイント

以下は、同じようにリストを整理するときに実際につまずきやすいところです。

状況結果
「大文字・小文字を無視」オン + Apple、apple を入力先に出てきた表記(Apple)だけが残り、1つにまとまる
「大文字・小文字を無視」オフ + Apple、apple を入力別の行として扱われ、どちらも残る
「空白を整理」オフ + 「りんご」「りんご 」(末尾に空白)別の文字列として認識され、重複は削除されない
「空白を整理」オン + 上と同じ入力同じ値として認識され、1つだけ残る
「空行を削除」オフ空行も1つの項目として数えられ、行数に含まれる
並べ替え「昇順」/「降順」韓国語の基準(カナダ順)で並べ替えられる
並べ替え「ランダム」項目が混ぜられ、「もう一度シャッフル」を押すと新しい順序で混ぜ直される

並べ替えで「昇順」または「降順」を選ぶと、韓国語の基準で比較して並べ替えます。ハングルの項目は子音の順序(ㄱ、ㄴ、ㄷ … ㅎ)に従うカナダ順で並び、アルファベットや数字が混ざっていても同じ基準で一緒に並べ替えられます。

処理前の行数から処理後の行数を引くと、削除された行数になります。この数字を見れば、実際に何行が除かれたのかがすぐにわかります。

まとめ

  • 改行が項目を区切る基準であり、重複の比較も1行単位で行われます。
  • 大文字・小文字を同じ値とみなすか(Apple = apple)、別の値とみなすかを先に決める必要があります。
  • 前後の空白を整理しないと、同じ単語でも別の文字列として残り、重複が削除されません。
  • ハングルの並べ替えは、子音の順序に基づくカナダ順で動作します。
  • 5つの手順を毎回手作業で繰り返すより、オプションを切り替えながら結果をその場で確認するほうが速く済みます。
重複行の削除・並べ替え

登録なしで、ブラウザ上でそのまま重複行を削除して並べ替えられます。入力したリストはサーバーに送信されません。

よくある質問

大文字・小文字が違う重複も1つにまとめられますか?

はい。「大文字・小文字を無視」をオンにすると、Apple と apple を同じ項目として扱い、先に出てきた行だけを残します。画面に残る表記は入力したときの大文字・小文字のまま維持され、並べ替えの順序もこの基準に従います。

ハングルも辞書順(カナダ順)に並べ替えられますか?

はい。韓国語の基準で比較して並べ替えるため、ハングルの項目は自然なカナダ順で並びます。昇順と降順を選んで、逆方向に並べ替えることもできます。

入力したリストはサーバーに送信されますか?

いいえ。処理はすべてブラウザ内だけで行われ、貼り付けたリストがサーバーに送信されたり保存されたりすることはありません。

並べ替えを「ランダム」にすると結果は毎回変わりますか?

ランダムを選ぶと、リストの順序を混ぜて表示します。同じ入力でも「もう一度シャッフル」ボタンを押せば、毎回新しい順序で混ぜ直されます。

この記事は韓国語の原文をもとに作成しています。 韓国語の原文を読む

関連記事

  1. ドロップキャップのCSSの作り方をコードで理解するCSSの::first-letterでドロップキャップを作る仕組みと、floatやline-heightを併用する理由を解説。スライダーの値がCSSのどこに反映されるかも確認し、コードを生成できます。
  2. 英語アルファベット出現頻度の計算方法、%の分母と大文字小文字の基準テキスト中のA〜Zの出現回数と割合を計算するツールの実際のロジックを解説します。パーセントの分母が全体の文字数ではなくアルファベットの文字数だけであること、大文字小文字のオプションで26個か52個に分かれる基準がわかります。
  3. 英語の複数形の作り方|規則・例外・不変化名詞を確認英語の名詞を複数形にするときの -s・-es・-ies・-ves の使い分けと、man-men のような不規則変化、sheep のような不変化名詞を整理しました。単語ごとに当てはまる規則も確認できます。
  4. CSS変数の抽出方法|--変数を一覧表にまとめて検索・コピーCSSファイルに散らばった--変数の宣言をひとつの表にまとめ、名前や値で検索してvar(--名前)形式でコピーする方法を解説します。
  5. マークダウンのリンク抽出方法|表とURL一覧で確認するマークダウンの[テキスト](URL)と画像リンクを正規表現で見分ける仕組み、参照スタイルや括弧を含むURLで取りこぼす理由、表・URL一覧・JSONの読み方を解説します。
  6. URLリンク自動変換の仕組み|正規表現とtarget/rel属性テキスト内のhttp・httpsアドレスを正規表現で検出し、aタグに変換する仕組みを解説。target=_blank、rel=noopener noreferrer、省略表示、classが出力HTMLに反映される様子も見られます。

関連ツール