ワードクラウドで一番大きい単語が1位でない理由

公開ツールワードクラウド作成ツール

目次
  1. 問題
  2. 解決
  3. よくつまずくポイント
  4. まとめ
  5. よくある質問

ワードクラウドで画面の中央に最も大きく表示されている単語が、実はテキストで最も多く出現した単語ではないことがあります。ストップワードのリストで除外された単語、最小文字数の制限で切られた単語、キャンバスのスペースが足りずにそもそも描画されなかった単語が、その間に隠れているからです。この記事では、ワードクラウド作成ツールがどのような順序で単語を絞り込み、サイズを決めているのかをコードに基づいて説明します。

まとめ ① ストップワードと最小文字数のフィルターが、頻度を計算する前に単語を先に除外します ② 文字サイズは対数ではなく、最大値と最小値の間の線形な比率で決まります ③ 配置スペースが足りないと、頻度が高くても画面から丸ごと外れることがあります

問題

ニュース記事や議事録をワードクラウドに貼り付けると、特定の単語がひときわ大きく表示されます。ところが同じテキストを Ctrl+F で検索して実際の出現回数を数えてみると、画面で最も大きく見えた単語よりも多く出てきた単語が別にある場合があります。

この差はツールが誤作動しているからではなく、頻度を数える前にすでに何段階ものフィルターと変換を経ているために生じます。どの単語がなぜ外れたり小さくなったりするのか、その順序を知っておけば結果を正しく解釈できます。

解決

実際の順位を確認する最も確実な方法は、ツールが適用するルールをそのまま手作業で再現してみることです。次の順序で進めれば、画面に表示されたサイズと実際の頻度を比較できます。

  1. テキストをすべて小文字に変換します。英字の大文字と小文字を区別せず合算するため、"AI" と "ai" は同じ単語として扱われます。
  2. 数字と句読点を空白に置き換えます。ハイフンやスラッシュでつながった複合語は、この段階で二つに分割されます。
  3. 空白で単語を分割し、指定した最小文字数より短い単語と、ストップワードのリストにある単語を除外します。
  4. 残った単語の出現回数を数え、多い順に並べ替えます。

この四つの手順を文書エディタや表計算ソフトでそのまま再現すれば、画面に大きく表示された単語が実際に1位なのかを手作業で確認できます。特に3番目の段階で、助詞や接続詞がストップワードのリストに入っていないと、実際の意味とは関係なく大きく表示されることがある点に注意が必要です。

こうして絞り込まれた単語のリストに対して、ツールは対数スケールではなく線形の比率で文字サイズを決めます。最も多く出現した単語と最も少なく出現した単語の出現回数の差を基準に、その間の比率に応じて最小14pxから最大60pxの範囲で文字サイズを割り当てます。そのため、特定の単語だけがひときわ多く出現するテキストでは、ほかの単語は実際に頻度差があっても、画面上ではほぼ同じくらいの小さなサイズに見えることがあります。

サイズが決まったあとは、配置順序の問題が残ります。頻度の高い単語からキャンバスの中央でらせん状に場所を探し、重なる場所を避けて最大400回まで位置を移動させます。400回以内に空き場所を見つけられなかった単語は画面にまったく描画されず、静かに外れます。表示する単語の最大数を多く設定したときに、この現象がよく現れます。

ぜひワードクラウド作成ツールにテキストを入れて、どの単語がどのくらいのサイズで配置されるか確認してみてください。

ワードクラウド作成ツール

テキストを貼り付けて、単語ごとの大きさがどのように決まるかを実際に確認してみてください。

よくつまずくポイント

現象原因
助詞・接続詞が大きく表示される最小単語長が短い、またはその単語がストップワードのリストから漏れている
よく使う単語が見えない既定のストップワードのリスト(例:「こと」「など」「関連」)に含まれ自動的に除外される
複合語が二つに分かれる句読点を除去するルールがハイフンやスラッシュも空白に変える
最大単語数を増やしても見えない単語があるキャンバス内で場所が見つからず、400回試行した後に除外される
生成し直すたびに色だけが変わる配置位置は同じだが、色は毎回ランダムに割り当て直される
英単語が大文字小文字を区別せずまとめられるテキスト全体を小文字に統一してから頻度を数える

まとめ

画面で最も大きい文字が、いつも実際の頻度1位とは限りません。ストップワードと最小文字数のフィルター、線形のサイズ正規化、らせん状配置の400回試行制限が順番に働いた結果だからです。順位を正確に知りたい場合はフィルタリングのルールを手作業で再現して比較し、画面の結果は視覚的な強調の程度として参考にするのが安全です。

ワードクラウド作成ツール

テキストを貼り付けて、単語ごとの大きさがどのように決まるかを実際に確認してみてください。

よくある質問

特定の単語が画面にまったく出てきません

ストップワードのリストに含まれているか、最小単語長より短いか、キャンバス内で場所が見つからず400回試行した後に除外された可能性があります。まずストップワードの入力欄で、その単語がリストに入っているか確認してみてください。

同じテキストで生成し直したのに、サイズと位置が変わりました

文字サイズと配置位置は、同じテキストであれば同じように計算されます。ただし各単語の色は生成するたびにテーマパレットの中からランダムに選び直されるため、色だけが変わって見えることがあります。

カラーテーマを変えるとき、生成ボタンをもう一度押す必要がありますか

いいえ。一度生成したあとであれば、テーマを変えた瞬間に同じテキストで自動的に描き直されます。

この記事は韓国語の原文をもとに作成しています。 韓国語の原文を読む

関連記事

  1. ブレインストーミングのキーワード組み合わせ数と重複する確率2語・3語のキーワード組み合わせが何通りになるかを順列の公式で計算し、同じ組み合わせが思ったより早く出る「誕生日のパラドックス」の確率、発想を広げる5ステップのネーミング手順を解説します。
  2. 名刺サイズの国別規格まとめ|px換算の公式も解説韓国90×50mm、米国89×51mm、日本91×55mmなど国ごとに異なる名刺サイズを一覧で比較。ISO/IEC 7810 ID-1との関係や、mmからpxへの換算公式、ブラウザで名刺画像を作る方法まで解説します。
  3. cron式の読み方 5フィールドの順序と記号、日と曜日の注意点cron式は分・時・日・月・曜日の5フィールドで順序が固定です。各記号の読み方と、日と曜日を同時に指定したときORで解釈される落とし穴を整理しました。
  4. cron式の読み方:5フィールドで実行日時を判断cron式の5つのフィールドが「*」や範囲・リスト・間隔の各記法で何に一致するのか、曜日の0と7がどちらも日曜日になる理由、日と曜日を同時に指定したときにORで判定される仕組みを例で確認できます。
  5. EAN-13チェックデジットの計算方法と880の意味EAN-13の13桁目は、前12桁から計算するチェックデジットです。1と3を掛けて手計算で検算する手順と、先頭880が原産地ではなく番号を発行したGS1の会員機関を示すことを整理しました。
  6. ファンタジー名前ジェネレーターの仕組み、種族ごとに音が違う理由エルフは柔らかく、オークは粗い理由から、ドワーフ・人間の名前によく使う「-ton」「-smith」が実際の英語の地名・姓に由来する話まで、種族ごとの名前の音の規則をまとめました。

関連ツール