機械翻訳の性能比較や文章要約モデルの論文、社内RAGシステムの開発ログなどを眺めていると、「BLEUスコアが35.2」「ROUGE-LのF1値が0.42」といった数値を日常的によく目にしますよね。「どちらも生成された文章と正解文の一致度を測る指標らしいけれど、具体的に何が違ってどう使い分けるのか？」「どうやって計算されているのか？」と疑問に感じたことはないでしょうか？
前回の第1回：Perplexity（PPL）完全解説では、モデル内部の「次単語予測の迷い度」を測る指標を紐解きました。今回はその次のステップとして、モデルが実際に出力した「テキストそのもの品質」を評価する古典的かつ現在も広く使われている2大巨頭、BLEUとROUGEを徹底的に掘り下げていきます。親記事のLLM評価指標の完全総覧【全体俯瞰編】でも触れた基礎NLP指標の中核です。
結論から言えば、「BLEUは余計なこと（間違い）を言っていないか（適合率：Precision）」を重視し、「ROUGEは大事な情報（正解文の内容）を漏らさず網羅しているか（再現率：Recall）」を重視する指標です。この記事では、数式アレルギーの方でも直感的に理解できるように、身近な具体例と計算シミュレーションを交えて分かりやすく解説します！
BLEUとROUGEの決定的な違いとは？「適合率」と「再現率」の視点
BLEU（Precision重視）＝ 機械翻訳で「正確さ」を測る
BLEU（Bilingual Evaluation Understudy）は、2002年にIBMの研究者らによって提案された、機械翻訳の自動評価における金字塔的な指標です。人間による翻訳評価と高い相関を持つ自動スコアリングとして急速に普及しました。
BLEUの最大の特徴は「適合率（Precision）」をベースにしている点です。すなわち、「モデルが生成した文章に含まれる単語やフレーズのうち、プロの翻訳者（人間）が作成した参照訳（正解文）の中にどれだけ含まれていたか」を割合として計算します。
翻訳においては、「余計なデタラメを付け足さないこと（正確性）」が極めて重要ですよね。元の英語に存在しない単語を勝手にでっち上げてしまうと誤訳になるため、「生成した文章の正確さ」を厳しくチェックするBLEUが翻訳分野のデファクトスタンダードとして定着したわけです。
ROUGE（Recall重視）＝ 文章要約で「情報の網羅度」を測る
一方、ROUGE（Recall-Oriented Understudy for Gisting Evaluation）は、2004年にChin-Yew Lin氏によって提案された、主に「文章要約」の評価に用いられる指標です。
名前の先頭に「Recall-Oriented（再現率重視）」とある通り、ROUGEは「再現率（Recall）」を主軸に設計されています。つまり、「参照正解文（理想的な要約）に含まれる重要なキーワードや表現のうち、モデルが生成した要約にどれだけ漏れなく拾い上げられたか」を計算します。
長いニュース記事や論文を短く要約する際、最も致命的な失敗は「肝心な重要トピックがすっぽり抜け落ちてしまうこと」ですよね。多少文章が長くなっても、必要な情報が網羅されているかを重視したい。そのため、要約タスクではBLEUではなくROUGEが標準的に使われています。
【具体例で学ぶ】BLEUスコアの計算方法とBrevity Penalty
1-gramから4-gramまでのModified Precision（修正適合率）
BLEUの計算では、単語を1つずつバラバラにした「1-gram（単語）」だけでなく、連続する2単語「2-gram」、3単語「3-gram」、4単語「4-gram」の一致度をそれぞれ算出し、それらの幾何平均を取ります。
具体例で見てみましょう。以下の英文を評価してみます。
| 参照訳（正解） | The cat sat on the mat (全6単語) |
| 生成文（モデル出力） | The cat sat on the hat (全6単語) |
この場合の各N-gramの一致度は以下のようになります。
- 1-gram一致: 生成文の6単語中、参照訳にある単語は「The」「cat」「sat」「on」「the」の5つ → 適合率 ＝ 5/6 (約83.3%)
- 2-gram一致: 生成文のペア「The cat」「cat sat」「sat on」「on the」「the hat」の5個中、参照訳にあるのは4個 → 適合率 ＝ 4/5 (80.0%)
- 3-gram一致: 3連語4個中、「The cat sat」「cat sat on」「sat on the」の3個が一致 → 適合率 ＝ 3/4 (75.0%)
- 4-gram一致: 4連語3個中、「The cat sat on」「cat sat on the」の2個が一致 → 適合率 ＝ 2/3 (約66.7%)
このように単語単体だけでなく、連続した並び（N-gram）を評価することで、文法的な語順の正しさも同時に反映させているのがBLEUの巧みな設計です。
短文チートを防ぐ「Brevity Penalty（短縮ペナルティ）」
もし適合率（Precision）だけで評価すると、ある致命的な「裏技」が可能になってしまいます。例えばモデルが「The cat」という2単語だけを出力した場合、1-gramも2-gramも100%正解文に含まれているため、満点（100%）になってしまうのです。
この極端な短文チートを厳しく罰するために考案されたのが「Brevity Penalty（BP：短縮ペナルティ）」です。
BP ＝ 1.0 （生成文の長さ c ＞ 参照文の長さ r の場合）
BP ＝ exp( 1 – r / c ) （生成文の長さ c ≦ 参照文の長さ r の場合）
参照文が6単語なのに生成文が2単語しかなかった場合、BP ＝ exp(1 – 6/2) ＝ exp(-2) ≒ 0.135 となり、スコアは約86%も激減します。BLEUの最終スコアは、この「BP」と「各N-gram精度の幾何平均」を掛け合わせた値（0〜100、または0〜1.0）となるのです。
【具体例で学ぶ】ROUGEスコアの計算方法と3つの主要タイプ
ROUGE-1とROUGE-2（単語・2連語の再現率）
次に、要約評価で活躍するROUGEの計算を見てみましょう。実務で最もよく使われるのは「ROUGE-1」「ROUGE-2」「ROUGE-L」の3つです。
以下の要約シナリオで計算してみましょう。
| 参照正解要約 | A quick brown fox jumps over the lazy dog (全9単語) |
| 生成された要約 | The brown fox jumps (全4単語) |
一致した単語は「brown」「fox」「jumps」の3単語です。ここでRecall（再現率）、Precision（適合率）、F1スコアを計算すると以下のようになります。
- ROUGE-1 Recall: 一致単語数 3 ÷ 参照文の総単語数 9 ＝ 約0.333 (33.3%)
- ROUGE-1 Precision: 一致単語数 3 ÷ 生成文の総単語数 4 ＝ 0.750 (75.0%)
- ROUGE-1 F1スコア: 2 × (0.333 × 0.750) ÷ (0.333 + 0.750) ≒ 0.461
同様に、2単語のペアで計算したものが「ROUGE-2」です。なお、論文やベンチマーク結果で単に「ROUGE」と表記されている場合、通常は再現率と適合率の調和平均である「F1スコア」を指していることが一般的です。
ROUGE-L（最長共通部分系列：LCS）が重宝される理由
ROUGEの中で特に実務で重宝されるのが「ROUGE-L」です。「L」は Longest Common Subsequence（最長共通部分系列：LCS）を意味します。
N-gramは単語が「完全に隣り合って連続」していないとカウントされませんが、LCSは「単語の順番さえ保たれていれば、途中に別の単語が挟まっていてもマッチとみなす」という柔軟な仕組みを持っています。
例えば、参照文が「私は 毎日 湖で 魚を 釣る」で、生成文が「私は 今日も 湖で 大きな 魚を 釣る」だったとします。N-gramだと途切れてしまう箇所も、LCSなら「私は → 湖で → 魚を → 釣る」という4単語の骨格（順序構造）を共通部分列として捉えることができます。文章の自然な骨組みを評価できるため、要約評価ではROUGE-1やROUGE-2と並んでROUGE-Lが最重要視されているのです。
💡 あわせて読みたい
実務におけるBLEU・ROUGEの落とし穴と現代の評価手法
表層一致の限界：同義語や言い換えを「0点」にしてしまう問題
長年NLPの基盤として君臨してきたBLEUとROUGEですが、LLM時代の現在では極めて深刻な「弱点」が露呈しています。それが「単語の文字面（表層）しか見ていない」という点です。
分かりやすい例として、以下の2つの日本語訳を比べてみてください。
- 参照訳（人間）: 外は激しい雨が降っている。
- モデルAの出力: 外は強い雨が降っている。
- モデルBの出力: 外は晴れていて気持ちが良い。
モデルAの出力は、人間から見れば「激しい」と「強い」の言い換えに過ぎず、ほぼ100点満点の素晴らしい翻訳ですよね。しかし、BLEUやROUGEは「激しい」と「強い」を全くの別単語と判定するため、大幅に減点されてしまいます。最悪の場合、文脈のニュアンスは合っているのに低スコアを付けられてしまうケースが多発するのです。
BERTScoreやLLM-as-a-Judgeへの進化と実務での使い分け
この「言い換えに弱い」という弱点を克服するために生まれたのが、埋め込みベクトルを使って意味の近さを測る「BERTScore」や、GPT-4などの高性能モデルに文章を読ませて採点させる「LLM-as-a-Judge」（後続の第6回で詳述）です。
では、BLEUやROUGEはもう過去の遺物なのでしょうか？エンジニアとしての現場目線で言えば、「決してそうではない」と断言できます。
LLM-as-a-JudgeはAPIコストと推論時間がかかりますが、BLEUやROUGEは「完全無料で、1秒間に数万件の文章をミリ秒単位で瞬時に計算できる」という圧倒的な軽さを持っています。そのため、現場の実務では以下のような使い分けがベストプラクティスとなります。
- CI/CDや回帰テスト: プロンプト変更やモデル更新のたびに、数千件のテストケースに対してBLEU/ROUGEを回し、予期せぬ大幅劣化（スコアの急落）がないかを高速チェックする。
- 最終検証・モデル選定: 絞り込んだ少数の重要データセットに対して、BERTScoreやLLM-as-a-Judgeを適用して意味論的なニュアンスまで精査する。
まとめ
今回は、テキスト生成タスクの定番評価指標である「BLEU」と「ROUGE」について、その計算ロジックから実務での使い分けまでを詳しく解説しました。最後に要点を整理しておきましょう。
- BLEU（適合率・Precision）: モデルが生成した文章の「正確さ」を測る指標。余計な誤訳や嘘を許さないため、主に機械翻訳で用いられる。短文対策としてBrevity Penalty（BP）を持つ。
- ROUGE（再現率・Recall）: 正解文に含まれる重要情報の「網羅度」を測る指標。情報の抜け落ちを防ぐため、主に文章要約で用いられる。順序を捉えるROUGE-Lが特に有用。
- 共通の弱点: 単語の表層一致しか見ないため、同義語や自然な言い換えが不当に低評価される点に注意。
- 現場での活用法: 無料で爆速な「CI/CD用スモークテスト」としてBLEU/ROUGEを使い、質的な深掘りにはLLM-as-a-Judgeを組み合わせる。
文章の表面的な一致度を測る手法を理解したところで、次回はいよいよフロンティアモデルの頭脳・地頭力を測る世界最高峰の知識ベンチマーク、「第3回：MMLU & MMLU-Pro徹底解剖」に進みます！4択から10択への進化の衝撃について解説しますので、ぜひお楽しみに！
💡 あわせて読みたい
