Quality

AIの英語が読みにくくなったのは、正解と短さで鍛えたせいかもしれない

「Your instinct is right; the convoluted sentence you are currently reading is quietly eating its own reader-patience budget」と書いて、最後に「footnote it.」と付け足す。10月21日にarXivに出た論文は、こんな英文から始まります。わざとAIっぽく書いた一文で、人が読むときに引っかかる文法の特徴が4つ入っているそうです。Hacker Newsでも205件のコメントがついていたので、読んでみました。

2026.11.05 公開読むのに約 12分約 7,300字
この記事の内容
  1. 6つの特徴を数える
  2. 日本語を通した言い換え
  3. エッセイだけで並べる
  4. 人間の作文と比べると
  5. Opus 5との比較
  6. 短いほど得をする訓練
  7. 日本語ではどうか
  8. AIの英語を直すなら

日本語にすると「その直感は正しい。あなたがいま読んでいる入り組んだ文は、自分の読者忍耐予算を静かに食べている。脚注にしなさい」といったところでしょうか。

訳してもよく分からないですね。原文のほうも英語として素直に頭に入ってくる文ではありません。

論文の冒頭の一文と、著者らが挙げた4つの特徴

Your instinct is right; the convoluted sentence you are currently reading is quietly eating its own reader-patience budget

footnote it.

色をつけたところ特徴
the convoluted sentence you are currently reading目的語の関係節。thatが省かれている
… is quietly eating文という「もの」が主語なのに、eatという生き物の動詞を使っている
reader-patience budget名詞を3つ積み重ねた、ふつうは見かけない語の並び
footnote it名詞のfootnoteを、その場で動詞にしている
arXiv:2610.29162の第1章の冒頭の文と、著者ら自身による解説から。原文では、2行目のfootnote itの前をダッシュでつないで1文にしている。

論文は、ニューヨーク大学のThomas Hikaru Clark氏とテキサス大学オースティン校のMatias B. Martin氏、Kyle Mahowald氏による「Why is AI-generated language so hard to understand?」(arXiv:2610.29162)で、査読前のものです。

最近のAIの文章は前より分かりにくくなったという声はよく聞くのに、学術的に調べた研究はほとんどありませんでした。著者らはこの状況から出発しています。

やったことはシンプルで、心理言語学の分野で「人が読むときの負荷と関係がある」と分かっている文法の特徴を、14のモデルが返した回答のなかで数えました。

6つの特徴を数える

上の4つに係り受けの距離と珍しい語の並び(n-gramとしての珍しさ)を足して6つで、例文はどれも実際のモデルの返答から論文が引用してきたものです。

特徴論文の例文直訳
thatを省いた関係節Or a first name he'd never hear anyone useClaude Opus 5・雑談あるいは、誰かが使うのを彼が聞くことはまず無い名前
名詞をそのまま動詞にAustin has unusually high inventory, which cushions price spikesClaude Opus 5・雑談オースティンは在庫が多く、それが値上がりをクッションする
もの主語に生き物の動詞The whole conversation is eating its own tail.Claude Opus 5・雑談会話全体が、自分の尻尾を食べている。
名詞の積み重ねa horror movie soundtrack generatorClaude Sonnet 5・雑談ホラー映画サウンドトラック生成器
係り受けの距離A cat who can always get up and away is a much calmer cat.Claude Opus 5・雑談いつでも起きて離れられる猫は、ずっと落ち着いた猫だ。(catからisまでの距離が8)
珍しい語の並びEvery behavioral test was verified red against the original sourceClaude Opus 5・コーディング。1回の会話で4回使っていたどの振る舞いテストも、元のソースに対して赤であることが確認された
例文はarXiv:2610.29162のFigure 1とTable 2から。直訳は弊社がつけました。

6つとも英語の文法の範囲には収まっています。

それでも、人が読むときにはここで少しつまずくことが、これまでの研究で分かっているそうです。名詞を積み重ねた表現では、どこで区切るかを読み違えてしまいます。有名な新聞の見出しに「Squad Helps Dog Bite Victim」があり、犬に噛まれた人を助けたのか、犬が人を噛むのを手伝ったのか、一瞬どちらにも読めてしまう見出しです。無生物を主語にして生き物の動詞が続くと、今度は文の構造を頭の中で組み直すことになります。

もう1つ、どの特徴にも別の言い方に直すと文が長くなるという共通点があります。footnote itを普通に書けばput it in a footnoteになり、the book the professor wroteにthatを入れれば1語増えるという具合です。

読みにくいかわりに短いのです。

この論文の筋はほぼこれだけで、あとは数字で確かめにいく話になります。

日本語を通した言い換え

とはいえ「AIの文章にこうした特徴が多い」と言うには何と比べるかが問題で、著者らは人間の文章(雑談なら映画の字幕、コーディングならStackExchange、エッセイなら米国の中高生の作文)とも比べていますが、面白いのはもう1つの比べ方のほうです。

往復翻訳です。AIの返答を1文ずつ、NLLB-200という翻訳モデルで英語から日本語に訳してから、また英語に戻します。翻訳を通すと言い回しはありふれた形にならされますが、中身はほぼ変わらずに残ります。

往復のあとで減った特徴は「ほかの言い方もできたのに、モデルがわざわざ選択していたもの」と読めるわけで、うまい手だと思います。

経由地が日本語なのは、英語と系統の遠い言語を通したほうが言い換えが大きく変わるからだそうです(日本語の文章そのものは分析の対象外)。

ロシア語経由と別の翻訳モデル(TranslateGemma)でもやり直してはいるのですが、付録に載っているのは返答の語数の比較だけで、ここはもう少し見たかったところです。

エッセイだけで並べる

往復翻訳で、6つの特徴がどれだけ減ったか(エッセイ。14モデルとも同じ条件)

Kimi K2.5
1.64
Claude Opus 5
1.27
Claude Opus 5.5
0.99
Claude Sonnet 5
0.89
Olmo 3 Think
0.86
GLM-5
0.84
Claude Fable 5
0.82
GPT-5.6 Sol
0.51
GPT-5.6 Terra
0.49
Llama 3.1 base
0.38
GPT-5.6 Luna
0.30
Llama 3.1 Instruct
0.27
Olmo 3 Instruct
0.26
Olmo 3 base
0.22
モデルの間のばらつきを1とした値。arXiv:2610.29162のFigure 2(Essays)の棒の長さを、HTML版に入っている図(SVG)の座標から測った。論文の本文に数値は無い。

論文のFigure 2には、雑談・コーディング・エッセイという3つの設定と、それらをまとめた「全体」の値が載っています。

ただ小さいモデルにはエッセイしか書いていないものがあり、しかもエッセイは3つの設定の中でいちばん差が小さく出るため、「全体」で並べると小さいモデルが低めに出てしまいます。そこで上の図では、14モデル全部が共通の条件で書いたエッセイの列だけを抜き出しています(抜き出したのは弊社)。

黒い棒は、Olmo 3(7B)の3つの段階です。

事前学習だけのbaseが0.22で、指示に従う訓練を足したInstructが0.26、推論の訓練まで足したThinkになると0.86でフロンティア級のモデルに混ざってきます。雑談の設定でも、Instructの1.32に対してThinkは1.77です。

同じモデルで、後から足した訓練が増えるほど数字が上がっていく。これはかなり分かりやすい結果だと思います。

LlamaについてはbaseとInstructで結果がほとんど変わらず、どちらも0.4には届きませんでした。

念のため書いておくと、測っているのは往復翻訳でどれだけ書き換わったかであって、人が読みにくいと感じたかどうかではありません。人に読ませて読む速さや理解度を測る実験は、この論文には入っていないです。

人間の作文と比べると

人間の文章と比べても、もの主語に生き物の動詞を使う表現と珍しい語の並びの2つは、9つのフロンティア級モデルすべてで人間より多くなっています。雑談では係り受けの長さや名詞の積み重ね、thatを省いた関係節も多くのモデルで多めになっています。

ただしエッセイで比べた「人間」は米国の6〜12年生の作文のうち6段階評価で5か6をもらった2,934本であり、相手は中高生の作文だという点は頭に入れておいたほうがいいと思います。

Opus 5との比較

読みにくさに関わる指標で、Opus 5.5がOpus 5より低かった比較(21のうち)

低く、95%信頼区間も重ならない(8)低い(11)低くない(2)
指標と設定の組み合わせ21通りでの比較(arXiv:2610.29162 第3.5節)。

モデルによる違いも大きく、Claude Opus 5.5は前の版のOpus 5より読みにくさに関わる指標が21の比較のうち19で低くなっていて、8つは95%信頼区間も重なっていません。

エッセイの図でも、Opus 5の1.27に対してOpus 5.5は0.99となっています。

著者らはこれを伝わりやすさに報酬を与えれば直せる例として挙げていますが、Opus 5.5でAnthropicが何を変えたのかはこの論文からは分かりません。変更内容は外からは書きようがないためです。

短いほど得をする訓練

では、AIはなぜこのように書くようになったのでしょうか。

著者らの仮説は、最近のモデルが数学やコーディングで「答えが合っていれば報酬」という訓練(RLVR)を大量に受けていて、この訓練では伝わりやすさより短く詰めることのほうに圧力がかかっているのではないか、というものです。

検証する実験には、小さなモデル(Qwen2.5-1.5B-Instruct)を使用しています。

課題は、JSONで書いた出来事を英語の1文にすることです。たとえば「送る・彼・写真・私たち」から「He sent us a photo.」を作るようなイメージになります。この課題をGRPOという強化学習で訓練しました。報酬は正しく書けたら1とし、出力のトークン数に比例する罰則を引きます。罰則の強さは4段階に振り、元のモデルから離れすぎないようにするKL正則化の有無も変えています。

言い方の対短い形長い形訓練のあと(KL正則化なし)
二重目的語訓練に使用gave his wife a giftgave a gift to his wife罰則が強いほど短い形が増えた
目的語の関係節訓練に使用the book the professor wrotethe book that the professor wrote98%超が短い形
補文のthat訓練に使用knew the answer was wrongknew that the answer was wrong98%超が短い形
形容詞のあとのthat訓練に不使用was sure the door was lockedwas sure that the door was locked短い形に寄った
所有格訓練に不使用noticed the old house's roofnoticed the roof of the old house少しだけ短い形に寄った
受け身訓練に不使用a falling branch hit itit was hit by a falling branch変わらなかった
短い形と長い形の差は、おおむね1〜2トークン(arXiv:2610.29162 Table 3・第4.2節・付録C)。どちらの形で書いても課題としては正解になる。

結果はかなりはっきりしていて、KL正則化なしだとthatを落とす2種類のどちらも、罰則がいちばん弱い0.01でもかかった時点で3つのシードすべてが短い形に寄り、どの強さでも98%超となりました。

罰則が無いときは短い形を選ぶ割合がシードによって0%から100%までばらばらで、決まった好みは無かったそうです。

英語でthatを毎回落とすようになるのは、たった1トークン、たった1語を削るためなのです。

人間はここを文脈で使い分けていて、続く部分が予測しにくいときほどthatを入れやすいという研究がありますが、訓練のあとのモデルからはこの使い分けが消えています。

しかもこの癖は、訓練で一度も出していない言い方にも広がっていて、形容詞のあとのthat(was sure (that)…)は訓練に入っていないのに短い形に寄っています。

一方で所有格が動いたのはKL正則化なしのときだけで、受け身や目的を表すin order toは動いておらず、広がり方には限りがあるようです。

ついでに費用の話をすると、実験はL40Sを1枚使う訓練を24通り回しておよそ31 GPU時間で、データ集めのAPI代も捨てた試行や下見まで含めて251.19ドルだそうです。

この規模の研究がこの予算でできるのかというのは、正直ちょっと驚きました。

人のフィードバックで訓練する方法(RLHF)は、むしろ長い出力に報酬を与えやすいことが知られています。短く詰める圧力は答えの正しさで報酬を与える訓練のほうから来ている可能性が高いと著者らは見ています。

ただし、実際のフロンティアモデルの訓練を外から確かめる手段は無く、証拠は小さなモデル1つでの概念実証どまりです(限界の節に著者ら自身もそう書いています)。

日本語ではどうか

日本語のAIの文章でも同様のことが言えるかは、この論文からは分かりません。

6つの特徴が日本語にもすべて当てはまるとは限りません。たとえば日本語の関係節にはthatに当たる語がそもそも無いため、「thatの省略」は日本語には存在しない特徴です。

一方で、名詞を積み重ねる言い方は「読者忍耐予算」のような漢字の熟語つなぎとして日本語にもありますし、もの主語に人の動詞を使う言い方(「この関数がエラーを飲み込む」)も日本語で見かけます。日本語にも英語と同じ向きの癖があってもおかしくない、というのが弊社の見立てです。

論文とは別の指標でよければ、弊社でも少し数えています。このブログの記事はAIに下書きさせていて、AIが書いた薄い文章を弾く検査を通してから公開しているのですが、11月に書いた3本の下書きを、ZennとQiitaで読まれている技術記事と比べました。人間の側は、ChatGPTの公開より前の2022年10月以前に書かれた、です・ます調の記事300本です。

比べたもの人間の記事300本(中央値)AIの下書き3本
段落の長さ(1本の平均)84字126〜127字
文の長さのばらつき(変動係数)0.550.37〜0.41
80字を超える文10%0〜4%
「ました・でした」で終わる文4.5%16〜29%
「思う・でしょう」などの言い回し(1,000字あたり)1.80.3〜0.6
人間の記事は、ZennとQiitaのAPIで集めた人気記事のうち、2022年10月以前に公開された、です・ます調のもの(Qiita 181本・Zenn 119本)。AIの下書きは、書き直す前の版。どちらも弊社の計測(2026年11月5日)。

表を上から見ていくと、AIの下書きは段落が長く文の長さがそろっていて、80字を超えるような長い文がほとんどありません。文末が「ました・でした」になる文は人間の3.4〜6.5倍あり、「と思います」のような書き手の言い回しは1,000字あたり0.3〜0.6回と、人間の1.8回よりかなり少なめです。論文の英語の結果は短く詰める方向でしたが、この3本の日本語は詰めるというより文の長さをそろえる方向に偏っているように見えます。3本しか数えていないので、日本語のAIの文章一般の話にはできません。

ついでに、この下書きと人間の記事から抜き出した断片を、出どころを伏せて混ぜ、GoogleのGeminiに「どれがAIか」を採点させてもいます。最初の版は、2つのモデルのうち片方にすべて見分けられています。段落の長さや「ました・でした」の割合など、上の表の数字を人間の記事に寄せて書き直したところ、Gemini 3.1 Proは見分けがつかなくなりました。ところが、もう1つのモデルに人間の記事と1組ずつ並べて「どちらがAIか」を聞くと、24組すべてで当てられます(人間の記事どうしを並べた対照では46%)。

そのモデルが挙げた理由は「人間らしく見せるための言い回しが規則的に入っている」というものですが、これはそのまま信じないほうがよさそうです。人間の記事4本を、中身と段落の切り方はそのままに文だけAIで書き直し、同じ二択にかけると、こちらも23組すべてで当てられたからです(原文のままだと54%)。このとき挙がった理由には「1文ごとの改行が機械的」というものもありましたが、その改行は人間の原文にもともとあったものです。

判定役が見ているのは、記事の作りより、AIが書いた文そのものなのでしょう。この記事の下書きも、同じやり方で24組すべて当てられました。

AIの英語を直すなら

英語のREADMEやプルリクエストの説明、海外向けのメールをAIに下書きさせているなら、6つの特徴は推敲の目印として使えます。どれも文法としては正しいので文法チェックにはまず引っかからないと思います。

  1. もの主語の文を探す

    物や概念が主語で、eat、bite、promise、askのような人や動物の動詞が付いている文です。人か、具体的な処理を主語にして書き直します。論文に出てくる「is_file() swallows that and returns False」なら、「is_file() catches the error and returns False」で十分伝わります。

  2. 名詞が3つ以上つながっていないか見る

    reader-patience budgetのような並びは、ofやforでほどけば、どこで区切るかを読み手に推測させずに済むはずです。

  3. 名詞をその場で動詞にしていないか見る

    calendar itやfootnote itは、put it on your calendar、put it in a footnoteのような普通の言い方に戻します。

  4. thatが落ちた節が続いていないか見る

    1つや2つなら普通の英語ですが、続けて落ちているなら戻します。1語ずつ長くはなりますが、節の切れ目が見えるぶん読みやすいはずです。

  5. 主語と動詞の距離を見る

    あいだに挟まる語が多ければ、文を2つに分けます。

1つ目と3つ目は日本語の推敲にも活用できそうです。

著者らは、エッセイで差が小さく出たのは単発の指示で書くためで、何往復も続く雑談やコーディングではこうした特徴が出やすいのではと推測しています。長いやり取りのあとに書かせたプルリクエストの説明ほど、念入りに確認したほうがよさそうです。

冒頭の一文は、最後に「footnote it(脚注にしなさい)」と指示しておきながら脚注には入らず、序論のいちばん最初に配置されています。すぐ後ろには「この文を見かけたら、最近のLLMが書いたものだと疑うかもしれない」と続きます。

業務にAIを組み込む仕組みづくりを、設計から運用までお手伝いしています。

RetraiteのAI自動化 →

この記事で使った情報出どころ
冒頭の一文と4つの特徴、6つの特徴の例文Clark, Martin & Mahowald, Why is AI-generated language so hard to understand?(arXiv:2610.29162、2026年10月21日) 第1章・Figure 1
14のモデル、比べた人間の文章、生徒の作文2,934本同論文 第3.2〜3.3節・付録A
往復翻訳の手順と、ロシア語・TranslateGemmaでのやり直し同論文 第3.4節・付録B.5
往復翻訳での書き換わり方(エッセイの14モデル、雑談のOlmo)同論文 Figure 2(HTML版の図のSVGから棒の長さを測定)
人間の文章との比較同論文 Abstract・第3.5節
Opus 5.5とOpus 5の21の比較同論文 第3.5節
長さの罰則の実験、24通り・およそ31 GPU時間同論文 第4章・付録C
API代251.19ドル同論文 付録A.6
Hacker Newsのコメント数Hacker News(2026年10月24日の投稿)
Figure 2の値は、論文の本文に数字が無いため、図の座標から読み取っています。