AIの英語が読みにくくなったのは、正解と短さで鍛えたせいかもしれない
「Your instinct is right; the convoluted sentence you are currently reading is quietly eating its own reader-patience budget」と
日本語にすると「その直感は正しい。あなたがいま読んでいる入り組んだ文は、自分の読者忍耐予算を静かに食べている。脚注にしなさい」といったところでしょうか。
訳してもよく分からないですね。原文のほうも英語として素直に頭に入ってくる文ではありません。
論文の
Your instinct is right; the convoluted sentence you are currently reading is quietly eating its own reader-patience budget
footnote it.
| 色を | |
|---|---|
| the convoluted sentence you are currently reading | 目的語の |
| … is quietly eating | 文と |
| reader-patience budget | 名詞を |
| footnote it | 名詞の |
論文は、ニューヨーク大学のThomas Hikaru Clark氏とテキサス大学オースティン校のMatias B. Martin氏、Kyle Mahowald氏による「Why is AI-generated language so hard to understand?」(arXiv:2610.29162)で、査読前のものです。
最近のAIの文章は前より分かりにくくなったという声はよく聞くのに、学術的に調べた研究はほとんどありませんでした。著者らはこの状況から出発しています。
やったことはシンプルで、心理言語学の分野で「人が読むときの負荷と関係がある」と分かっている文法の特徴を、14のモデルが返した回答のなかで数えました。
6つの特徴を数える
上の4つに係り受けの距離と珍しい語の並び(n-gramとしての珍しさ)を足して6つで、例文はどれも実際のモデルの返答から論文が引用してきたものです。
| 特徴 | 論文の | 直訳 |
|---|---|---|
| thatを | Or a first name he'd never hear anyone useClaude Opus 5・雑談 | あるいは、 |
| 名詞を | Austin has unusually high inventory, which cushions price spikesClaude Opus 5・雑談 | オースティンは |
| もの | The whole conversation is eating its own tail.Claude Opus 5・雑談 | 会話全体が、 |
| 名詞の | a horror movie soundtrack generatorClaude Sonnet 5・雑談 | ホラー映画サウンドトラック生成器 |
| 係り | A cat who can always get up and away is a much calmer cat.Claude Opus 5・雑談 | いつでも |
| 珍しい | Every behavioral test was verified red against the original sourceClaude Opus 5・コーディング。 | どの |
6つとも英語の文法の範囲には収まっています。
それでも、人が読むときにはここで少しつまずくことが、これまでの研究で分かっているそうです。名詞を積み重ねた表現では、どこで区切るかを読み違えてしまいます。有名な新聞の見出しに「Squad Helps Dog Bite Victim」があり、犬に噛まれた人を助けたのか、犬が人を噛むのを手伝ったのか、一瞬どちらにも読めてしまう見出しです。無生物を主語にして生き物の動詞が続くと、今度は文の構造を頭の中で組み直すことになります。
もう1つ、どの特徴にも別の言い方に直すと文が長くなるという共通点があります。footnote itを普通に書けばput it in a footnoteになり、the book the professor wroteにthatを入れれば1語増えるという具合です。
読みにくいかわりに短いのです。
この論文の筋はほぼこれだけで、あとは数字で確かめにいく話になります。
日本語を通した言い換え
とはいえ「AIの文章にこうした特徴が多い」と言うには何と比べるかが問題で、著者らは人間の文章(雑談なら映画の字幕、コーディングならStackExchange、エッセイなら米国の中高生の作文)とも比べていますが、面白いのはもう1つの比べ方のほうです。
往復翻訳です。AIの返答を1文ずつ、NLLB-200という翻訳モデルで英語から日本語に訳してから、また英語に戻します。翻訳を通すと言い回しはありふれた形にならされますが、中身はほぼ変わらずに残ります。
往復のあとで減った特徴は「ほかの言い方もできたのに、モデルがわざわざ選択していたもの」と読めるわけで、うまい手だと思います。
経由地が日本語なのは、英語と系統の遠い言語を通したほうが言い換えが大きく変わるからだそうです(日本語の文章そのものは分析の対象外)。
ロシア語経由と別の翻訳モデル(TranslateGemma)でもやり直してはいるのですが、付録に載っているのは返答の語数の比較だけで、ここはもう少し見たかったところです。
エッセイだけで並べる
往復翻訳で、
論文のFigure 2には、雑談・コーディング・エッセイという3つの設定と、それらをまとめた「全体」の値が載っています。
ただ小さいモデルにはエッセイしか書いていないものがあり、しかもエッセイは3つの設定の中でいちばん差が小さく出るため、「全体」で並べると小さいモデルが低めに出てしまいます。そこで上の図では、14モデル全部が共通の条件で書いたエッセイの列だけを抜き出しています(抜き出したのは弊社)。
黒い棒は、Olmo 3(7B)の3つの段階です。
事前学習だけのbaseが0.22で、指示に従う訓練を足したInstructが0.26、推論の訓練まで足したThinkになると0.86でフロンティア級のモデルに混ざってきます。雑談の設定でも、Instructの1.32に対してThinkは1.77です。
同じモデルで、後から足した訓練が増えるほど数字が上がっていく。これはかなり分かりやすい結果だと思います。
LlamaについてはbaseとInstructで結果がほとんど変わらず、どちらも0.4には届きませんでした。
念のため書いておくと、測っているのは往復翻訳でどれだけ書き換わったかであって、人が読みにくいと感じたかどうかではありません。人に読ませて読む速さや理解度を測る実験は、この論文には入っていないです。
人間の作文と比べると
人間の文章と比べても、もの主語に生き物の動詞を使う表現と珍しい語の並びの2つは、9つのフロンティア級モデルすべてで人間より多くなっています。雑談では係り受けの長さや名詞の積み重ね、thatを省いた関係節も多くのモデルで多めになっています。
ただしエッセイで比べた「人間」は米国の6〜12年生の作文のうち6段階評価で5か6をもらった2,934本であり、相手は中高生の作文だという点は頭に入れておいたほうがいいと思います。
Opus 5との比較
読みにくさに
モデルによる違いも大きく、Claude Opus 5.5は前の版のOpus 5より読みにくさに関わる指標が21の比較のうち19で低くなっていて、8つは95%信頼区間も重なっていません。
エッセイの図でも、Opus 5の1.27に対してOpus 5.5は0.99となっています。
著者らはこれを伝わりやすさに報酬を与えれば直せる例として挙げていますが、Opus 5.5でAnthropicが何を変えたのかはこの論文からは分かりません。変更内容は外からは書きようがないためです。
短いほど得をする訓練
では、AIはなぜこのように書くようになったのでしょうか。
著者らの仮説は、最近のモデルが数学やコーディングで「答えが合っていれば報酬」という訓練(RLVR)を大量に受けていて、この訓練では伝わりやすさより短く詰めることのほうに圧力がかかっているのではないか、というものです。
検証する実験には、小さなモデル(Qwen2.5-1.5B-Instruct)を使用しています。
課題は、JSONで書いた出来事を英語の1文にすることです。たとえば「送る・彼・写真・私たち」から「He sent us a photo.」を作るようなイメージになります。この課題をGRPOという強化学習で訓練しました。報酬は正しく書けたら1とし、出力のトークン数に比例する罰則を引きます。罰則の強さは4段階に振り、元のモデルから離れすぎないようにするKL正則化の有無も変えています。
| 言い方の | 短い | 長い | 訓練の |
|---|---|---|---|
| 二重目的語訓練に | gave his wife a gift | gave a gift to his wife | 罰則が |
| 目的語の | the book the professor wrote | the book that the professor wrote | 98%超が |
| 補文の | knew the answer was wrong | knew that the answer was wrong | 98%超が |
| 形容詞の | was sure the door was locked | was sure that the door was locked | 短い |
| 所 | noticed the old house's roof | noticed the roof of the old house | 少しだけ |
| 受け身訓練に | a falling branch hit it | it was hit by a falling branch | 変わらなかった |
結果はかなりはっきりしていて、KL正則化なしだとthatを落とす2種類のどちらも、罰則がいちばん弱い0.01でもかかった時点で3つのシードすべてが短い形に寄り、どの強さでも98%超となりました。
罰則が無いときは短い形を選ぶ割合がシードによって0%から100%までばらばらで、決まった好みは無かったそうです。
英語でthatを毎回落とすようになるのは、たった1トークン、たった1語を削るためなのです。
人間はここを文脈で使い分けていて、続く部分が予測しにくいときほどthatを入れやすいという研究がありますが、訓練のあとのモデルからはこの使い分けが消えています。
しかもこの癖は、訓練で一度も出していない言い方にも広がっていて、形容詞のあとのthat(was sure (that)…)は訓練に入っていないのに短い形に寄っています。
一方で所有格が動いたのはKL正則化なしのときだけで、受け身や目的を表すin order toは動いておらず、広がり方には限りがあるようです。
ついでに費用の話をすると、実験はL40Sを1枚使う訓練を24通り回しておよそ31 GPU時間で、データ集めのAPI代も捨てた試行や下見まで含めて251.19ドルだそうです。
この規模の研究がこの予算でできるのかというのは、正直ちょっと驚きました。
人のフィードバックで訓練する方法(RLHF)は、むしろ長い出力に報酬を与えやすいことが知られています。短く詰める圧力は答えの正しさで報酬を与える訓練のほうから来ている可能性が高いと著者らは見ています。
ただし、実際のフロンティアモデルの訓練を外から確かめる手段は無く、証拠は小さなモデル1つでの概念実証どまりです(限界の節に著者ら自身もそう書いています)。
日本語ではどうか
日本語のAIの文章でも同様のことが言えるかは、この論文からは分かりません。
6つの特徴が日本語にもすべて当てはまるとは限りません。たとえば日本語の関係節にはthatに当たる語がそもそも無いため、「thatの省略」は日本語には存在しない特徴です。
一方で、名詞を積み重ねる言い方は「読者忍耐予算」のような漢字の熟語つなぎとして日本語にもありますし、もの主語に人の動詞を使う言い方(「この関数がエラーを飲み込む」)も日本語で見かけます。日本語にも英語と同じ向きの癖があってもおかしくない、というのが弊社の見立てです。
論文とは別の指標でよければ、弊社でも少し数えています。このブログの記事はAIに下書きさせていて、AIが書いた薄い文章を弾く検査を通してから公開しているのですが、11月に書いた3本の下書きを、ZennとQiitaで読まれている技術記事と比べました。人間の側は、ChatGPTの公開より前の2022年10月以前に書かれた、です・ます調の記事300本です。
| 比べた | 人間の | AIの |
|---|---|---|
| 段落の | 84字 | 126〜127字 |
| 文の | 0.55 | 0.37〜0.41 |
| 80字を | 10% | 0〜4% |
| 「ました・でした」で | 4.5% | 16〜29% |
| 「思う・でしょう」などの | 1.8 | 0.3〜0.6 |
表を上から見ていくと、AIの下書きは段落が長く文の長さがそろっていて、80字を超えるような長い文がほとんどありません。文末が「ました・でした」になる文は人間の3.4〜6.5倍あり、「と思います」のような書き手の言い回しは1,000字あたり0.3〜0.6回と、人間の1.8回よりかなり少なめです。論文の英語の結果は短く詰める方向でしたが、この3本の日本語は詰めるというより文の長さをそろえる方向に偏っているように見えます。3本しか数えていないので、日本語のAIの文章一般の話にはできません。
ついでに、この下書きと人間の記事から抜き出した断片を、出どころを伏せて混ぜ、GoogleのGeminiに「どれがAIか」を採点させてもいます。最初の版は、2つのモデルのうち片方にすべて見分けられています。段落の長さや「ました・でした」の割合など、上の表の数字を人間の記事に寄せて書き直したところ、Gemini 3.1 Proは見分けがつかなくなりました。ところが、もう1つのモデルに人間の記事と1組ずつ並べて「どちらがAIか」を聞くと、24組すべてで当てられます(人間の記事どうしを並べた対照では46%)。
そのモデルが挙げた理由は「人間らしく見せるための言い回しが規則的に入っている」というものですが、これはそのまま信じないほうがよさそうです。人間の記事4本を、中身と段落の切り方はそのままに文だけAIで書き直し、同じ二択にかけると、こちらも23組すべてで当てられたからです(原文のままだと54%)。このとき挙がった理由には「1文ごとの改行が機械的」というものもありましたが、その改行は人間の原文にもともとあったものです。
判定役が見ているのは、記事の作りより、AIが書いた文そのものなのでしょう。この記事の下書きも、同じやり方で24組すべて当てられました。
AIの英語を直すなら
英語のREADMEやプルリクエストの説明、海外向けのメールをAIに下書きさせているなら、6つの特徴は推敲の目印として使えます。どれも文法としては正しいので文法チェックにはまず引っかからないと思います。
もの
主語の 文を 探す 物や
概念が 主語で、 eat、 bite、 promise、 askのような 人や 動物の 動詞が 付いている 文です。 人か、 具体的な 処理を 主語に して 書き直します。 論文に 出てくる 「is_file () swallows that and returns False」なら、 「is_file () catches the error and returns False」で 十分 伝わります。 名詞が
3つ以上 つながっていないか 見る reader-patience budgetのような
並びは、 ofや forで ほどけば、 どこで 区切るかを 読み手に 推測させずに 済むはずです。 名詞を
その 場で 動詞に していないか 見る calendar itや
footnote itは、 put it on your calendar、 put it in a footnoteのような 普通の 言い方に 戻します。 thatが
落ちた 節が 続いていないか 見る 1つや
2つなら 普通の 英語ですが、 続けて 落ちているなら 戻します。 1語ずつ 長くは なりますが、 節の 切れ目が 見える ぶん 読みやすいはずです。 主語と
動詞の 距離を 見る あいだに
挟まる 語が 多ければ、 文を 2つに 分けます。
1つ目と3つ目は日本語の推敲にも活用できそうです。
著者らは、エッセイで差が小さく出たのは単発の指示で書くためで、何往復も続く雑談やコーディングではこうした特徴が出やすいのではと推測しています。長いやり取りのあとに書かせたプルリクエストの説明ほど、念入りに確認したほうがよさそうです。
冒頭の一文は、最後に「footnote it(脚注にしなさい)」と指示しておきながら脚注には入らず、序論のいちばん最初に配置されています。すぐ後ろには「この文を見かけたら、最近のLLMが書いたものだと疑うかもしれない」と続きます。
業務に
| この | 出どころ |
|---|---|
| 冒頭の | Clark, Martin & Mahowald, Why is AI-generated language so hard to understand? |
| 14の | 同論文 第3.2〜3.3節・付録A |
| 往復翻訳の | 同論文 第3.4節・付録B.5 |
| 往復翻訳での | 同論文 Figure 2 |
| 人間の | 同論文 Abstract・第3.5節 |
| Opus 5.5と | 同論文 第3.5節 |
| 長さの | 同論文 第4章・付録C |
| API代251.19ドル | 同論文 付録A.6 |
| Hacker Newsの | Hacker News |
次に読む
会員番号を
個人情報保護委員会は
エージェントが
AIの
記事の一覧
自社でつくって運用している仕組みの記録をまとめています。
仕事のご相談
同じ作り方で、御社の仕組みを作ります 要件を固める前に、動く実物を1本お見せするところから始めます。ソースコードと設定一式は、御社のクラウドの中に残した状態でお渡しします。