AIが書いた薄い文章をCIで弾く仕組み
AIに
AIに記事を書かせると速くはなりますが、できあがったものを手を加えずに出すと読む側にはすぐ分かってしまいます。箇条書きばかりで文章になっていない、妙に気取った言い回しや英語直訳の動詞が混じっている、といった具合です。しかも読む人が数行で気づくような崩れほど、書いた本人には見えにくいものです。
弊社も最初に出した記事がこれでした。読み返すと本文は1本あたり916〜1,456字で、行の過半が箇条書きになっていて、中身が薄いのを1,000字あたり5.15個の太字と言い切りで隠していました。書いた直後は速く書けたことに引っぱられて、自分ではよく書けたと思い込んでいました。
最初は人の目で直そうとしましたがうまくいきませんでした。直す人の感覚任せになるので、人によっても日によっても基準がブレてしまいます。そこで感覚をやめて、機械で落とすことにしました。
「薄さ」の数値化
まず何をもって「薄い」とするかを数字に落としました。感覚のままだと議論になるので、測れる形にしないと検査になりません。
測った項目のなかでは、箇条書きの比率がいちばん効きました。最初の記事は、全体の行の過半を箇条書きが占めていました。箇条書きは書くのが速いぶん、文と文のつながりを考えなくて済みます。そこで、比率が高い文章はつながりを考えずに書かれたものと見なし、全体の行に占める割合に上限を引きました。
強調の量も同じです。太字が多いと、読む人にはどこが大事なのかが伝わりません。1,000字あたりの太字の数に上限を引くと、本当に強調したい1文を選ばざるを得なくなります。
- 最初の
記事 (直す 前) - 箇条書き 55% 全体の
- 直した
あと - 箇条書き 22% 上限25%の
- 本文の
分量 - 3,500字以上 これ未満は、
辞書で捕まえる英語の直訳
AIが書いた日本語には英語の発想が残ることがあり、弊社の最初の記事には「静かに失敗する」という一文がありました。この言い回しは英語の silently fail を直訳したもので、日本語の技術記事ではまず使いません。
この言い回しは linter の literal_translation という規則が直訳として検出しました。直訳の語を集めた辞書を作成して本文と突き合わせ、見つかったら公開の手前で止めて、ふだん使う動詞に直させます。感覚で「なんか変」と思う前に、機械が語の単位で捕まえます。
人が
数字と出典台帳の突き合わせ
検査の中で弊社が最も重く見ている項目です。本文に出てくる数字がすべて出どころを記載した台帳に載っているかどうかを機械で確認し、台帳に無い数字が本文にあると公開の手前で止まるようにしています。
ここに力を入れるのには事情があり、弊社は過去にやっていない実績をサイトに載せていたことがあります。社名を伏せた「導入事例」に裏づけの無い効果の数字が並んでいました。書き手が人でもAIでも、この種の数字は入り込むため、数字だけは出どころを機械で確認することにしました。
{
"48.0%": "自社2媒体の生ログを数えた実測(ボットの割合)",
"3,500字": "本文の最低分量。媒体ごとに決める",
"26時間": "日次ジョブの間隔24時間+余裕2時間",
# … 本文に出す数字は、全部ここに出どころを書く
}照合の仕組みは、本文から数字を抜き出して台帳(SHUTTEN)と突き合わせるだけで、日付や1件・1本のような数え方は照合の対象から外しています。この照合を入れておかないと、裏の取れない数字が検証されないまま公開まで進んでしまいます。
この検査は実際に効いていて、記事の下書きから台帳に無い数字が7件ひっかかりました。そのうちの1つは「5分で取り出せるようになった」という計っていない効果の数字で、計っていないので台帳に書けず、文ごと削除しています。
公開の
記事の
AIに
基準を
AIらしさ/箇条書きの
全部
1つでも
検査自身の間違い
検査を作ると、今度は検査の判定を疑わなくなります。弊社もここで一度つまずきました。
記事に図を1枚足したら、検査が「この画像は読み込めていない」と言って落としました。調べると画像は正常で、検査の判定の誤りでした。画像には loading="lazy" を付けていて、画面外にあるあいだは complete が false のままです。検査はそれを待たずに「読めない」と数えていました。最後までスクロールしてから数えるように直しています。
もう1つは、推敲用の linter が unnatural_halfwidth_space という規則で「英字の前後の半角空白を詰めろ」と指摘してきた件で、これには従っていません。弊社は競合20社の本文14万字を数えて、英字の前は四分アキにするという組版の規則を先に決めていたからです。kansa.py ではこの規則だけを除外し、除外した理由をコードに書いてあります。
作った
検査と人の分担
検査で確かめられる項目は数えられるものに限られ、箇条書きの比率や数字が台帳にあるかは測れますが、「この説明が読者に本当に要るか」は測れません。この境界を混同すると、検査を通ったのに中身の無い記事ができあがります。
そこで kansa.py には形だけを見させていて、箇条書きの比率や太字の密度、数字が台帳にあるか、モバイル幅での文字の小ささとはみ出しを終了コードで判定させています。数えて済む項目なら機械は疲れて見落とすこともありません。
人がレビューで読むのは中身です。読んだ人が次の一歩を踏み出せるか、書いた内容が本当に自分たちでやったことか、順番が読者にとって分かりやすいかは機械では数えられません。検査を入れる前は形の崩れを人が目で追っていて、中身を考える前に疲れていました。
検査を
媒体ごとに変えるしきい値
ここまでいくつか数字を出してきましたが、このしきい値がどの媒体でも正しいわけではありません。箇条書きの上限も本文の最低分量も、媒体の読者層によって変わってきます。手順を伝えるマニュアルなら箇条書きが多くて当然ですし、短い告知に3,500字を要求するのは筋違いというものです。
弊社でこの検査を他の媒体に持ち込むときは、既存の良い記事を何本か検査にかけて、落ちない線がどこかを確認してからしきい値を決めます。通したい良い記事がちゃんと通る位置に線を引くという順番で進めます。公開後に見出しの検査(kansa.pyのmidashi_bunseki)を追加したときも、人が書いた実在の記事47本から見出し694本を集めて数えました。人の記事の見出しは読点率が5.3%で、しきい値はすべて実測値から決めています。
このしきい値を自社の記事に当てたところ、32本中27本が赤になりました。原因は見出しの読点率が70〜90%あったことです。そこで全部の見出しとタイトルを名詞のラベルに書き替え、約250本の見出しをスクリプトで5回に分けて一括置換した結果、32本すべてを緑に戻せました。
この記事が通った基準
最後に、この記事自体が通った kansa.py の基準を載せます。いま公開している版は、下の三つをすべて満たしています。ただ検査を置いただけで必ず止まるわけでもなく、10月11日には出典台帳の検査が赤のまま 6本の記事を公開していたことに、あとから自分たちで気づいて直しました。原因は、記事ごとの結果だけを grep で拾っていて、全記事をまとめて照合する事実検査の節の赤が目に入っていなかったことです。いまは引数なしの python3 kansa.py の終了コードを見てから公開しています。
- AIらしさの
点数 - 85点以上 辞書と
- 箇条書きの
割合 - 25%以下 行の
- 台帳に
無い 数字 - ゼロ 台帳に
仕組みで守る品質
ここまで記事の検査の話をしてきましたが、人が目視で確かめている限り見落としは発生します。弊社も記事の本体を通しで見ていなかったころ、1600px幅で作った図の画像がモバイルでは390pxに縮んでラベルが読めなくなっていたのを見落としていました。いまはモバイル表示で11px未満の文字と左右のはみ出しを落とす検査をkansa.pyに追加してあります。見落としても引っかかる仕組みを作業の最後に1つ用意するほうが確実です。
記事の外でいえば、データの取り込みが0件の日に止める検査や請求額の桁が先月と変わった月に止める検査がこれに当たります。どちらも地味な検査ですが、無ければ間違いが気づかれないまま後の工程まで届いてしまいます。
ここからは宣伝です。弊社はシステムを作るとき、どこで止めるかを最初に決めています。この記事は、その判断基準を自分たちの文章に適用した記録です。御社のシステムでも、いま人が目視で支えている確認を、異常があれば止まる検査に置き換えるところからお手伝いできます。まずは、どこで間違いが気づかれずに通過しているかを、一緒に洗い出すところから着手します。
次に読む
AIの
ニューヨーク大学と
会員番号を
個人情報保護委員会は
記事の一覧
自社でつくって運用している仕組みの記録をまとめています。
仕事のご相談
同じ作り方で、御社の仕組みを作ります 要件を固める前に、動く実物を1本お見せするところから始めます。ソースコードと設定一式は、御社のクラウドの中に残した状態でお渡しします。