専門家ペルソナAIによる自己点検
自分たちで
この記事の内容
自社で運営しているメディアは、公開前に自分たちで読み直しても見慣れてしまっていて、間違いがなかなか見つかりません。そこで専門家や利用者になりきらせた複数のAIにサイトを敵対的に読ませて穴を探すようにしました。もとは大規模なポータルサイトの運営で使われていたやり方ですが、小さなメディアでも手を加えずに使えました。ペルソナの設定の書き方から、見つかった穴を検査に変えるところまで、実際にやった順に書きます。
属性だけのペルソナの限界
自社サイトの粗を自分で探すのは難しいため、別の視点を借りることにしました。しかし、年齢や関心といった属性を並べただけのペルソナからは、こちらが気づいていない穴はほとんど出てきませんでした。
最初は「情報収集中の30代男性」のような属性だけのペルソナを作りましたが、これでは当たり障りのない感想しか返ってきません。いま抱えている具体的な詰まりと判断の癖まで書き込むと、ようやく変わりました。34歳の受託開発者のペルソナには「10月頭に登記したい」と期限を持たせ、ほかにも「賃貸契約に居住専用と書いてある」「安いものに飛びつくが、あとで後悔しやすい」といった一文をそれぞれの設定に書き足しました。こうした事情を持たせるとペルソナはその立場でサイトを使い、現実の引っかかりを返してきます。「30代・情報収集中」には契約の縛りも期限も書かれていないので、どのページを読ませても止まる理由がありませんでした。
| ペルソナの | 返ってくる |
|---|---|
| 属性だけ | 当たり障りの |
| 具体的な | その |
| 原文の | どこを |
読ませるのは現物の画面
ペルソナに読ませる材料しだいで、返ってくる精度が変わりました。学習ずみの一般論にまかせず、いま公開されている現物のページを変更せずに渡します。現物を渡さないと、どのサイトにも当てはまる注意点を並べた評価になり、このサイトの穴とはずれてしまいます。リンクをたどらせて画面に出ている文字を引用させると、今のページで実際に起きている不具合が返ってきました。SEOとAI検索の専門家ペルソナは、sitemapに載せた53件のうち35件が404を返すことを指摘しましたが、これは日本語のディレクトリ名を encodeURIComponent でパスにしていて、ディレクトリ名がエンコード後の文字列になっていたためです。こちらは手元の index.html を数えただけで「53ページ」と報告していました。古い版を覚えた状態で評価されると、直したはずの箇所をまた指摘されて話が噛み合いません。
利用者と専門家の二つのペルソナ
ペルソナは、二種類に分けました。利用者のペルソナは、使いづらさと情報の欠落を見つけます。たとえば、既存の記事5本がどれも手続きを済ませた先の話で、その手前の手順が無い、といった指摘です。期限を持たせた受託開発者のペルソナは「このサイトに唯一無い次元が時間で、私が今週必要なのはそれだけ」と書いてきました。サイトの表は4本とも金額の軸でした。制度の適用条件や広告表示の決まりのように、利用者には判断のつかない誤りやリスクは、専門家のペルソナに拾わせました。税理士のペルソナは、利用者のペルソナには出せない誤りを8件挙げています。どちらか片方しか立てないと、残りの穴が丸ごと見逃されました。使い勝手だけ整えて中身の誤りを残すと、読みやすくなったぶん誤った内容も伝わりやすくなるので、両方を同じ回で見ることにしています。
領域ごとに分ける専門家
専門家のペルソナは一人に全部やらせると浅くなったので、税・登記・広告表示の審査・SEOやAI検索・アクセシビリティと領域ごとに分けて、それぞれの目で読ませています。すると利用者のペルソナからは一度も出てこなかった種類の誤りが挙がりました。見つかった中には制度の適用条件の見落としや倍率の取り違えのほか、「PR」などの表記がサイトに0件だったという抜けもあり、どれも書いた本人も利用者も気づけないものでした。この種の事実誤認は、専門家のペルソナを入れるまで公開後も残っていました。
| ペルソナの | 見つける |
|---|---|
| 利用者 | 使いづらさ、 |
| 専 | 制度の |
| 専 | 「PR」 |
| 専 | 検索や |
領域ごとに見ている軸がまるで違いました。広告表示の審査のペルソナが拾ったのは、広告であることの開示が本文の96〜98%の位置にあるフッターに11.5pxの文字で置かれている点です。社労士のペルソナは、結論は合っているのに理由に挙げた説明が条文と逆になっている一文を見つけました。税理士のペルソナは条件の見落としと計算の取り違えを追い、利用者のペルソナからは出なかった誤りを8件挙げています。
ほめ言葉を禁じた問題点の抽出
やらせ方にもいくつかコツがありました。何も言わずに頼むとAIは長所から並べ始めて、そのぶん情報量が落ちてしまうので、指示の最初に「良い点の列挙は不要。問題点と要望だけ」と書いておきます。次に「なんとなく使いづらい」のような曖昧な指摘を禁じて、原文を引用させました。引用された文字列で grep すれば、直す箇所にそのまま行き着けます。最後に「今すぐ追加すべきものを3つ、優先順に」と必ず聞くのは、批評が並ぶだけでは次に何を足すかが決まらないからです。
重なった指摘の優先
複数のペルソナを回すと仕分けが楽になります。3人の利用者ペルソナが別々に共通の箇所を指摘してきたことがあり、/policy/ が問い合わせ先として /about/ を指しているのに /about/ には連絡先が無いという循環でした。ほかにもサイト名がヘッダとフッタで違う、リンクの文言の数字が古い、といった指摘が3人から別々に出ています。立場の違う3人が共通の場所を挙げたものは好みの問題とは考えず、欠陥として扱って直しました。一人しか挙げていない細かな好みは急がずに後回しにしています。
公開のたびの読み直し
ペルソナ監査は、一度で終わりにするつもりはありませんでした。記事を直したり、新しく足したりするたびに、同じペルソナでまた読ませます。人が読み直すと毎回まとまった時間を取られますが、ペルソナの場合は、初回と同じ指示を流し直すだけの手間です。ただ、最初はペルソナの設定ファイル(PERSONA.md)を、セッションが終わると消える作業用の一時フォルダに置いていました。読ませ直すには同じ設定が要るので、人物ごとの事情と、いま抱えている用件の要点は、消えない記録に書き写してあります。前の指摘が直っているか、直した拍子に別の場所を壊していないかを、同じ設定で確かめるためです。
見つけた誤りの検査への反映
指摘を一件ずつ直すだけでなく、どんな種類の誤りが拾われたかを見ていくと自前の検査の抜けが見えてきます。税理士のペルソナが挙げた誤りのうち、こちらの数値チェックを素通りしていた「3.2倍」と「4社で最安」はどちらも金額ではない数字でした。倍率は計算し直すと4.0倍で、記事の2か所に「3.2倍」と書いていて、3.2を4.0に直すだけの単純な誤りでしたが、書いた側は何度読み返しても気づいていません。人やペルソナが見つけた誤りはたいていこちらの検査がまだ見ていない領域のものなので、指摘された箇所を直しただけでは作業を終えず、その種類の誤りを機械で捕まえる検査を新しく足しています。
利用者のペルソナと専門家のペルソナでは、返ってくる指摘の種類もはっきり分かれました。利用者からは、画面を見れば分かる不具合が返ります。更新バーの確認日と表の中の日付が食い違っている、em 要素で囲んだ単位がテキスト抽出や読み上げで崩れる、表ごとに並び順が違う、出典にURLが無い、印刷用のスタイルが無い、といった指摘です。専門家からは、条文に当たらないと分からない誤りが返りました。司法書士のペルソナは、条文の号の取り違えや、存在しない条番号を引いていた箇所を挙げています。
鵜呑みにしないペルソナの指摘
ペルソナの指摘がいつも正しいとは限らないので、出てきた指摘はこちらで一つずつ裏を取ってから直します。とくに専門家ペルソナが挙げた事実の誤りは、実際の条文や一次情報に当てて本当に間違っているのかを確かめました。ペルソナに頼むのは見落としの一覧を出すところまでで、正しいかどうかを決めるのはこちらです。間違った指摘を信じて直すと、正しかった記述を誤りに書き換えてしまいます。
手間の割に見つかる穴の多いやり方でした。7人のペルソナを設計してまずそのうち4人で回しただけで、書き手が読み返しても出なかった抜けが次々に挙がっています。公開してから直すのは遅いように思えますが、実際には公開した現物を読ませるのがいちばん正確でした。リンクの循環のような不具合は、本番のページをたどらせて初めて出てくる種類のものです。
このブログの記事も公開のたびに利用者と専門家のペルソナに読ませ、指摘が重なった箇所から順に直しています。指摘には必ず原文を引かせ、見つかった穴は自動の検査に足すところまでを一続きの作業にしています。税理士のペルソナが倍率や社数、最多の主張の誤りを挙げたときは、金額しか見ていなかった lint_numbers とは別に lint_claims.mjs を書いてビルドゲートに入れました。入れた直後に実害6件を検出し、そのうち訂正の引用を拾った2件は誤検出として除外の条件を足しています。
次に読む
AIの
ニューヨーク大学と
会員番号を
個人情報保護委員会は
記事の一覧
自社でつくって運用している仕組みの記録をまとめています。
仕事のご相談
同じ作り方で、御社の仕組みを作ります 要件を固める前に、動く実物を1本お見せするところから始めます。ソースコードと設定一式は、御社のクラウドの中に残した状態でお渡しします。