公開後のURL検査
静的サイトの
この記事の内容
静的なサイトでページを公開したと報告したことがあります。ビルドもデプロイも成功で、出力されたファイルの数も合っていたので、数えて「53ページ公開」と伝えました。しかし、あとで一本ずつURLを開いたら35本が404を返し、ファイルは全部そろっているのに開けたのは残りの18本だけでした。原因はパスの作り方にありました。
404だらけの公開ページ
このときの私はデプロイが成功した時点で公開は終わったと考えていて、URLを開いて確かめる工程を持っていませんでした。
当時は日本語のディレクトリ名を encodeURIComponent に通してパスを組み立てていました。そのため出力先のディレクトリ名が %で区切られたエンコード後の文字列になってしまい、ブラウザが日本語のパスを要求してもエンコード済みのディレクトリとは一致せず、404が返ってきます。それでも public 以下に index.html は53個生成されるため、ローカルで数えるとファイル数はぴったり合っていました。数が合っていたので、URL を一本ずつ開いて確かめようとは考えなかったのです。ビルドもデプロイも成功と表示されていて、配信のパスが壊れていることを示す兆候はどこにもありませんでした。しかも各ページの内部リンクも共通のロジックで組み立てたパスを指していたため、404を指すリンクはサイト全体で111本に達していました。
| やった | 実際に |
|---|---|
| 出力された | ファイルが |
| ビルドと | 処理が |
| URLを | 読者が |
公開後に全URLを開く確認
それ以来、公開したあとはサイトマップの loc 要素を curl と grep -o で全部取り出し、1本ずつステータスコードを確かめて「200以外: 0件」と出てから公開できたと言うようにしています。手でやると漏れるので、組み立てから公開、URLの確認までを publish.sh という1本のスクリプトにまとめました。工程を分けると確認をやらなかった回が必ず出るからです。確認の結果には件数に加えて、正常でないステータスコードを返したURLとそのコードを一行ずつ出力します。件数だけでは、どのページが落ちたかを探すところから始めることになります。
sitemapに載らない入口
全URLを確かめるようにしたあとも、ドメインのエイリアスだけは見落としていました。『www』つきのアドレスが、12日間、証明書の警告画面を出していました。証明書が firebaseapp.com 名義のまま返っていたためです。サイトマップに載っているのは、全部『www』なしのほうです。だから、全URLを確かめても、そこには一度も触れません。読者が『www』つきで来ると、いきなり警告画面に出くわします。それで、確かめる対象を、パスだけでなく、ホスト名まで広げました。http と https、www のありとなし、それに深い階層のURLを掛け合わせて、どの入口も正規のURLへリダイレクトされるかを見ます。エイリアスがそのまま200で開けるのも、リダイレクトで階層が落ちるのも、直す対象です。同じ内容が二つのURLで開けると、検索エンジンがどちらを正規のページとして扱うか定まらず、評価が割れるおそれがあるからです。エイリアスは、リダイレクトで片方へ寄せるか、エイリアスそのものを消すかのどちらかに決め、どちらでもない状態では残しません。いまは入口を一つに決め、www も Firebase Hosting API の customDomains に redirectTarget を付けて登録し、そこへリダイレクトしています。A レコードを CNAME に替えてから、証明書が発行されるまでは6分でした。
読者が打つ言葉のURL
そもそもパスに日本語を使わなければ、最初の事故は起きませんでした。URLに使う文字はローマ字の短い名前で保持しておき、データの側にページごとのスラッグを持たせて、そこからパスを組み立てます。この方法なら見出しは日本語でも、URLは崩れません。このとき、URLを自分の都合で分類していたことにも気づきました。地名だけでページを作成していて、人がよく打つ区の名前では一枚も作成していませんでした。それからは、ページとURLの単位を、読者が検索窓に打つ言葉から決めるようにしました。
ある日動く外部リンク
自分のサイトの中だけ見ても足りません。本文から外部のページへ張ったリンクは相手の都合でこちらが何もしなくてもある日動くもので、外向きのリンク218本のうち叩ける139本を初めて確かめた日には6本がすでに移転していました。e-Gov の法令データベースがドメインごと elaws から laws へ移っていたり、料金のページが移っていたりしたものです。内部リンクは出力を見れば分かりますが、外部リンクは相手のサーバー側で行き先が変わるので、こちらの出力には壊れた跡が何も残りません。そこで外部リンクも定期的に確かめて、移転していたら張り替えます。リダイレクトが効いていても直す対象で、放っておくと相手がリダイレクトをやめた日にまとめて切れてしまいます。外部リンクの確認は outbound.mjs にまとめ、publish.sh から内部リンクや入口の確認と一緒に、公開のたびに叩いています。
| 死角 | なぜ |
|---|---|
| 読者が | ファイルは |
| 出典が | 相手が |
| (参考) | 死角に |
404ページの用意
URLが開けないときの画面も用意しておきます。何も設定しないと Firebase Hosting の既定ページがそのまま読者に表示されますが、これは「You may have deployed the wrong directory... Check your firebase.json」という開発者向けの英文で、読者には何のことか分かりません。public/404.html を一枚配置すれば自動でそちらが使われるので、トップへ戻るリンクとよく読まれるページへのリンクを並べておきます。存在しない URL を開いた読者が、そこからほかのページへ移れるようにするためです。英語のエラーだけが出ると、読者はほかのページを探さずに閉じてしまうでしょう。案内のリンクがあれば、存在しない URL にたどり着いた検索エンジンのクローラーも、トップやほかの記事へ進めます。
WAFによる403の見分け
外部リンクを確かめるとき、一つ勘違いしかけました。あるページが素のUser-Agentでのアクセスに403を返してきて、リンク切れだと判断しかけたのですが、本物のChromeのUser-Agentで開き直すと新旧どちらのURLも200が返ってきました。ページの手前に配置されたWAF(Web Application Firewall)が、ボットらしいアクセスをはじいていただけでした。ステータスコードだけで消すと生きているリンクまで落とすので、403が返ったらChromeのUser-Agentでもう一度アクセスします。このページは実際に移転していましたが、移転と判断した根拠は403とは別のものでした。
叩くと事故になる広告リンク
外部リンクのうち広告リンクだけは、確認のためでも絶対に開きません。広告リンクは開かれるとクリックとして相手側に記録され、確認のつもりでスクリプトが開くと人が来ていないのに成果が計上されて、提携を切られたり報酬が取り消されたりします。そのため広告リンクを除外するのは、確認対象のリストを作る段階です。さらにリクエストの直前にもう一度見て、混ざっていたら通信せずに exit 2 で止めます。
直したことの現物確認
最後に、直したと公表するときの話です。前に、拠点の名前を訂正したと更新履歴に書きながら、いちばん読まれる記事には古い名前が残っていました。データを修正しても、本文に手で書いた固有名詞までは追従しません。金額を見るチェックはありましたが、名前は見ていなかったので素通りしてしまいました。そこで何かを修正したと言う前に、古い語で本番を grep して0件になったことを確認します。固有名詞も件数も、本文にじかに書かずにデータから出力するのが原則です。更新履歴に訂正を書くのは、grep で古い名前が一件も出なくなったのを確認してからにしています。
お客様のサイトを公開して届いたと報告するときも、ファイルの数では判断しません。全部のURLをパスもホスト名も一本ずつ開いて、正常なステータスコードが返るのを確かめます。外部リンクも定期的に確かめて移転していたら張り替えますが、広告リンクだけは絶対に開きません。届いたかどうかは読者と同じようにブラウザで外からURLを開いて、はじめて分かります。最初の事故のときもビルドとデプロイは両方とも成功の表示だったので、納品の報告で「公開しました」と書くのは全URLの確認が通ってからにしています。
次に読む
AIの
ニューヨーク大学と
会員番号を
個人情報保護委員会は
記事の一覧
自社でつくって運用している仕組みの記録をまとめています。
仕事のご相談
同じ作り方で、御社の仕組みを作ります 要件を固める前に、動く実物を1本お見せするところから始めます。ソースコードと設定一式は、御社のクラウドの中に残した状態でお渡しします。