Search Consoleの登録をAPIだけで自動化する(鍵ファイルなし)
Search Console の
検索からの流入を増やすには、まず Google に自分のサイトを認識させる必要があります。その入口となるのが Search Console で、サイトマップを送信したり、どの検索クエリで表示されているかを確認したりする場所です。
ところが登録には「このサイトは自分のものだ」という所有権の確認が必要で、普通は管理画面にログインして指定されたファイルを配置するかDNSにレコードを追加し、確認ボタンを押します。人が1回やるだけなら大したことはありませんが、複数のサイトで繰り返すときや人を介さずに自動で回したいときには、この確認が負担になります。
弊社は自社のメディアを自動で運用しているため、登録作業にも人の手を挟みたくありませんでした。そこで所有権の確認からサイトマップの送信までを、管理画面を一度も開かずにコマンドで完結させました。
鍵ファイルなしの権限の借り方
自動で API を叩くには資格情報が必要で、よくあるやり方はサービスアカウントの鍵ファイルを作成してスクリプトに読ませる方法です。これは動きますが鍵ファイルが1つ増え、置き場所や誰が見られるか、漏れたときの対応をずっと気にし続けることになります。弊社も別のサイトでは鍵ファイルを使用していて、点検すると危ない形が2つありました。idx_probe.mjs が鍵を誰でも読める /tmp/gsckey.json から読んでいたことと、鍵が .gitignore に無く、git add -A でコミットされる状態だったことです。
このサイトでは鍵ファイルを作成していません。代わりに自分のアカウントからAPI 用に作成したサービスアカウントの権限を借用(impersonation)し、短時間だけ有効なアクセストークンを取得する方式にしています。権限を一度付与しておけば、必要なときにトークンを取得できるため、手元に資格情報を保存せずに済みます。
gcloud auth print-access-token \
--impersonate-service-account=gsc-api@<プロジェクト>.iam.gserviceaccount.com \
--scopes=https://www.googleapis.com/auth/siteverification,https://www.googleapis.com/auth/webmasters
# 事前に「成り代わる権限」を一度だけ付けておく(鍵ファイルは作らない)
gcloud iam service-accounts add-iam-policy-binding <SA> \
--member="user:<自分のアカウント>" \
--role="roles/iam.serviceAccountTokenCreator"注意点が1つあって、権限を付けてから実際に使えるようになるまでには少し間があります。弊社の場合は1分ほどで、付けた直後に試すと弾かれました。数十秒おいて3回目で通っています。付けてすぐ失敗しても、設定が間違っているとは限りません。
自社管理下に無いDNSでのファイル確認
所有権の確認には、DNSにTXTレコードを追加する方式と、サイトにファイルを配置する方式があります。DNSをAPIから操作できるなら、サイトに確認用のファイルを公開せず自動で回せるDNS方式のほうが楽です。弊社の別のサイトではgetTokenにDNS_TXTを指定し、返った値をCloud DNSのTXTレコードに入れて通しました。
ところが弊社のあるサイトはドメインの管理が別の事業者にあり、DNSをAPIから操作できないためDNS方式は使えません。ただサイトのファイルは自分でデプロイできたので、確認用のファイルを配置する方式に切り替えて作業を進めました。
確認用ファイルの
名前を もらう APIに
「ファイルで 確認したい」と 伝えると、 置くべき ファイル名が 返ってきます。 中身も ファイル名と 同じ 文字列です。 その
ファイルを サイトに 置いて 公開する いつもの
デプロイ処理で、 サイトの ルートに その ファイルを 1つ足します。 消すと 所有権が 外れるので、 デプロイ対象の ファイル一覧に 固定で 入れておきます。 APIに
「確認して」と 投げる 公開できたら、
APIに 確認の リクエストを 投げます。 ファイルが 見つかれば、 その 場で サービスアカウントが 所有者と して 登録され、 管理画面を 開く 場面は ありません。 サイトマップを
送る 所有者に
なったら、 同じく APIで サイトマップを 送信します。 ここまで 全部 コマンドで、 人の 操作は ゼロです。
ドメインの
DNSに
サイトに
ファイルを
確認用ファイルを
ここまで人を外す理由
1サイトを1回登録するだけなら、管理画面で手でやっても足ります。自分のアカウントでgcloud auth print-access-tokenを打っても、siteverificationとwebmastersのスコープは取れません。わざわざサービスアカウントを作り、鍵ファイルも作らずに権限借用で、と手を掛ける意味は、この点だけ見ると薄いかもしれません。ところが、サイトが増えたり、登録が毎回の公開作業に入ってきたりすると、話が変わります。
弊社の記事は、自動で生成して公開する運用です。公開のたびに、サイトマップを更新して Google に知らせなければなりません。Indexing APIはJobPostingとBroadcastEvent専用なので、新しいページを早くクロールさせる手段はサイトマップの送信だけです。人が毎回手でやる運用だと、忙しい日に抜けます。抜けても画面はいつも通りなので、誰も気づきません。「なぜか新しい記事が検索に出ない」と気づくのは、たいてい何日も経ってからです。
そこで、登録と送信を公開の手順の中に組み込みました。記事を出すと、同じ流れでサイトマップが更新され、sitemaps().submitで送られます。人が関わらないので、忙しい日でも飛びません。鍵ファイルを作らないのも同じ考えからで、人が管理し続けるものはできるだけ減らすようにしています。
つまずいたところ
通すまでに2つ引っかかりました。1つは先に書いたIAMの反映待ちで、付けた直後は弾かれ、数十秒おいてから通りました。反映待ちだと知らないと設定の誤りを疑って、正しく入っている設定まで触ることになります。
もう1つは確認用ファイルを削除してしまう事故で、このファイルが消えると所有権が外れます。サイトを作り直したときに他のファイルと一緒にうっかり落とすと、知らないうちに登録が切れてしまいます。弊社ではデプロイ対象のファイル一覧に確認用ファイルを固定で入れて、毎回必ず含まれるようにしました。サイトを作り直す担当者がこのファイルの存在を知らなくても、削除されずに残る作りです。
上書きされない所有者
自動で所有者を登録しても、もともと登録していた人が外れることはなく、所有者は併記されます。サービスアカウントが所有者として加わるだけで、既存の人の登録は変更されずに残ります。
確認が通れば、その先のサイトマップの送信と受理までが一続きです。送信した直後は「取得待ち」になり、しばらくして Google がサイトマップを読みに来ます。Google がいつ読みに来るかは、こちらからは決められません。DNS方式で登録した別のサイトでは、トップページは公開から数時間で「判定=PASS / 送信して登録されました」になり、同じ時点で下層ページはまだ未クロールでした。
| やり方 | 人の | 鍵ファイル | 向いている |
|---|---|---|---|
| 管理画面で | 毎回 | 不要 | 1サイトを |
| 鍵ファイル+スクリプト | 不要 | 要る | 手軽だが |
| 成り代わり+ファイル確認 | ゼロ | 不要 | 複数サイト・ |
登録後に見えるもの
登録が済んで初めて、検索パフォーマンスのデータを API で取得できるようになります。検索クエリごとの表示回数、クリック数、平均掲載順位が取得でき、弊社では perf.mjs で既定では昨日までの28日分を取得しています。リライトする記事を選ぶときの材料も、このデータです。
弊社では、表示回数はあるのに平均掲載順位が中位にとどまっているクエリをとくに見ています。1〜3位のクエリはすでに取れていて、21位より下はまだ上位から遠い位置にありますが、4〜10位あたりはリライトすれば上位に上がりそうです。perf.mjs はクエリごとに表示回数・クリック数・平均掲載順位を並べて出すだけで、この順位帯での絞り込みはまだスクリプトに入れていません。
どのクエリで中位にいるかを取得するにも、結局は所有権と API が必要です。登録だけを手作業で残すと、新しいサイトを追加するたびに順位の取得もそこで止まってしまいます。取得用のスクリプトは GSC_SITE と SITE_ORIGIN を必須にして既定値を設定していません。既定値があると、2つ目のサイトで渡し忘れたときに1つ目のサイトの数字が2つ目のサイトの数字として取得されてしまうからです。
検索に出す前提の仕組み化
所有権が取得できても、サイトマップに新しいページが載っていなければ検索には出てきません。弊社では以前サイトマップを手で書いていて、公開した記事がサイトマップに載っておらず検索から見えない状態になっていたことがあります。いまはサイトマップを公開する実ファイルから自動生成しているので、記事を追加すれば自動で載ります。
所有権の確認も、サイトマップの生成と送信も、いまはデプロイ手順の一部になっています。記事を公開すればサイトマップの送信まで一続きで終わるので、担当者が手順を覚えておく必要もありません。
弊社が御社の計測や検索まわりを組むときも、同じ考え方でやります。人が毎回ボタンを押す前提にはしません。押さなくても回る形にしたうえで、抜けたときに気づける仕組みを足します。この記事のやり方は、その一例です。
次に読む
AIの
ニューヨーク大学と
会員番号を
個人情報保護委員会は
記事の一覧
自社でつくって運用している仕組みの記録をまとめています。
仕事のご相談
同じ作り方で、御社の仕組みを作ります 要件を固める前に、動く実物を1本お見せするところから始めます。ソースコードと設定一式は、御社のクラウドの中に残した状態でお渡しします。