Automation

通知より先の自動修復

自動で動く処理に、アラートをたくさんつけていました。でも、通知が来ても、受け取った側は何もできません。サーバーに入って再起動するのは私の役目で、通知を受け取る代表の役目ではないからです。それからは、アラートを足す前に、システムが自分で直せないかを考えるようにしました。

2026.10.12 公開読むのに約 6分約 3,800字
この記事の内容
  1. 見ても動けない通知
  2. 最初にシステムが試す自動修復
  3. 直した回数の記録
  4. 壊れ方より依存の数
  5. 人を呼ぶまでのリトライ回数
  6. リトライ前のヘルスチェック
  7. 止まっても出ないエラー
  8. 鳴りっぱなしのアラート
  9. 翌朝まとめて見る軽いアラート
  10. 『手がある』と『動く』の差

自動で動く処理にアラートをたくさんつけていた時期があります。しかし代表に「Slackで通知来るのはありがたいけど、それをみたところで何もできないから、自律的に修復するロジックはちゃんと用意しておいてね」と言われました。たしかにサーバーに入って再起動するのは私の役目で、代表の役目ではありません。手の出せない相手に通知を投げるのは、仕事を上に放り投げているのと変わりませんでした。

見ても動けない通知

代表に届いていた通知の多くは、サーバーに入れる私でなければ手の出しようがないものでした。

そもそも、通知の宛先から取り違えていました。異常を見つけたときに、人に知らせるものとシステムに直させるものを分けて考えておらず、手を出せない人に知らせた通知は、未対応のままSlackに溜まっていくだけでした。

いまは通知を一つ追加するたびに、受け取った人がそれを見て何かできるかを確認し、下の表のどの行に入るかを決めています。対応できないものはアラートにする前にシステムが直せないかを先に検討し、人を呼ぶのはシステムでは判断がつかないことだけにしぼりました。

通知の種類どうするか
システムが直せる異常まず自動で直す。ログだけ残す
人がいますぐ動く必要鳴らして起こす
あとで見れば足りるダッシュボードにためて、まとめて見る
インフラ側の一時的な障害経路をヘルスチェックし、自分の失敗に数えない
アラートを出す前に、自動で直せるか・人が動けるかで仕分ける。

最初にシステムが試す自動修復

表のいちばん上の行にある、システムが自分で修復できる異常は、復旧手順をあらかじめコードにします。常駐プロセスが落ちたときなら、落ちたことを通知する前にまず再起動し、再起動して戻れば人は呼ばず、通知はそのあとに記録として残します。再起動した時刻も一件ずつログに残しています。

直した回数の記録

システムが自分で直したことも、黙って消さずに、通知として記録に残すことにしました。その場は直って動いているので、記録まで消すと、同じ壊れ方が再発しても見えなくなります。ログに残した再起動の時刻をあとで数えれば、どこが弱いかも見えてきます。

記録が無いと、停止していることにも気づけません。別の常駐サービスでは、systemd の上では active のまま62日間動き続け、CPU 639秒・書き込み8.4MBの形跡があるのに、journal はゼロ件でした。動いている証拠も停止している証拠も取れない状態を、稼働中と読んでいたことになります。

壊れ方より依存の数

直す手順を書くとき、最初は壊れ方を一つずつ想定していましたが、壊れ方は数え切れず、あれが落ちたら、これが詰まったらと書き足しても、必ず想定の外が出ます。そこで壊れ方を数えるのをやめて、この処理が動くには何と何が生きている必要があるか、つまり依存先を数えることにしました。常時 active であるべきサービスを依存先の一覧にしておき、どれかが落ちていたら起こし直します。8月26日に中継サーバーが落ちたのは、まさに想定していなかった壊れ方でしたが、依存先として並べてあったので同じ仕組みで拾えました。依存先なら、処理を作った時点で書き出せます。

やり方起きること
壊れ方を一つずつ想定して備える想定の外で落ちると、気づけない
依存先を並べて監視する想定外の壊れ方も、同じ網で拾える
依存先を一覧にして監視すれば、想定外の壊れ方でも、落ちたものから検知できる。

人を呼ぶまでのリトライ回数

自分で直す仕組みには、歯止めも要りました。歯止めが無いと、直せないものを延々とリトライし続けてしまいます。起動しては落ち、また起動しては落ちるのを繰り返しても、直しているように見えるだけで何も進みません。そこでリトライ回数に上限をつけ、1時間に3回までやってみて、それでも戻らなければ手を引いてアラートを出すようにしました。そこから先は、人が見ないと分からない障害だと判断します。回数で区切らないと空回りがそのまま続き、止まっていることにさえ気づけなくなるので、やめる回数は直す手順を書くのと一緒に決めました。人に渡す『停止』の通知には、影響と復旧手順を付けるので、受け取った側がゼロから調べる必要はありません。

リトライ前のヘルスチェック

自分のコードの失敗とインフラの障害は、分けて数えるようにしています。案件の自動仕分けにはエラーが3回続いたら自動で止めるサーキットブレーカーを入れており、狙いは自分のコードが壊れたときに暴走させないことでした。ところが中継サーバーが落ちただけでもこのカウンターは進み、3回に達して仕分けが止まってしまいました。中継を上げ直せば済む障害が代表の決裁待ちになり、11時間止まったままになっていたのです。エラーの種類を確認せずに回数だけを数えていたため、中継の障害も自分のバグと区別されず1回としてカウントされていました。修正してからは、数える前に接続先までの経路が生きているかを実際に叩いて確かめ、経路が切れていれば自分の失敗としてはカウントしません。

止まっても出ないエラー

無人の処理は止まってもだれも気づきません。案件の自動仕分けは8月19日に自動停止していましたが、そのあとも systemd のタイマーは10分おきに起動し続け、毎回『停止中なので何もしない』で正常終了していました。そのためログも systemd も緑のままで、失敗は1件も記録されていません。気づいたのは87時間後、代表に『7件しか送信されてない』と言われてからでした。そのあいだに正常終了した回は438回ありました。

それ以降は、エラーの件数とは別に、成果物が0件のまま経過した時間を監視するようにしました。今回の件であれば、提案文の起案が0件のまま24時間たった時点でアラートが鳴るべきだったのです。ほかにも、決まった時刻に動いた形跡があるか、最後に成功したのはいつかを外から監視しています。ハートビートが途切れたらアラートを出し、エラーが一件も無くても、最後に成功した時刻が古ければ停止していると見なします。

鳴りっぱなしのアラート

以前は、人をすぐ起こすアラートも、ダッシュボードに積んでおけば足りるアラートも、区別せずSlackへ通知していました。ある日の13時間を数えると、新着のWeb案件の検知だけで10回通知が飛んでいて、中身はタイトルと予算とURLだけです。すべてが鳴っている状態だと、またいつもの通知かと思って、開く前に閉じるようになります。

アラートの出し方を分け直しました。通知を出す関数 ring() に urgent の引数を持たせ、urgent を付けて鳴らすのは人がいますぐ動かないといけないものだけに限定しています。残りはダッシュボードに表示するだけにして、新着の検知のような生データは Slack に流さず events.jsonl と queue.jsonl に書き込むよう保存先も分けたので、急ぎのアラートがほかに埋もれにくくなりました。決裁を求める通知は、選択肢が2つ以上と推奨が書かれていなければ notify.js が throw して送れない作りです。

翌朝まとめて見る軽いアラート

すぐ動かなくていい異常は鳴らさずにためておき、1日に1度まとめて確認します。毎晩21時にlaunchdがdigest.jsを起動して、その日の分を日次ダイジェストにまとめる形です。一回だけ処理が遅れた、使っていない領域が少し増えた、といった異常はここに集約します。その場で起こされても困るだけで、翌朝まとめて眺めれば足ります。表で『あとで見れば足りる』とした行が、これに当たります。

日次ダイジェストに並べると、一回ずつでは気づけない傾向も見えてきます。

『手がある』と『動く』の差

自動修復の仕組みそのものも、動くかどうかを確かめています。修復の手順をコードにしただけでは本番で障害が発生したときに動くかどうか分からないので、selfheal_test.pyというテストで本番の中継サーバー、ダッシュボード、ハブを実際に停止して、復旧するかを確認します。テストは28件あり、28件とも通りました。

修復する側のコードは、依存先のリストDEPENDSを見て落ちたものを起動するstall_watch.heal()、ハートビートを判定するheartbeat_verdict.py、接続先の経路が生きているかを確認するdispatch.mjsのpathBroken()に分かれています。

構成を変更したあとに一度も止めて試していない手順は、まだ動くと分かっていないものとして扱います。テストのあとに状態をもとに戻すことには特に気をつけています。一度、テストが本番に偽の赤を残してしまい、15分後に代表へ誤った通知が飛ぶ寸前になったことがありました。それからはサービスを復旧するだけでなく、通知のもとになる状態まで戻すようにしています。

お客様の処理を無人で回すときも順番は変わらず、異常を検出したらまずシステムに修復させ、修復できなかった異常に限って人に上げます。上げるアラートはすぐ動くものとあとで見るものに分け、修復する仕組みは一度わざと停止して戻るかを確認してから納めています。ただ自社の処理でも、停止条件の解除だけはシステムに任せていません。社内の規則で代表が決めることになっているので、自動で解除する案は勝手に入れず稟議に出しました。