何もせず成功で終わるrsync
大量の
この記事の内容
大量のファイルを別の場所へコピーしたとき、rsyncが「完了」と表示したのにコピー先は空でした。最初は原因が分からず、調べてみるとmacOS 26に入っているrsyncはopenrsyncという別の実装で、知らないオプションを渡すと何もせずに終了コード0を返していました。終了コードだけを見て自動で次へ進む作りだったので、これでは1バイトも移さずに「成功」として次の処理へ進んでしまいます。幸いこれは本番の自動処理に載せる前の手元での試しで、もし気づかずに載せていたら、空のコピー先を「バックアップ済み」として扱っていたはずです。
進捗表示で動かなくなったrsync
MEGA の業務用フォルダを、SMB でつないだ NAS へコピーしていたときのことです。NAS は手元の mount_nas.sh というスクリプトでマウントしてあります。進捗を見たくて「--info=progress2」を足したら rsync が1バイトも転送しなくなり、それでいて終了コードは0でした。
macOS 26のrsyncの中身はopenrsyncという別の実装で、対応しているのは昔のrsync 2.6.9に相当する範囲ですが、今回のオプションはこの範囲に入っていません。openrsyncは知らないオプションを渡されるとusageを出し、何もコピーしないまま終了コード0で終了します。画面にはusageが出ていたにもかかわらず、スクリプトは0だけを見て「正常終了」と受け取っていました。
終了コード0での判定の危うさ
自動化では終了コードが0なら成功、それ以外なら失敗と分ける作りが多いはずで、ふだんはそれで困りません。しかし今回は1件もコピーしていないのに0が返りました。この前提だと22,940ファイルの移行がまるごと空振りしても「終わった」と記録され、終了コード0のまま誰も気づけません。そこで終了コードの0は当てにせず、コピー先の件数と合計サイズを数えて元と突き合わせることにしました。
| 成否の | この |
|---|---|
| 終了コード0を | 1件も |
| 画面の | 気づけるが、 |
| コピー先の | 空 |
件数と指紋で確かめるコピー
確かめ方は粗い確認と細かい確認の2段階に分けました。まずコピー先の件数と合計サイズが元と合っているかを見て、件数やサイズがずれていれば空振りや取りこぼしがその時点で分かります。ただし件数とサイズが合っていても中身が壊れていないとは限らないので、だいじなデータでは1件ずつmd5を計算して元と突き合わせます。今回は元のフォルダの全ファイルについてmd5を即座に取り直しましたが、これは前に取ったハッシュ値の一覧を使い回すと、計算後に中身が変わったファイルを見逃すからです。全件のmd5を取り直すと時間はかかりますが、削除したり移したりする前の確認なので、そこまでやりました。
直し方は二つ
直し方は2つあります。rsyncが対応していないオプションを外せば、素のrsyncは動きます。進捗表示は見られなくなりますが、コピー自体は問題なく進むはずです。別の道具に替える手もあって、macOSに入っているdittoなら、属性ごとそっくり複製してくれます。この環境で無人に任せるなら、dittoを1本走らせて放置するしかないと判断しました。dittoは渡す引数が少ないので、対応外のオプションで途中終了する余地もそのぶん小さくなります。進捗が見えないぶんは、コピー先の件数を時々数えて、増えているかで進み具合を見るしかありません。1分あたり65ファイルほどの速さなので、少し間をあけて数えれば、止まったかどうかもはっきり分かります。どのやり方でも、最後に結果を数える手順だけは外しません。
容量より件数で出す見積もり
時間の見積もりでも外しました。SMB経由のコピーでは、ボトルネックがバイト数よりもファイルの件数のほうにあり、実測では1分あたり65ファイルほどしか進みません。小さいファイルが2万件あると、合計が約9.6GBでも計算上は約6時間かかります。とくに詰まったのは、開発/ に9,069本、その他/ に8,072本の小さいファイルが入ったフォルダでした。容量だけを見て「すぐ終わる」と見積もると大きく外すのは、ファイル1件ごとにオープン、読み込み、書き込み、クローズのやり取りが走るためです。このオーバーヘッドはファイルが大きくても小さくてもそれほど変わらないため、小さいファイルが大量にあるとオーバーヘッドの回数だけが積み上がって、総容量のわりに時間がかかります。いまは見積もりの最初に件数を数えています。
機械的に消さない連番の重複
移行のついでに、重複を片づけたくなります。ここでも一つはまりました。同じ名前に括弧つきの番号が付いたファイルは、見た目は重複です。ところが、あるExcelファイルでは(1)が本体と同じだったのに、(2)は990,112バイトのファイルで、md5のハッシュ値が本体と違いました。番号付きのファイルを機械的に消すと、中身の違う(2)まで一緒に消えてしまいます。似た名前でも同じことが起きます。『テンプレートのコピー.pptx』はただの複製でしたが、『テンプレート_標準フォント.pptx』は別仕様で、中身が別物でした。消す前に、一件ずつmd5を取って本体と照らし合わせ、完全に一致したものだけを消しています。
| よく | 中身 | 消して |
|---|---|---|
| 名前が | 元と | ハッシュ値が |
| 名前が | 別の | ハッシュ値が |
| 『〜の | 重複の | ハッシュ値で |
| 『〜・別仕様』など | 中身が | 残す |
重複に見える唯一の原本
重複を消すときに、もうひとつ気をつけることがありました。アーカイブで最大の塊だったフォルダは、poppler の pdfimages -all が書き出した img-NNN の連番画像でいっぱいだったのです。CMYK の画像は .tif、それ以外は .png で出力されていて、グレースケール・カラー・グレースケールの 3つ組がくり返していました。Illustrator の不透明マスクと /SMask のせいで、共通のマスクが 2回、バイト単位で同一のまま書き出されていたわけです。中身が重複しているのは本当でした。納品物の .ai(2.8MB)は strings で調べてもこのフォルダを参照していなかったので、削除してもリンク切れは発生しません。しかし元の PDF は Mac にも NAS にも無く、重複を削除した残りの 699MB が、その仕事の唯一の原本だったのです。重複しているからとフォルダごと削除していたら、この仕事の画像は二度と戻せないところでした。
試す段と本番に載せる段
今回は、本番に載せる前に手元で一度試していたので助かりました。本番の無人処理に載せるときは、件数とサイズの確認を先に組み込んでからにします。コピー先が空かどうかはふだん誰も開いて確かめないので、自動処理に入れていたら、復元が必要になる日まで気づかなかったはずです。新しく入れた道具や、OSの更新で環境が変わった道具は、一度手で通して結果を数えてから無人処理に載せています。今回のrsyncのように、環境が変わっただけで同じ道具が別物のようにふるまうことがあるからです。
作業の進め方そのものでも、学びがありました。こうした大量のデータは、頼まれてもいないのに写しを作らないことです。良かれと思って別の場所へバックアップを取ったら、それは指示の外でした。どこに何を置くかは、持ち主が決めることです。移行やバックアップは、依頼の範囲をはっきりさせてから手を動かします。
データ移行では、失敗したのに成功したように見えてしまうことがあります。終了コードが0でも中身は空かもしれないし、名前が似ていても別のファイルかもしれません。なので、ツールの表示はうのみにせず、コピー先で件数を数え、消す前にハッシュ値で突き合わせます。弊社がお客様のデータを扱うときも、ここは同じやり方で進めます。地味な手順ですが、取り返しのつかない削除や取りこぼしを防ぐには、これが一番効きました。今回のrsyncの空振りも、「完了」の表示を見たあとでコピー先を開いて、空だと分かったところで見つかりました。本番の自動処理に載せる前だったので、実害は出ていません。
次に読む
AIの
ニューヨーク大学と
会員番号を
個人情報保護委員会は
記事の一覧
自社でつくって運用している仕組みの記録をまとめています。
仕事のご相談
同じ作り方で、御社の仕組みを作ります 要件を固める前に、動く実物を1本お見せするところから始めます。ソースコードと設定一式は、御社のクラウドの中に残した状態でお渡しします。