はじめに
職場で一部の人から「ネットワークにつながらない」という申告があり、調べたら自分が原因でした、というお話です。
朝のことです
一部の職員から「ネットワークにつながりません」という申告がありました。朝で担当の職員がいなかったこともあり、自分が代わって対応しました。
確認できたのは以下のような事象でした。
- 会社の無線LANのうち、あるSSIDではつながらない
- 別のSSIDなら大丈夫
- ipconfigしてもらうと、つながらないというSSIDはIPを取得できていない
- Wifiはつかめているっぽい
PCのIPアドレスはDHCPなので、DHCPサーバになにか問題が起きたかなぁというのが私の見立て。
しかし、この時点でいくつか疑問が。
- DHCPサーバの不具合なら、別のSSID（別セグメント）では問題起きないのは不思議
- DHCPリレーの不具合でも同様
- 問題のあるSSIDも、大丈夫な人と大丈夫じゃない人がいる。DHCPサーバの問題なら大丈夫な人がいるのも不思議。
- 大丈夫じゃない人も複数いる。PC再起動してもダメ。PC起因が複数台で同時発生というのもありえなくないけど、確率低い
そんなこんな考えると、IPアドレス枯渇が一番ありえそうな気がする一方で、つながらない人が全員、後から接続しようとしたわけじゃなく、大丈夫な人よりも先につなごうとしていたので、はっきりと断言できるわけでもなし。
調査結果を聞く
ネットワークの担当者が来たので、そちらに任せていると「DHCPのアドレス枯渇が原因です。特定のクライアントから10秒毎に新しいIPを払い出すよう依頼が来ている」という連絡が。しかも、私が実験用に使っているPCから。
そのPCはMinIO の実験用に職員用セグメントに立てていたDebianマシン。そういえば、昨日の午後にファイルの送受信試したな、と。
マシンを見てみると、IOエラーが大量に出ているようですが、sshも通るしネットワーク的にはおかしくはない感じ。IPアドレス確認しようとコマンド打ったらびっくり！確かに有線のinterfaceにIPアドレスが大量に割り当ててられているではないですかー。とりあえず迷惑かけ続けるのもアレなので、シャットダウンしました。
問題のマシンを調査してみる
IOエラーがDHCPの暴走になるのか？というのが疑問で、所定の用事を済ませたた後に、問題のマシンを調査してみました。
問題起こすわけにもいかないので、いったん、有線ケーブルは抜いて起動して、syslogとかを見てみようとすると、ガーン！起動しないじゃないの。手動でfsckしてね、と言われるので、言われるがまま作業してなんとか起動。
で、syslog見てみると、どうも前日の18時前くらいからログがない様子。その少し前のログを見るとIOエラーでファイルシステムをReadOnlyに、と書かれているので、syslogも書き込めなくなったのかも、という結論に。
しかし、それでなぜDHCPが？syslogを見ると前日の12時くらいにリース更新の記録があり、残りが12時間弱くらいになっていたのです。そういえば、前日の23時台から問題の挙動が起き始めている、とネットワーク担当者が言っていたな…
dhclient-enp2s0.leasesを見ると、正常に取得していたIPだけが書かれていて、それがsyslogの内容とも概ね合致している感じ。その後IPを大量に取得しているにもかかわらずそれがleasesに反映されていない。
ということは、こんな感じってことですかね。
DHCPのリース更新をした
→ちゃんと更新できているにもかかわらず、DBを更新できないためにリース期限を更新できなかったと思いこむ
→リース切れだと思い、IP取得に行く
→取得できているのにDB更新できないから取得できなかったと思い込み、また取得に行く（以下これを繰り返す）
まとめ
問題のマシンは、以前もファイルシステムエラーを起こしていたので、ディスクが壊れているのか、MinIOとext4の組み合わせが良くないのか、ちゃんと調べてから使うべきでした。
きちんと調査せずに、安易にOS再インストールして、かつサーバのように起動させっぱなしにしていたのが良くなかったです。
psコマンドとかで見た限り怪しいプロセスもなかったし、おそらくセキュリティインシデント（マルウェア感染とか）ではなかったと思われるので、それは良かったです。
参考にしたサイトなど
あと、dhclientのソースコードもちょっとだけ目を通しました。
