• Hobbit Monitor
• K-blo: Hobbit

HobbitサーバーのインストールとHobbitクライアントのインストールが終わったら、いよいよ “なにを監視して” “どう報告するか” の設定である。

まず、監視対象の設定ファイルはinstalldir/server/etc/bb-hostsとinstalldir/server/etc/hobbit-clients.cfgの二つが中心となる。bb-hostsはクライアント外部（サーバー）から監視できるものの設定、hobbit-clients.cfgはクライアント内部（クライアント自身）から監視できるものの設定と理解すればよい。

設定項目はK-bloさんに公式サイトの翻訳があるのでそちらに譲り、ボクの設定を参考に掲載しておく。まずはbb-hostsである。bb-hostsはHobbitクライアントに依存しないので、Hobbitクライアントをインストールしていないマシンも監視できる。

一番上のInternetグループで外部サイトを監視している。ここに滅多に落ちなさそうなサイトをいくつか登録しておき、もしすべてのホストのhttpがエラーになったら自宅のネットワーク障害が疑える。noconnを設定してPing監視を行っていないのは、不正アタックと勘違いされかねないという理由と、www.google.comやwww.yahoo.comは複数のIPアドレスを持っていて正しくconn監視できないためだ。

Gatewaysグループではインターネットに出る間の主要ゲートウェイを登録している。まず、自宅のルーターであるuniform、そしてボクが利用しているISPのxxx.em-net.ne.jp、その上流のxxx.pwd.ne.jpを監視している。これによりネットワーク障害時にどこまで問題なく、どこから問題があるのかがある程度把握できるようになる。上流のゲートウェイがなにかはtracerouteを行えば分かる。

そして自分が管理しているサーバーをServersグループで設定している。oscarがHobbitサーバーであるので監視対象にbbdが設定されており、ほかにFTP / NTP / SSH / HTTP各サーバーが動作しているのでそれらを監視対象としている。zuluはNTP / SSH / HTTP / HTTPSサーバーが動作しているのでそれらを監視対象としている。NTPは “時刻を補正される側” もサービスとして動作していることは忘れずに。FTP / SSH / HTTPは死活監視とレスポンス時間の統計が取れる。HTTPSはそれに加えてSSL証明書の有効期限が監視できる。NTPは死活監視とオフセット値の統計が取れる。

次にhobbit-clients.cfgだ。Hobbitクライアントをインストールしたマシンのみhobbit-clients.cfgの設定で監視できる。

DEFAULT以下に記述したものは、すべてのHobbitクライアント（サーバー含む）に適用される。UPでuptimeが1時間内のものは注意（黄色いアイコン）を表示することにした。そもそもマシンがダウンしていたら警告（赤いアイコン）となる。LOADはロード・アベレージの設定だ。2Wayマシンなので、それの2倍である4.0に達したら注意、それの4倍に達したら警告とした。DISKはディスク使用率だ。すべてのディスクで使用率が80%に達したら注意、95%に達したら警告とした。

MEMPHYSはメモリーの仕様率だ。Linuxの場合、バッファとキャッシュにメモリーを利用するのでMEMPHYSが大きくても問題ない。100%で注意、101%（あり得ない）で警告とした。MEMACTはバッファとキャッシュをのぞいた値だ。使用率80%で注意、90%で警告とした。MEMSWAPはスワップの使用率で10%で注意、50%で警告とした。

DIRでディレクトリのメタ情報を監視できる。ボクは Avira AntiVir Personal Edition で検疫されたファイルは/var/antivir/quarantineに移動しているのだけど、たいていはクライアントである Apple Power Mac G5 のバックアップ・ファイルの中から見つけたフィッシング詐欺メールなので駆除も削除もせずにほっといているので、そのディレクトリが10MBを越えたら注意、100MBを越えたら警告を発し、そのタイミングで駆除なり削除なりすることにした。LOGでは/var/log/messagesを監視し、SSH時に連続3回以上パスワードを間違えられたときに記される more authentication failures を監視している。ファイルのメタ情報やMD5値を監視できるFILEもあり、これらを使えば簡単なホスト型IDS（侵入検知システム）としても利用できるわけだ。

PROCではプロセスの死活を監視できる。crondとsyslogdは「動いていると思ったら動いていなかった」という状態だと影響が大きいので監視対象にしている。また、httpdは「1未満または100以上で注意」「1未満または200以上で警告」という設定にすることで、HTTPサーバーの負荷を監視している。

HOSTでマシンごとの設定が行える。oscarではbb-hostsで設定できるもの以外に CIFS (SMB) / NFS / MySQL / Subversionサーバーが動作しているのでそれのポートとプロセスを監視している。なんのポートがなんのサービスだか忘れがちなので、TEXTでコメントを表示させており、MySQLはmysqld_safeとmysqldが動いているべきなので「2未満だと警告」という設定になっている。また、NFSはポートが不定なのでポート監視は行っていない。MD5値はマシンごとに異なるのでマシンごとに設定しており、IDSとしてls / mv / cp / rmコマンドとsshd_config / vsftpd.conf設定ファイルのMD5値を監視している。つまり、これらが不正なファイルに置き換えられたり書き換えられたりされた場合は警告が出る。

DIR / FILE / LOGを使用する場合はinstalldir/server/etc/client-local.cfgの設定も必要だ。ここに設定したファイルの情報をHobbitクライアントはサーバーに送信する。

file:の末尾に:md5をつけるとMD5値も送信されるようになる。また、ignoreで送信しない行を設定でき、oscarはSyslogサーバーとして動作しており、ルーターである Planex BRL-04FMX からのログも混ざっているため、brl04fmxを含む行は送信しないようにした。[linux]ではLinuxマシンでのデフォルト設定となり、ホスト名での記述がないLinuxマシンはこの設定を使用する。

なお、デフォルトでは/var/log/messagesや/etc/ssh/sshd_config、/etc/vsftpd/vsftpd.confはrootユーザーしか読めないので、権限を変更する必要がある。

# chgrp hobbit /var/log/messages* # chmod g+r /var/log/messages* # chgrp hobbit /etc/ssh/sshd_config # chmod g+r /etc/ssh/sshd_config # chgrp hobbit /etc/vsftpd/vsftpd.conf # chmod g+r /etc/vsftpd/vsftpd.conf

以上で “なにを監視するか” の設定は完了した。次は “どう報告するか” だ。これはinstalldir/server/etc/hobbit-alerts.cfgで設定する。

障害を検知したときの動作は “メールを送信する” か“スクリプトを実行する”かである。ボクは今のところメール告知のみにとどめている。なお、これらはグループというのも設定でき、hobbit-clients.cfgで監視対象をグループ化して「Web系のなにかに問題が発生したら誰々にメール」などとも簡単に設定できる。

ボクの場合、メール告知方法は日常生活に合わせて四通り記述している。平日の朝、平日の20時から24時、土曜日と日曜日の10時から24時は注意も警告も発生次第メールで受け取る。一方、平日の10時から20時は警告のみメールで受け取る。つまり、会社にいるときはやきもきするだけなので、注意は無視して放っておくというわけだ。警告が届いた場合は仕事のほうを放って……（以下略）。また、自然治癒することも十分あり得るので、復旧した場合にも告知するようにRECOVEREDをつけておき、外出中でも「自然治癒した。ほっ」と安心できるようにし、10分以内に回復したものはメールすら送らないようにDURATIONを設定した。さらに、デフォルトでは30分に1回の再告知されるので、これを2時間に1回に変更した。