System Activity Grapher - ギャラリー その2
SAGを使用してシステムの動作状態を取得した例を示します。
これは、とあるメールサーバでメールのループが引き金となり、大量のトラフィックが
発生したことでシステムに過大な負荷がかかってしまった様子をとらえたものです。
- ネットワークトラフィック
- 大量にメールが送信されたため、通常発生し得るピークより一桁多いトラフィックが発生しました。
- ロードアベレージ
- 大量のメール送信プロセスが動作したため、ロードアベレージが10を越えています。
- プロセス起動回数
- ピーク時には一分間あたりのプロセス起動回数が毎分2000回程度まで上昇しています。これはsendmailのプロセスが大量に生成されたためと推測されます。
- メモリ
- プロセスの大量生成により、実メモリ、スワップ共リソースをほとんど使い尽くしました。これは、いわゆる「スラッシング」とよばれる状態です。使用率がほぼ飽和しているため、過負荷でのサーバの動作はメモリの状況により律速されていたものと思われます。
ちなみに、このような状況では、リモートからのログインなどに非常に時間がかかり(最悪の場合は、タイムアウトにより接続できなくなります)、ログインできてもコマンドの実行やシェルのプロンプト表示までに非常に時間がかかるので、事態を収拾させるのはかなり困難です。
- ディスク使用率
- メール送信キューに数千通のメールが滞留したため、使用率が急上昇しました(ディスクがパンクする程ではありませんが)。