障害に関する対応についてのお知らせ

こんばんは。2009/12/07に、長時間に渡って Spark project のサーバーに接続出来ない・不安定になるという障害が発生しました。皆様にご迷惑をお掛けしまして申し訳御座いませんでした。先の障害の原因、及びその対策に関しまして、サーバー担当から皆様にお知らせがございます。

今回、また今回に限らず過去の一部の障害においてはMicrosoft社のクローラーからのアクセスに起因しております。以前よりサーバーの処理能力を上回る大量のアクセスがあり、時間単位の接続数制限を実施しておりました。

そして最近になりましてリクエストを処理するコストが高い部分に対し存在しないファイルを呼び出しており、障害の要因となることが判明しました。そのためMicrosoft社からのアクセスは接続数制限ではなく全てのアクセスをファイヤーウォールで破棄する対応に変更させていただきました。

対策内容

65.52.0.0/14 (65.52.0.0 – 65.55.255.255) から
219.94.131.151:80 (www.libspark.org) への全てのパケットを破棄

この対策によって次の問題が発生することが予想されております。

• Microsoft社の検索サービスにて Spark project がインデックスされなくなる
• Microsoft社の各種サービスにて Spark project 内のコンテンツの表示や呼び出しが行えなくなる

パケットを破棄せずに済む方法を模索しましたが、Microsoft社のクローラーは次のような動作をする為に現在のシステム構成では上記対策以外では確実な対策を望めない結論に達しました。

• robots.txtの内容を無視する場合があることが報告されている
• User-Agentにクローラーと識別できる情報が無い場合がある
• 単一のIPアドレスではなく複数のIPアドレスを利用して同時に大量のアクセスがある
• 動的な処理を行う部分に対し、サイト内でどこからもリンクを張られておらず、また一度も存在していないファイルに対しアクセスを行う

大変申し訳御座いませんが、上記理由により当面の間Microsoft社からのアクセスを許可することが出来ません。皆様にはご迷惑をお掛け致しますが、サーバーの安定のために何卒ご理解とご協力をお願い申し上げます。