ファーストサーバー(Yahoo Japan系)で大規模障害

ファーストサーバーで大規模障害

壮大にやらかしたみたいですが、原因はけっこう早くから分かったみたいで

弊社メンテナンス作業において用いる特定の管理プログラムにバグがあり、お客様データが消失したことが判明いたしました。

なんだそうな
バックアップする方向を間違えたのか、はたまた社員に爆弾を仕込まれたのか
サイボウズとかアプリケーション系も提供していたから、被害は大きいのかもしれない


【追記】
大規模障害の概要と原因について(中間報告)


脆弱性対策のパッチ当てが原因で、バックアップ消失については
バックアップといっても、同じ環境のコールド(ホット)スタンバイが用意されていて、そこへも同時にパッチ宛を行ったため、バックアップを含めて削除されてしまったらしい

(以前に、スタンバイ機へ切り替えたときに、セキュリティパッチが当たっていなかったのが問題になった経緯から)



ハード障害時に停止時間を少なくするためのスタンバイ機をバックアップとしていたのが、裏目に出た形だが、オフラインのバックアップが存在しなかったのは痛かった
ハードは故障する前提で RAIDやストライピングが浸透した事で、ハード障害よりも人為的ミスの方が可能性高いのかも