大規模障害発生(ウチ)で

投稿者: | 2007-05-07

些細なことでウチのネットワークが全滅。
切っ掛けは UPS に接続していたエコワットを外したところ
UPS がダウン。つられて UPS に接続されていたサービス機器が全て
死亡。ここまでだと電源再投入で終了パターンだけどこれで終わらない
から大障害。
まず web から復旧させるべって事で www サーバの電源を投入。
で、投入するも外から見られず。何で?と思いインターフェイスの
状態を確認したところ、no link と無情なメッセージががが。
つー訳でウチのコアスイッチになっている Catalyst を目視したところ
LED が全消灯。電源が落ちている模様って Catalyst だから通電した
段階で電源が入るはずなのに。。。 非常に嫌な悪寒。
Catalyst の電源ケーブルを抜き差ししても変わらず。交換しても
状況変わらず。完全に Catalyst が死んでしまった模様。
復旧優先で機器交換をやるべって事で買ったっきりで放置していた
Catalyst に config を流そうと Poderosa を起動したところ、
シリアルポート接続のメニューが見つからず。
このままじゃ埒があかないって事でルータと作業 PC を直結して
Poderosa のオフィシャルサイトに行ったところ、バージョン 4 から
シリアルポート接続がオプションになったらしくプラグインとして
別途用意されていた。つー訳でシリアルポート接続可能に。
以前保存しておいた config を流し込んでコアスイッチ復活。よっしゃー
これでネットワークが復旧し全体の 6 割が復旧。
後は個別に復旧対応を実施し 21:05 に完全復旧。
障害時間帯は 18:31 – 21:05 でおよそ 2 時間半で対応完了。
一ヶ月半近くブランクがあるわりには、まともな対応だったかと。
にしても何で UPS が落ちたんだべ。バッテリ切れ?

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です