【重要】 サーバー障害(アイル)によるお詫び、復旧のお知らせ

10月23日(土)午前5時頃より、サーバー障害が発生しホームページの閲覧およびショッピング機能がご利用できない状態となっておりました。多くのお客様にご迷惑をおかけしましたこと心よりお詫び申し上げます。

 

その影響で 10月18日(月)午後6時55分~10月23日(土)午前5時まで の間に 「新規会員登録」 を頂きましたお客様のデータがサーバー会社「アイル」によりデータファイルを破損されてしまったため復旧が不可能となりました。大変お手数およびご迷惑をおかけ致しますが、この期間( 10/18~10/23 )に 「新規会員登録」 頂いたお客様におきましては、再度ご登録頂けましたら幸いです。

 

なお、現在は別会社のサーバー稼働試験を繰り返し、正常に稼働することができるようになりました。
この度は本当にご心配およびご迷惑をおかけしましたことを、心よりお詫び申し上げます。

 

矢島酒店としては、大変ご迷惑をおかけしました大切なお客様へ説明する責任がございます。以下文章は「アイル」よりデータ復旧を断念するにあたり当店宛てに送信されましたメールです。

 

矢島酒店 矢島幹也

  

 

 

20101027

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

      10月23日発生の「MySQL(InnoDB)」障害に関するご報告

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

 

お客さま各位

 

 

拝啓 平素は格別のお引き立てを賜り、厚くお礼申し上げます。

 

 

弊社が提供するホスティングブランド「アイル」の共用サーバーサービス

InfinitoPLUS におきまして、平成22年10月23日4時20分頃より、

2台のMySQLサーバーに対してInnoDBMySQLデータベースにて利用される

ストレージエンジンのひとつ)の共有テーブルスペース拡張作業を行いました

ところ、MySQLサーバー(1台)のバックアップデータが破損していることが

判明いたしました。

 

このため、本データベースサーバーにデータを収容されているお客さまには、

長時間にわたりMySQL5データベースへのアクセス不可、InnoDBを利用した

サービスの停止など、多大なご迷惑をおかけいたしまして、衷心より

お詫び申し上げます。

 

本障害発生以降、弊社ではデータの復旧に向けて全力で取り組んで

まいりましたが、データの復旧が難しいと判断せざるをえない状況に立ち至りました。

このため、本サービス障害のこれまでの経緯につきましてご報告

申し上げますとともに、現段階でのお客さまへのご対応につきまして

ご案内申し上げます。

 

お客さまにおかれましては、事情をご理解のうえ格段のご配慮を賜りますよう

改めてお詫びかたがたお願い申し上げます。

 

 

■概要

 

MySQL機能が高負荷な状態に陥ったため、平成22年10月23日4時20分頃より

MySQLサーバー2台の緊急メンテナンスを実施し、InnoDBの共有テーブルスペースの

拡張を行いましたが、お客さまのデータが収容されているMySQL5データベースサーバー

(1台)のバックアップファイルが破損していることが判明いたしました。

 

 

■障害原因

 

原因につきましては、本サービスの開発元に調査を依頼しております。

 

 

■復旧について

 

本障害発生以降、弊社ではデータの復旧に向けて全力で取り組んでまいりましたが、

データの復旧が難しいと判断せざるをえない状況に立ち至りました。誠に申し訳ありません。

 

 

■お客さまへのご対応について

 

・本サービス障害においてお客さまにご迷惑をおかけしたことに対する補償に

 関しましては、 弊社サービス約款「InfinitoPLUSサービス利用約款」に基づいて

 対応させていただきます。

・セルフバックアップのデータをお持ちのお客さまにつきましては、弊社より

 復旧方法を ご案内させていただきます。

・本件に関するご不明な点につきましては、お手数をお掛けいたしますが、

 問合せフォーム

 

 

■経緯報告

 

平成22年10月23日

 

04時20分 MySQLサーバーに対して緊急メンテナンスを開始。

04時40分 MySQLサーバーの緊急メンテナンスを完了。

11時45分 MySQLサーバーの障害を検知。

11時50分 復旧作業開始。

 

12時36分 緊急メンテナンスで設定変更を行った内容の一部を

       メンテナンス前の状態に修正を行うが、復旧に至らないため、

       継続して調査を実施。

 

15時15分 バックアップデータからのリストアを試みたが、リストアで

       エラーが発生する状況のため、共同で開発を行っている開発元へ

       エスカレーションを行う。弊社側でも調査を継続。

 

17時14分 開発元より、システム管理ツールからのファイルシステム毎の

       リストアが行えないためコマンドラインよりリストアを行う旨の連絡が入る。

 

23時19分 開発元より、ファイルシステム毎のリストアが不可能なため、

       ファイルシステム内のデータのリストア作業を行う旨の連絡が入る。

 

平成22年10月24日

 

03時08分 開発元より、バックアップデータそのものが破損しており、リストア及び

       データの復旧が厳しい状況である旨の報告あり。引き続き調査を実施。

 

08時58分 開発元より、一部のデータの復元完了の報告あり。

09時30分 復元データを受け取り、データの解析を開始。

11時40分 必要なデータが確認できなかったため、調査を継続。

12時35分 弊社側にて代替のサーバー設定を開始。

16時23分 代替サーバーの設定完了。代替サーバー内の構築作業を開始。

18時34分 代替サーバー内の構築作業完了。動作チェックなどの各種検証作業を開始。

 

22時10分 代替サーバーの検証作業完了。データサルベージについては、

       開発元にて調査を継続。

       

平成22年10月25日

 

06時30分 開発元へデータサルベージについて進捗確認を行うが、完了していない

       旨の報告あり。弊社側でも調査を継続。

 

13時57分 弊社にて、データベースファイルと定義ファイルの不整合を解消する為の

       作業を実施するが、復旧に至らず。

 

16時40分 開発元よりデータサルベージ完了の報告あり。

19時00分 開発元よりサルベージしたデータの受け取りを完了。データをサーバーへ

       乗せ変える準備を開始。

 

20時30分 データのアップロードを行い、MySQLサーバーの再起動を実施するも、

       データが破損しているとのエラーが出力され復旧に至らず。 

       弊社にて引き続き対応を検討。

 

22時00分 実環境と同じサーバーの検証サーバーの構築を行い、サルベージされた

       データの復旧を行う方針を決定。作業準備に取り掛かる。

 

平成22年10月26日

 

01時20分 検証サーバーの構築を完了。様々なInnoDBの復旧オプションを利用して

       データの復旧作業を開始。

 

07時40分 データの復旧作業を行うも、トライアンドエラーを繰り返しているとの

       状況報告。作業を継続。

 

11時00分 セルフバックアップから他サーバーへのデータ復旧方法の調査を開始。

11時10分 他のMySQLサーバーのInnoDBの動作状況確認作業を開始。

 

12時00分 開発元へバックアップイメージと復旧用のハードウェアを引渡し、

       バックアップからの復旧が不可能であったイメージファイルの徹底的な

       復旧作業を指示。

 

16時00分 セルフバックアップから他サーバーへのデータ復旧が可能である事を確認。

 

17時00分 他のMySQLサーバーのInnoDBテーブルにてSQLが発行出来ないテーブルが

       ある事を確認。該当データベースの削除依頼をお客さまへ発行。

 

18時00分 部分的にSQLダンプを出力できるようにサルベージされたデータに対し

       復旧作業を継続。

 

 

 

本サービス障害のこれまでの経緯に関しまして、以上ご報告申し上げます。

お客さまに多大なるご迷惑をおかけしましたことにつきまして、

改めて深くお詫び申し上げます。

 

 

 

                              敬具

 

 

             GMOホスティング&セキュリティ株式会社

                          代表取締役社長

                             青山 満