その間、ユーザー数の増加に伴い、PayPayのシステムは不安定な状態に。
サービスを利用できない状態が続いている。
同庁は、AWS障害との関連性も含めて「システムの状況を確認中」としている。
障害サービス• 今回のAWSの障害が原因とみられる。
リージョンとアベイラビリティーゾーンの関係（AWS社のより引用） しかし、インフラエンジニアたちからは違う意見が聞こえてくる。
ミスった DNS 設定値がなぜか EBS 管理サーバの一部だけに反映される• だからと言って、「当社は法的に責任を負う立場にない以上何の対応もいたしません」では、顧客がサービスから離れていくことは間違いないでしょう。 ミクシィが運営するゲーム「モンスターストライク」もサーバの機器障害が発生したとして一時緊急メンテナンスに入っていた。 その影響を受け、多くのスマートフォンアプリが緊急メンテナンスを実施しています。
3Nature Remoは、外出先からスマートフォンでエアコンを操作したり、スマートスピーカーから音声でテレビや照明を操作したりすることができるシステム。
ここで重要なのは、「AWS全体が落ちた」のでもないし、「AWSの東京データセンターが管理するネットワーク全体が落ちた」のではない、という点だ。
現在原因調査中です。
AWSを利用することで、物理サーバーを企業毎に用意する必要がなくなります。
メタデータの読込性能が劣化し、DynamoDB のエラー率増加• 失敗の原因であるプログラマブルロジックコントローラーをリセットすることで、ようやく冷却に成功。 複数のAZを利用する「マルチAZ」構成を組めば、こうした障害への耐性も高まる。
5ほかにも『 アズールレーン』『 プロスピA』『 アナザーエデン』『 モンスターストライク』『 IdentityV 第五人格』といった複数のタイトルが、同様の不具合情報を告知しています。 今回の障害は、各企業のITインフラを見直すきっかけになったのではないでしょうか。
AWSも無敵ではありません。
ステータスダッシュボードは時に嘘をつく• これらのインスタンスとボリュームの復旧には時間がかかり、一部につきましては基盤のハードウェアの障害によりリタイアが必要でした。
ご迷惑をおかけしまして大変申し訳ございません。
今後の対応• 発生した時になってから混乱を招かないように、常日頃からさまざまな障害を仮定した復旧リハーサルが必要です。 サードパーティー製の制御システムにおけるロジックのバグにより、この情報交換が制御システムとデータセンターのデバイス間で過度に発生し、最終的には制御システムが応答しなくなりました。
1東京リージョンには「アベイラビリティーゾーン」（AZ）と呼ばれるデータセンターが4カ所ある。
制御システムのバグでフェイルセール失敗、手動操作も失敗 障害を引き起こしたサーバのオーバーヒートの原因となったのは、データセンターの冷却制御システムにバグがあったためだと説明されています。
主に、取材記事と個人向け解説記事を担当。
どんな構成でどんな問題が起きたのか、実情が見えてきた。
PLC が不具合により発電機に接続できなかった• S3 を再起動• 復旧内容• EBS スナップショットのバグもついでに見つかり、修正する• 制御システムにフェイルオーバーしないバグがあり、機器制御装置も異常動作した。 しかし、一概にそうとは言えないでしょう。 AWSの大規模障害からはちょっとずれるが、筆者が面白い発想だと思った技術をご紹介しておきたい。
10この中で特に障害の影響が大きかったのはEC2で、こちらについては、「制御システムの障害による冷却システムの故障」によりシステムの一部がオーバーヒートしたことによるトラブル、と発表されている。
企業のインフラ担当者は、気が気でなかったでしょう。
data. 大阪リージョンの開設によって、西日本を含む日本の顧客にさらに使い勝手の良いサービスを提供できるようになる」と述べた。
前回データセンターについて調べたことが役に立った• 過去にもいくつか発生しているのと、いつ使っているリージョンで同じ事態が起きてもおかしくないと思い、これを機に過去どのような障害があったのか遡って調べました。
EC2、EBS、RDS など AZ サービスが死亡• IaaS（インフラストラクチャー・アズ・ア・サービス）である仮想マシンサービスの「Amazon EC2」とストレージの「Amazon EBS」、PaaS（プラットフォーム・アズ・ア・サービス）であるリレーショナルデータベース（RDB）サービスの「Amazon RDS」の3つで障害が発生した。
7このときフェイルセーフ機能が発動して最大冷却モードに入るはずが、ごく一部でこれに失敗します。
午前4時26分には室温が通常レベルまで戻ったという。
UPS に切り替わるも電力が不足• こうした手法が採れるのは、小さなサービスの組み合わせでサービス全体を構築している「マイクロサービス」アーキテクチャを使っているためでもある。
障害内容• そのためにはさまざまな方法があります。
こうした仕組みを「カオスエンジニアリング」と呼ぶ。 Amazon Relational Database Service Amazon RDS• EBS クラスタ制御の改善• append CData description item. 手動で発電機に接続、その後電源復旧• ニュース記事• AWSで起きた障害の事例 これまでAWSで起きた大規模障害にはどのようなものがあるでしょうか。 一部ノードがオフラインとなった EBS がミラーリングのために一斉に容量確保を開始、リソース枯渇に陥る• 内部的に DynamoDB を使用している EC2 Auto Scaling、SQS、CloudWatch も連鎖的にエラー率増加• 東京リージョンを利用していた既存顧客も、東京と大阪で冗長化したシステム構成を組むことで災害対策をしやすくなる。
7日本にも、サブスクリプションという契約関係が本格的に浸透しはじめたことにより、「建前で顧客対応、本音は責任回避」に終始しがちだった姿が大きく変わりつつある。 今後の対応• しばらくの間、接続が不安定になる可能性がございます。
物理サーバーは予防処置としてシャットダウン。
IaaSでは47. 落雷のため停電が複数回発生• 2月20日午前4時26分時点で冷却サブシステムの電源が回復し、室温は通常レベルで運用できているが、完全復旧には至っていない。
ハッキング被害に遭いづらいセキュリティ対策と根は同じであり、だからこそ、技術的妥当性の判断できる経営層、もしくは経営層に技術的妥当性を提案できるポジションが必要、ということなのだ。