さん大丈夫かなあ…
auユーザー大丈夫？ 人のミスなのか、なんなのか…
通信障害 復旧 なぜ？
原因は コアルーターか？
20220703

ポケモンみたいな名前 w

トラヒックなんや

トランザクションデータとマスターデータの整合性合わなくなったのかな。位置情報が壊れて音声通話も繋げられない、と。

あかんトラヒックで草生える

第一報でのなんらかのエラーって言うのはコアルータのファームウェア問題による影響なのか、ルーティングテーブルの設定問題なのか気になるところだね。

よくよく読むと作業計画での検討不足なのかな。
切り替えして動作確認してNGだったので、切り戻しする。
…いや無理か、リクエスト不通、というパターンの場合にその後ユーザーからのリクエストが輻輳するところまではちょっと検討しきれんわな。

分かりやすい記事だった

こんな風にちゃんと対応できる人を引責辞任させるんじゃなく、大変な状況で対応したことを労い、再発防止に取り組んでもらえるようにして欲しい

正直、記者会見でまともな質問してたの日経BPの記者だけだった
案の定他社の記事はわけんからん

こちらの記事の方がいいと思う

KDDI社の会見の一部ですが、なかなかの中身の濃さです。
技術面も深掘りしているところ、私も勉強していきたいと思います。

多重障害やな

閲覧中。 -

＂通信障害のきっかけとなったのは、メンテナンスの一環としてモバイルコア網と全国各地の中継網をつなぐコアルーターのうち、1拠点で旧製品から新製品へ交換する作業。＂

KDDIのコアルータは、どこ製かな？

胸が痛い

こう言うの聞くと…胃、胃が痛えな…

「通信障害のきっかけとなったのは、メンテナンスの一環としてモバイルコア網と全国各地の中継網をつなぐコアルーターのうち、1拠点で旧製品から新製品へ交換する作業」

この前のCloudflareといい、ルーティング関連は大きな障害に繋がりやすくて怖いね………
現場のプレッシャーエグそう

機器更新に伴う経路変更でやらかしたか……

KDDI高橋社長が通信障害を陳謝
原因はコアルーター交換時の不具合とアクセス集中

去年のドコモの障害に似ているなあ……あれもルーター周りだったし。

なるほど、そーゆ―ことだったのか。（←ホントはよくわかっていない）

KDDI通信障害 3915万回線に影響
楽天モバイル改悪によりpovoの人気上昇している中でのこれは乗り換えに足かせか🤔早く復旧して欲しいですね。
《先週の終値 ¥4,313》

メモ＞要約すると、①メンテナンスのためコアルーターを交換。これに伴い通信トラフィックのルート変更を実施。②作業中、音声通信の一部に不通発生。③音声トラフィックの切戻しを行ったが、再接続要求が多発してアクセス集中、輻輳発生。④負荷低減のため流量制御を実施

コアルーターの切替は超重要案件。切替前の検証と、障害発生を見越したリスクマネジメントが何処まで出来ていたのか。報告を見る限り、抑えていなかった疑いが。

これで「障害原因は設備故障」と発表するのは、誤魔化しと言われてもしかたないと思うな (既存機器が触らずに壊れるハードウェア障害とはわけが違う)

KDDIの通信障害の経過が次第に明らかに。
この記事通りなら交換機故障ではなく、VoLTEの仕掛け、統計多重のトラフィック制御の心得を知らないベンダーの事前検証不足と、全体概要を知らぬままにGoを出したKDDI両者による人的ミスなのでは。

はい。

専門的な事は何も知らないのだが、原因は分かったとして、位置情報接続要求の仕様が同じなら再発ありうるんじゃないの？

ハゲタカ M&Aの手口
腐ったこの日本を買い叩く！！！

テロの脅迫と揺さぶり恐喝の仕込みは完璧だ😎

もし、会見通りならズブの素人が何も考えず設定したことになる不可思議な話。NEが、音声ネットワークにおいて、VoIP、VoLTEの設定を間違えるなどあり得ないレベルの工作。

「通信トラフィックのルート変更を実施している際に「VoLTE交換機でアラームが発生した」（高橋社長）」

運用保守業務の難しさよ
輻輳に対する防衛システム、高レジリエンスなシステムを作る
という様な再発防止策になるのかね
これ、できてる事業者は他に居るんかね
KDDIは全体的にめちゃめちゃ優秀な感じがしたけど

切り戻し後のリトライで詰まったということは、再発防止策としては詰まらないように増設するとかになりそうだけどコスト的にいけるのかな。あるいは音声を優先するとか他のキャリアにお願いするとかかな。

KDDIのやつ、純粋な物理障害が長引いてるだけかと思ってたらこんなやべーことになってたんか... そら復旧もすぐにはできんわ...

「機器を交換したら、何らかの不具合で別の機器がアラームが発生した」「切り戻しても通信断による再接続が多すぎてDB処理が追い付かない」……ネットワーク障害あるあるすぎてつらい。

KDDIの通信障害、原因はコアルーター交換時の不具合って事らしい。作業者はエスカレーションする時とんでもない心理状態だったろうなぁ…

コメント面白いな
iOS と Androidの違いとか

当初の「VoLTEのトラヒックが輻輳した」という説明だけだと大規模な通信障害になった理由が今一つ判らなかったのですが、再接続要求のトラヒックが輻輳して、加入者DB不一致が発生しちゃったのか……

なるほど、定期的に位置情報を更新してると、こういうトラブルの時の影響がデカい、ということかな。

わかった気になれた解説 →

IP網ってほんと管理たいへん。フォールバックで回線交換使いたいところだけど、5GはVoLTE以外の音声規格なかった気がする。うろ覚えだけど。

金子さんの名前、久しぶりにみた。

KDDIの会見見た。これ凄いわ。
・謝罪
・事象の概要の説明（事実確認）
・事象による影響の説明
・事象の原因説明
・一次処置対応状況を時系列で説明
・再発防止策（恒久処置）は現在検討中
・再度謝罪
これを社長が端的に説明。技術畑出身かな。信頼度爆上がりした。

「午前1時50分に（略）切り戻しを実施したが、『VoLTEでは通信が発生していなくても約50分に1回位置登録が発生する』ことから、切り戻し後に再接続要求が多発するなどして『少なくとも通常の2倍以上』のアクセスが集中」

すごい！→

なるほど…機器交換後の切り戻しでか…
一番気をつけないとならんやつ
原因は分かったとして再発防止策を早急に確定して本当に二度と起きないようにしないとね
あとは24時間以上障害継続だから補償だな

何らかの不具合って
一体何なんだろ‥

そこが1番肝心なのでは?

ひぃ……現場を想像すると本当にこわい。今のところ一番わかりやすい説明。

一拠点のルーターの問題が全国に波及して一日以上止まるというのは、ちょっと脆弱では無いか。

"「VoLTEでは通信が発生していなくても約50分に1回位置登録が発生する」"

どうなってるんだ素人おじさん派遣とかマジくそすぎる
こんな素人向け資料とか作らされてかわいそうに

しかも、素人向けに作業ミス部分は設備障害とぼかしてるしな😓

冗長化してある装置の1系統切離・メンテナンス中に障害→切戻まではままある話だが、それで輻輳してまうのは厳しいな…仕様からすると切戻時に高確率で同じ障害が起きる? もしそうだとすると性能設計の問題だね

朝繋がらないの、これだったのか。

・ルータ変えたら音声通信に影響出た。
・切り戻したら、輻輳した。

これそれぞれ別問題？

ルータはＯＳかコンフィグか？
切り戻し失敗はなんだろう？Ａｒｐ的な話？配送失敗？

連鎖的にDBまで共倒れしてる多重障害。
偏りに発生時の通信量の見積もりが低かった？

自然災害時もAndroidは音声とデータの両方が死ぬ可能性があるのだろうか。

子供の世話しながら片手間で見てたからよく分かってなかったけれど、全国中継網のコアルーターのリプレースのための作業として一部ルート変更をやってたら、そのルートの通信断発生ということだったのか。コアルーターが全部死んだわけじゃないのだろうなあ。

原因はコアルーターの切り替え障害の切り戻しミスとの事。

50分毎にユーザーの位置情報をDB更新しているのに旧データで切り戻ししたとは、インフラ屋さんとしては驚き😳
（基本想定内の範疇なのに切り戻し手順のチェックが...）

説明を見ると一旦輻輳が発生するともはや収拾がつかないように見えるな。

詳しく書かれてた

トラヒックとトラフィックの使われ方の違いに気がとられて内容が頭に入ってきません。

auの契約回線、約6200万回線の内影響を受けたのが約3900万回線、
auユーザーの約63％が影響を受けた結果になった今回の回線障害、
原因は些細な事とは言え日本では過去に例のない事態だな…

やっぱり人災だったわ。

>通信障害のきっかけとなったのは、メンテナンスの一環としてモバイルコア網と全国各地の中継網をつなぐコアルーターのうち、1拠点で旧製品から新製品へ交換する作業。
運用してた機器の故障かと何となく思ってたけど、違ったんだ。

やけに復旧に時間がかかったと思ったら輻輳の影響か、データの不整合まで発生していたとのこと。
最近はサービス停止時の復旧作業は結構複雑なのかな…

(｡･ω･｡)ﾉ

詳細はまた記事が出ると思いますので、待ちですかね。

とりあえず、スライドの写真はここに有りました


誰も倒れることなく復旧することを祈ります。

加入者のDBが不一致…？
じゃあ、私のデータが他の人に見えてるかもだし、私がさっきかけた電話も、家族じゃなくて別の人にかかってた…？

原因は、このへん とか、このへん の記事とかどうぞ。

あれこれ言ってるけど、結局は部品交換に失敗したって事？

やっと理解できた

根本的にキャパシティプランニング間違ってたんだろうな。徐々に加入者が増えてく分には問題ないけど一斉にコケたらもう自力で立ち上がれない。だいぶ昔にskypeが網障害の一斉リトライで身動き取れなくなったのと同じ

昨日プレゼン前にお客様と電話繋がらんかった時は若干焦ったが、理屈はこういうことなんね

社会はいつも誰かの仕事の上で成り立っているわけで…復旧にあたる方には感謝と、問題についてのフォローとケアを望む次第(˘ω˘)

稼働中のシステムで、コアルーターの交換を行い、それがVoLTE交換機の輻輳に繋がった。慌てて切り戻しを試みたが、15分ほど経過するうちに加入者DBの輻輳をも招く事態となり、VoLTEの流入制限をかけて輻輳が収まるのを待つしかなかった。ということだろうか。

あちゃ〜、交換作業ですかぁ...。
甘い考えやけど、変えてみないと分からんこともあるよねぇ。ヒューマンエラーじゃなさそうやし。

今日のKDDI会見で、障害内容の説明。
コアルータ交換作業中にVoLTE交換機でエラー発生とか不運と言えば不運といえば不運ですが、それも含めた交換手順に仕上がっていたか、がポイントでしょうかね。
社長も取締役も正しく受け答えされていたようで流石というべき。

よく分からん。正式な報告待ちかな。
何で位置情報の再登録が2倍になったのか？また、輻輳のせいでDBにアクセスできなかったって事なのかな？

ルーターって名前がついてるけど、授業で習ったものとは違うのかなぁ。。

流石のわかりやすい記事

外部からの攻撃ではないようで、それは良かったです。

携帯の障害はサイバー攻撃ではなく、ルーター交換故障で情報の輻輳が原因。外部からのアタックでなかったのは何よりです。エラー情報とDB矛の盾増加の悪循環。止めらないシステムが壊れないように機能し続けられるように維持するメインテナンスは大変です。

とてもわかりやすい

「VoLTEでは通信が発生していなくても約50分に1回位置登録が発生する」

ひょえー

やべ物理層の知識あんまないからか読んでもぜんぜん原因がよくわからんかったｗｗ

新旧コアルータ交換がきっかけ。ルート変更あるいは切り戻し時にVoLTE交換機、加入者DBで輻輳が発生したと。

まぁ以下の記事みる限り、そのへんも考慮しているっぽいね。

併せて高橋社長は「個人・法人への補償についても検討していく」とコメントした。

小規模トラブルが呼び水になって大規模トラブルを誘発したようですね。これは対応がしんどそうです。中の人たちには素直にお疲れ様でしたといいたいです。

au障害、週末の深夜に叩き起こされて土曜日の夜まで寝ずに復旧に当たっている保守員がいるはず。
障害の復旧が見通し立たない中で「復旧予定を報告しろ」とか各方面から圧力を掛けられていそうな、緊迫した現場を想像すると、それだけで胃が痛くなる。

コアルーターを交換した時にどうして不具合が発生したのかや、切り戻し後に輻輳が発生した原因はまだわかってないのかなと思ったんですが、それらが原因で「全国のネットワーク」に障害が出る、という部分が理解できないんですよね。それもまだわかってないんですかね…

加入者データベースで不一致が発生？🤔

位置データ更新で⁇
🤔
……テスト環境とかないのか？
本ちゃん導入前に…

やっぱりやらかした系か

会見記事出ましたね

"VoLTEでは通信が発生していなくても約50分に1回位置登録が発生する"／去年のドコモは位置登録が通ってる端末はAndroidでもデータ通信は使えたのに、auのAndoroidは駄目になったのはなんでだろう。

事前に予想していた原因に近かったな。休みなしで対応されている方々、陰ながら応援しています。。

> 音声トラフィックがルート変更されず、通信断が発生

あ〜…

auの通信障害の原因について詳しく報じていると思われる

「ルーターのところで何らかの不具合が起き」

「切り戻し後に再接続要求が多発」

ルーターの不具合も気になるけど、その後の切り戻し作業がトドメになったので、システムか作業手順に問題があったということかな

どうでもよい話だが、去年のドコモ写真とくらべると、誠さんが特にくろぐろふさふさだな…

よく分かったモーン！(スポーン！)

自分が作業者だったらと考えたら首が寒くなる…KDDIの中の人頑張って…

やっぱりHWだよなぁ、故障ではなかったけど、設定漏れで入れ替えたルータに負荷分散できてなかったみたいな感じか？

本番のNW機器の入れ替えはテストしづらいから怖いっすよね

発端は違えどその後の様子は去年のドコモの障害と似てるなぁ。

今回のauの件以前のdocomoの件とほぼ同じみたいです
通常のメンテナンス作業で不具合が発生して回復時一斉に端末から位置信号が送られてきてパンクってことらしいです
あえて通信制限して回復作業中みたいです
会見とD社の時の分かりやすい動画です