ちゃんとした人もいたモンだな。

これはすごい。SREの世界だ。

ツイッターで従業員が7500人から2500人になっても普通に稼働できている理由を元開発者が発信／勉強になります

やるじゃん！

⇒

▶️
オレたちがチューニングしたキャッシュシステムのおかげだぜと元エンジニアは語っているが、そのあたりが自社システムだったのねって方が個人的には驚きです👀

凄いよね。

k8s以前のこの状態で動き続けているのすごいなあ

カッコよすぎる

「ちゃんと設計されていたので」大丈夫でした、ってことだと思う。マンホールマップも「管理者の手を煩わせずに運用できる」ことを目指して作っているので参考になる :

自動化の用語わかんないけど凄いってことは分かった。あと3分の2は別に居なくてもいい人材だったことも理解できた。

φ(ﾟДﾟ )ﾌﾑﾌﾑ…

うーん？

うちを担当してくれてるTwitter社の方はやめずに引き続きサポートしてくれてるよ。運用部隊はレイオフの優先度低かっただけでしょ。

正直、ちゃんとは理解できなかったけど、最初にきっちりシステムを組めばサービスに穴を開けずに済むという話。
…

この人は今回の動きで辞めた人なんだろうか……
こういうインフラの従事者は優遇してほしい。
我々のTwitterのためにっ！！

大規模システムはやっぱり面白いね～

将来考えると、ITの勉強しておいた方が良いかなあ。 外国に出稼ぎに行っても、すぐに仕事見つかるらしいし…。

は❓😧
システムが動き続けるためだけに7500人もの社員が必要だと思えることに驚きます
小生はTwitter社なら
数人の幹部
数十人のエンジニア
数十人の各国営業スタッフ
で切り盛りしていると思ってました(笑)
7500人ものスタッフって
いったい何をしていたのかしら？
検閲❓

「私はどこかにバグが潜んでいると確信しています……」

「ただし、機能しているのは少なくとも今のところだけです。私はどこかにバグが潜んでいると確信しています…」という言葉を残しています。

いや確信しないでもろて😰

しかし、困ったなぁ😥
この話だと、Twitterは機能停止がほぼ確定してそうで....

色々リンクしてるから、Twitterが吹っ飛ぶとなるとちょーっっと困った事になる。。。( ´~｀ ;)

5年間無事故のTwitter信頼性システムを育てたエンジニアの最後の言葉

「ただし、機能しているのは少なくとも今のところだけです。私はどこかにバグが潜んでいると確信しています……」😹

この方が未来のTwitterのために構築したシステムが一助となって今も動いているが、おそらくいま未来のため働いてた人の大半はいなくなったので、Twitterの未来はいくばくかあやしくなってると見る。

すごい！システムをオーケストレーションしているだけでなく、全て耐障害設計を入れた上で自動化している
センターのサイトダウンをしても縮退しないように普段はリソース50%以内に抑えているだって？完璧だよ！
クビになった？vmwareあたりがきっと拾っけくれるよ

過去の遺産のおかげで現状稼働してるけど何かあったらどうなるかわからんということね…。｜

そりゃ携帯電話会社だって3分の2クビになってもとりあえず動かし続けることは出来るのでは。。。
障害起きたら終わるのと、顧客獲得できないから先細りだと思うけど

中身読んでないですが、従業員1/3になったのにユーザー目線で何の不具合もないのすごいですねw

エンジニアの皆が想像している通りやはり今はデータセンターのインフラのメンテだけで凌いでいるのだろう。

やはりこのレベルのインフラ自動化はされてるよなー、流石だなーと思うものの。いやぁ、Mesos かー。んーーー。僕の認識が間違ってたら指摘してほしいんだけど、これも「最早メンテされてないソフト」なんですよね。最大の大口ユーザが Twitter 自身ということもあり得る。

…「ただし、機能しているのは少なくとも今のところだけです。私はどこかにバグが潜んでいると確信しています……」という言葉を残しています。

いずれにせよ、このまま放ったらかし、というわけにはいかないか

自動化に自動化を重ね、パフォーマンスに関する問題に取り組み、よりよくするための技術もテストし、大規模なコスト削減プロジェクトも推進しました。〜中略〜一日中ゲームやマリファナをやりながら給料をもらっていたわけではありません」とコメント。

言いたくもなるわな

Twitterすげー！たまげたよ
専門的なことを言うと、例えばプロセス産業のための分散型制御システム DCS みたいなもんだな‼️🌸

🇱🇷🇯🇵≪

ふわお、つらつらとツイートできてるのはこゆシステム、そいでシステムを構築したエンジニアの方のおかげなのね、感謝。

5年間で1回だけあった大規模傷害って、バルスじゃなかろうか。。。。

read later:

こういう具体的な話がもっと知りたいよね…

「テージョ氏によれば、Twitterには2つのデータセンターがあり、そこでTwitter全体の障害を処理することができるとのこと。基本的にTwitterで実行されるすべての重要なサービスは2つのうち1つのデータセンターで実行できるそうです」・・・Mesos上で動作しているそうな。

まあそういうことや。

工作員とニートがクビになっただけだからね
普通の会社でからすると首が回らなくなると思うよ

全世界規模のサービスがどう運用されているかはずっと気になってますが、巧妙な自動化の一端が垣間見えますね。最後の一言も印象的。

「サーバー障害なんてずっと起きてないんだから保守要員は不要、と言い出す無能経営者」みたいな「もう遅い」系の創作実話、Twitterで散々見てきたけど、まさかイーロン・マスクとTwitter社がその状態になるとはな…。

確かにTwitterの障害は少ない気がしますね。インフラ側の綿密な分散設計、自動化がそれを支えている、とありますが、物理機器は耐用年数ありますし優秀なSREエンジニアも退職になったのなら、その綻びは近いうちに出てくる気もしますね。

トランプ氏潰し一致団結団の妨害なんのその
って不要従業員は何してたん？
趣味の言論封殺のための検閲？

2022.11.24

従業員 7500人→2700人

💥💥💥
ははは、通常会社の従業員が3分の2も居なくなると会社は機能しなくなるが、これらは自分たちが気に入らない者を禁止するのが仕事だったのでしょう、そしてツイッターの利益を取っていたから居なくなってもダウンはしなかった、そして会社の利益も上がった。
（続く

人間が手出しする必要のほとんどないシステムこそ強靭である、という話だと思う(´・ω・｀)｜

( ..)φ→「Twitterは記事作成時点でも問題なく稼働を続けています。大規模な人員削減があってもTwitterというシステムが維持されていた仕組みについて、Twitterのサイト信頼性エンジニア(SRE)を5年間務めていたマシュー・テージョ氏が語っています。」

( ..)φ→「

( ..)φ→【

今回新体制にダントツに攻撃的なギガジン、この元Engが「いつ」働いてたかとか何も明らかにせず丸写し。CDNとして普通に運用しただけにしか見えないが。

段々と良くしていった気持ちも、それでもバクが潜んでいるという気持ちも分かるなぁ

仕事してんなあ

Twitterのインフラは強い

MesosはK8ｓに比べて低調だけぞ、こうしてキャッシュをかんりするには優位性があったのかな。

なるほどねえ。ちゃんと働いている人からの報告でした(^_^)！

はてブコメの「難破船」という秀逸な喩えが今のツイッターに言えるか、今後が答え合わせになる。”「ただし、機能しているのは少なくとも今のところだけです。私はどこかにバグが潜んでいると確信しています」”

これだけのトラフィックあるシステムを人力でどうにかしている訳がないんだから、物理的な問題で動かなくなるとか考えにくいし。
まあそれを開発したテージョ氏が時限爆弾仕込んでいなければ、ですけど。

こういう技術的なことは勉強になる〰︎✍🏻💭

一目いい記事だなこれ。

我々Twitterユーザーからは見えないが、世の中のインフラはそれを維持しようと日々奮闘する「縁の下の力持ち」たちによって支えられている。

イーロン本人も分かっていることだが、決してイーロン１人のお陰でTwitterが動き続けているのではない

Twitterのサーバ運用自動化の一端が垣間見える記事

元ツイッターの信頼性エンジニアが語るつよつよシステム。。。

"修復作業は自動化されていて、人間が保守するのはサーバーの物理的な部品交換のみ"

今まで偏見や工作員だらけだったのだろう

Twitter、従業員に求められる能力が結構高いのな。そりゃ遊んでた奴は切り捨てるわ。

「従業員の2/3」であって「エンジニアの2/3」とは限らんし

最後の一言が不穏だ……やはり1から作り直して移行するような覚悟がないと、誰も仕組みを把握してない不思議な仕組みがいずれ壊れるリスクが…

意味がわかると怖い話やんヤメロ

ですよね…

大量解雇もTwitterがサクサク動く理由👍

よくわからんがとにかくすごいんだろうなぁ、ということだけはわかったような気がする。

3週間で、従業員を7500人→2700人まで減らしても、Twitterが動いていることにはびっくりする。

この記事にあるように、「運用の自動化」が機能しているのだとは思うが、それでもすごい。

今後ほころびが出てくるかもしれないけれども。

こういう話は面白いよ。

インフラエンジニアの鏡みたいな仕事

公開可な情報か?は確認していませんが、内部の技術情報を元とは言えエンジニアが公開するのは逆にセキュリティリスクにつながる場合があります。

🙏エンジニアの方々のお陰で快適にTwitter使わせて貰ってる訳だが。万一ダウンした時に気軽に連絡したり交流できる場所を、予め、他にも用意しておきたい。

当たらなければどうということはない、つまり、バグは顕在化して悪さしなければ無理に直す必要はない、と中の人(元プログラマ)が言ってました。

勉強になった。

Twitterインフラのキャッシュ部分ってMesosなんだ。

従業員の3分の2がクビになっても
Twitterのシステムが
停止せず動き続けた理由を
元Twitterエンジニアが語る

長い文章だが、
分かりやすい話
本当は不要な人員だった。

そんなことだろ。

技術的な専門的知識は全く解らないけど、不具合が生じないよう保守をし続け、システムがきちんと構築されているのはよく解りました。
さすがです。でも、最後の「今のところ」というのが怖いです…。😱

GIGAZINE :

要は仕組み化はそれなりに終わっている状態だから落ちてないよって話。そりゃそうだ。むしろ10何年かかけてこの規模のサービスインフラが誰かに依存していたらおかしい

そもそもTwitterなんて全くと言って良いほど難しい機能が無いし2700人でも多い気がする。

システムなんて、問題が起きるまでは動くものだからねぇ。問題が起きた時の対処がどうなるか。ワールドカップは大丈夫そうだけど(?)、あけおめはどうか。「バルス」は気になるが、再放送はしばらく先かな。

まあ、システムは人力じゃないもの。すぐにはダメにはならんでしょう。
でも、不具合が生じたときにクジラでるようになるかもね。

Twitter終わるとか言っていた人出てきなさい。

Twitter最高！

すごい😆しっかり動き続けるシステムが作られてるんですね

この方のようなエンジニアは本当に大事。

これ、複雑？“サーバーは「ラック」と呼ばれる台に格納されており、さらにスイッチという装置で他のラック上のサーバーと接続され、ルーターを経由して最終的にはインターネットにつながるという複雑な構造”

この人がすごい事だけは分かったけど、人が減って大丈夫な理由ではなかった。

データセンターで稼働しているのね
しかも2箇所で
ヨーロッパとかアジアにはないって事だよね
キャッシュで賄えているって理解でOK?

Twitterの運用ってすごいんだな

TwitterがMesosスタックなのはわりと周知の事実だと思うのでそこまで驚きはなかった。

良い仕組みを作れていたということ。だけど、どこかにバグがひそんでいるはずで止まる可能性があると…そりゃそうでしょうねー。

まだk8sとかじゃなくて、Mesosベースのままっぽいな…
確かに、そんなに簡単にインフラをあちこち動かしてたら安定なんかするわけがない。

ひとりシスアドだ！ひとりシスアドだぞ！

日本人はTwitterを使い続けたかったら、今後はたとえ日テレがラピュタを放送しても「バルス」とかやらない方がいいんじゃないかな。

あるいは、「バルス」を分散させるために垢の最初の一文字がaの人は0秒後、bの人はX秒後…のように感覚をあけて…

従業員の3分の2がクビに

半分解雇しても
Twitter社はまわる
楽して高い給料の座布団すわる
のんびりおサボり
労働者大量雇用しすぎてた

解雇されてない
生き残りはエリートだな
超ブラック企業社会の将軍クラス

そらそうだ。超有能

>“キャパシティ・プランニングを行ったり、サーバーを何台発注すべきかを決定したりとかなり忙しかったです。一日中ゲームや*****をやりながら給料をもらっていたわけではありません”

ほあ…

>“データセンター全体で障害が発生することは非常にまれで、テージョ氏が働いていた5年間で1度しか発生していないそうです。”

災害

>“1つのデータセンターで利用できる容量は災害発生時に対応する目的で…(中略)…要するに通常時はデータセンターの利用率が最大でも50％にとどまる”

これでバルスに対応してるわけか。