普通にやってしまいそうな設定のようで、恐ろしいですね～😱

本当にあったIT怖い話 - AWSの設定ミスで300万円のコスト超過、1日1回だったはずの処理が1分で160万回に - 当事者に聞く反省点

気になる今日のニュース
親ロシアのハッカー集団「KILLNET」、日本政府に宣戦布告 SNSに声明動画を投稿

s3あるあるですね。こーゆーのawsが自動で検知して欲しいところ。
>
本来ならば除外すべきだった変換後のCSVファイルに対してもAWS CloudTrail側でファイル配置を検知し、フラグを立てるという動作を行ってしまった。

これは怖い話ですな。

こわやこわや

ITでのミスじゃないけど1000万以上溶かしてもクビになってない私みたいな人もいるからね。反省はいるけど。→

新しいことは平日前半にやらなきゃ・・・

S3にファイル生成でLambda発火する設定→Lambdaでデータ処理してS3にCSV保存、で無限ループ。あるある構成で怖い。運悪くゴールデンウィーク前で確認漏れ。怖い・・・

LambdaとS3組み合わせたパターンの無限ループというあるあるな例ではあるけど決して他人事ではないよなぁ…明日は我が身

無限ループ無限課金あるある

LinuC Pickup
設定ミスで原因で大きな請求が発生したというお話。当事者が振り返ってくれた記事です。

これはほんとに怖い話

わぁ。

本当にあったIT怖い話 -

AWSの設定ミスで300万円のコスト超過、
1日1回だったはずの処理が1分で160万回に
- 当事者に聞く反省点（1/3 ページ）

AWSの設定ミスで300万 そうそう、こういう事が起こりえるからできれば使いたくないんだよな。

LACWATCH、「AWS Lambdaで300万円以上課金されてしまった怖い話」が でも紹介されました。IT業界にある「本当にあった怖い話」を体験したラック担当者がインシデントの詳細と得た教訓、再発防止の取り組みについてお話します。

あちゃー

この手の情報は有難いですね。
自社の失敗を公にすることで、他者に教訓や知識を共有しようという姿勢はすばらしいと思います。

個人でこれをやってしまったら辛くて泣ける。課金制限やアラームをしっかり理解しておかないといけないな。

ｿﾞｿﾞｿﾞ……

ミスは起こることを前提に、素早く気付き、対応する仕組み作りを

エンジニアに限らずですが、仕組み作りは不可欠ですよね。

良い会社だわ
休暇前にやるな、という考え方もあるけどちょっと時間回したい時もあるしなぁ

GW休暇直前に、検証環境とは言え、課金する処理を試したままにするなよ^_^ うちは全停止運用してるな。
あと、CloudwatchでLambdaの課金アラートを仕掛けて置かないと…

検証環境かー。→

NowBrowsing:

やはり、最大にして最も大きなリスクは人間、なのですね…開発環境ならでは、という部分もありますが、うーむ………。

天井のないガチャも悪、って話だよな(違

S3の更新からlambdaを起動してファイルを処理してS3に置くというフローで再起が発生すると1日で100万円以上使えるらしい。休みの前にそういう設定をしてはいけないという教訓は健在である。

怖い・・・。

どうして見栄を張ってAWSを使うのか全く理解できない。さくらVPSで3ヶ月無停止でCPU使用率100%の解析処理を回してるけど月額1000円未満だよ。

ITエンジニアが高給な理由。医師と同様に少しのミスが大火傷。
がっちゃ〜ん、話したかった〜🤣。サロンなんて簡単じゃないよ。

EventBridgeルール考慮不足で、S3オブジェクト検知を無限ループに陥って、余計に秒間160万余計にinvokeされ、Lambdaコストがかかった事例

明日は我が身シリーズ😳

この手のミスはどうしたって起きますからね…

、空ロコかよわ

こういうの見るとサーバレスって本当にいいことなのかと考えさせられるねえ

これは怖いな。。。

2022. 9. 9

こわい。

無限ループというか再起処理(技術用語で言う「ポジティブフィードバック」)ですが、自習環境のミスはありがちなので使用停止機能が欲しいところ

再帰トリガー。
ロジックや設定でなんとかしようとするのは怖いから、S3バケットのインプット、アウトプットを私は分けてます。

クラウド破産

夏の終わりのホラー。

▷Amazon EventBridgeのルール設定に考慮漏れ。除外すべきCSVファイルに対してもAWS CloudTrail側でファイル配置を検知し、フラグを立てた

コスト異常のアラート通知してれば対象はすぐ割れるよね。

朝から胃が痛くなりつつ😭
個人開発だとクラウドはウォッチやアラート設定も自分でやらなきゃですし、自戒としたい

lambdaかな？（lambdaだった）

AIくんが眼鏡クイクイさせながら「あはー、それだと死んじゃうねぇ」っていけ好かないけど助けてくれる世界を待つ

まじでおそろしや。
そしてこのミスを記事にする胆力が転んでもただでは起きない精神は大したもんだ。

寝る前に怖い話を開いてしまった:(´◦ω◦｀):ｶﾞｸﾌﾞﾙ

怖い話

インフラわからんすぎる

AWSのクラウド課金には注意せよ❕

.

講演依頼はわたくしまで。

ひぇーーー！！でも記事を読むと、しっかり対策を練って運用してた（当社比）うえでの事故だなぁ………うわぁ……自動で料金停める機能ないっけ…

暴走ガードは実装しないのよね。こういうとこはレンタルビデオのビジネスモデル的なのを感じざるを得ないのよ・・

＞ミスは起こることを前提に、素早く気付き、対応する仕組み作りを

これはリスクマネジメントとして当たり前です。

ミスを防ぐ予防的統制の構築が今でも主ではあるのだけど、結局内部統制の運用自体が人間が行う（...

確かに怖い、怖すぎる…
===

「未熟なメンバーであってもそれを守れる仕組みを整え、やりたいことがやれるよう、ひいてはクライアントのためになるエンジニアを育てていきたい」

やらかしかけたことあるから、読むと胸がキュッってなる

こっわ。

NowBrowsing:

こういう処理のテストは土日とかGWの前には絶対にやらないこと。私は設定後に営業日が必ず１日以上ないとやらないことにしている。

バカはAWS使うなってことだよ

(｡･ω･｡)ﾉ

こわい

[タレ]スラドに聞け！クラウドサービスの設定ミスでコスト超過はある？
AWSやAzureなどのクラウドサービスを使うことが当たり前になっているが、設定をしくじり請求がとんでもない金額になっているという。
ラック社では過去にエンジニアが自由に試せ

これは怖いよねえ…

160万req/minか。なるほど？？ …

ミスは起きる事を前提に
気をつけよう

なんでLambdaのS3トリガ使わずにCloudTrailを使っているのかが気になっちゃった（デフォルトだとデータイベントの記録はされないし、有効にするとオブジェクトの数によってはCloudTrailのコストも跳ねあがっちゃうし）

自分もワークフローが想定外の動きをして大量のリクエストが発生、でもお試しの上限ありだったため助かりました。

こええ
ちょうど触ってる

"AWS CloudTrailを用いてAPIの実行回数を把握・可視化し、想定外の何かがぐるぐる回っているような事態が起きた場合には通知する仕組みを入れた"

厳密にはミスではなく仕様通りの動きだから、機械的なミス検出は難しそう。今回は罰は無いようだけど、300万じゃなく3000万だったらどうだったのかな。

AWSの設定ミスで300万円のコスト超過、1日1回だったはずの処理が1分で160万回に 当事者に聞く反省点

登場人物全員メガネ

aws側が予算使い切ったら止めるような仕組みになってないのはえげつないね。クラウドだ自動化だといいつついざというときにはアラートを人力で検知して止めるしかないというのは誤課金狙いだとしか思えん。

「このロジックを試したのがゴールデンウイーク直前の4月28日だったことだ。谷間の平日も含めて、休んでいるメンバーが大多数という状況だった」

最悪のケースを想定して、リソースぶん回す系のバッチや非同期処理は、自分がトレースできない時には流さないようにしてるわ。

いい笑顔

"状況をさらに悪くさせたのは、このロジックを試したのがゴールデンウイーク直前の4月28日だったことだ。「谷間の平日も含めて、休んでいるメンバ…"

ヨシ！すら無かった…

バックアップデータがあると思って安心していたのに、いざ障害時に取得できていなかったことが発覚したり、ネットワークアクセスの制限を強化しよ…

動作確認しないでデプロイしたの？

クラウド従量課金の恐ろしさ。最近この手の話をよく見掛ける気がする。

なるほど、このネタを使い回すことで少しでも回収しようという商魂か。たくましいと思います！

怖すぎる。

1分に160万回以上実行できるLambdaも相当すごい。予算アラートをSlackに通知するとしてもリアルタイムではないのでここまで急激な予算消化だと気づいた時には手遅れだろうなあ

ラックでクラウド破産www 笑えるけど笑えない話。今これやると数年前よりもお財布に大ダメージw 個人の環境だと高い勉強代なのでまじで気をつけろ

(´⊙ω⊙｀)

勇気ある記事

AWSの乗っ取りとかこういうのあるから怖くて手が出せない…

これは自分も類似障害を食らったことがある。本当に怖い従量課金制度、、、。 |

コワイ

よくある系だな
物理層の異なる計画的なＢＫをナメんなとww
あれは簡易複製、簡易戻しの延長と思っている

これはほん怖だった。。。
便利な分慎重にやらないとダメですね

普通にやりそうで恐ろしい😱

ガチホラー

毎分160万アクセスなんてやったら普通はFWがDoSアタックと認識しそうだが

ホラー過ぎる。これだから触りなく無くなるんだよな。