小規模ではよくある過学習の悲劇、、、複数モデルを切り替えるようなオブザーバー(人間でもいいけど)が必要だね、、、

LTCMの破綻と原因は同じだね

AIの失敗というよりは意思決定の失敗だなぁ

こういうAI使った失敗例を学習したAIが欲しいところ

記事に一貫性が無い

社会、物理世界と違って、支配則が頻繁に変わるもんなあ。DSは難しい...

モデルが対応できる範囲の限界がそういう理由なのか

AIビジネスのアンチパターンが記事になるのは、なかなか珍しいのではないでしょうか。
AIは過去の傾向に基づいて未来を予測するので、未曾有のコロナ禍にうまく対応できなかったようです。
いわゆる、「ブラックスワン現象」ですね。

Zillow Offers。「競争入札のマージンを求めるビジネスでは取引量を追求すればするほど、損失を得やすくなる」っていう伝統的な「勝者の呪い」の構造だからAI経営がどうとかいう話ではないし、ブラックスワンでも何でもない。
これでMLOpsがどうとかっていうのは的外れ

どっちかというと「2. AIを意思決定に使うなら、事業KPIを正しく持つことが大事」が問題なような
>

AI推進のポジショントークをする人は、データドリフトやらモデル精度監視のシステムがあったら防げた、とか言ってるけど、まずAIだろうが預言者だろうが正確な未来予測はそもそも無理って話なだけな気もする

買取り実績がレビュー対象だとスタッフは高すぎるとか嗜好変化してるとか気づいても止めにくいだろうなぁ／

これおもろいな。

Zillowの不動産価格予想AI "Zestimate" の失敗事例なんだけど、AIの限界とかそういう以前に「時が移り変わればかつて有用だったモデルも役に立たなくなる」「故に適切な改善サイクルの維持が必要」という、自分が2017年に登壇した時に指摘した話そのまんまの事態だなと思った

"例えば、｢都会からより郊外に｣｢狭いアパートより広い田舎の一軒家を好む｣ような人が急激に増えることは、全て想定外の｢ブラックスワン現象｣だったのです。"

良記事だった。

AIの推論がうまくいかないケースに対するバックアップ施策の重要性について述べられている部分が特に良かった

AIの予測が狂った以外の要素が大きそうではあるけど、なかなか興味深い事例。

急激な市場変化にAIは対応できない。日々情報を更新しなければ、市場に飲み込まれる。

>AIはナマモノである
ナマモノ食わせたらナマモノが出来上がる

これは近年でも機械学習応用において歴史に残るアンチパターンだなこれは... “「AIに対する正しい期待値」と、「どんな意思決定に使いたいのか」を明確にしながら実装をしていくことが大事” 損切りできたのは偉い

「AIモデルの精度はナマモノである」
「AIを意思決定に使うなら、事業KPIを正しく持つことが大事」

AIも一つの（強力な）ツールではあるけど、何も考えずに使える万能なものではない、ということか。

AI（深層学習）が行うのは既存パラメーターからの推論であり、急激な環境変化を予測できるものではないということ。
環境変化を加味したチューニングは人がやるべきなのか、それとも経済ニュースなどのポジティブ/ネガティブ情報などを加味したモデルにするべきなのか。

これは日本でもぽろぽろ起きるだろうなあ。十分なフォワードテストをスタートアップの時間軸でやるのは現実的に無理。

企業与信の自動化に関わってた身からすると気が気でないな

低金利政策による価格高騰だけでなく、コロナ禍の消費者の嗜好変化という過去にない要因が価格形成に大きな影響を与えた事がモデル精度を狂わしたのかなと思った

興味深い..

「1. AIモデルの精度はナマモノである」「2. AIを意思決定に使うなら、事業KPIを正しく持つことが大事」

あくまで過去の延長で予測しているので、急激な変化とかには辛いものがありますよね。

全部ラーメン二郎に見えてきて読むのが難しかった

SAM on Twitter: "これは興味深いな。過去データが役に立たないような大きな変動は、機械学習だと現状なかなか対応苦しいもんなぁ ":… [ml]

めちゃくちゃリアルな失敗事例だ。学びがたくさんある。

Dataset drift...

局面が変わった時に、予測モデルの運用を柔軟に変える体制を作ることが大事。
意思決定やモデルの作り方でいくらでも工夫はできる。

モデルの評価値が悪化していったときにそれがビジネスにどんな悪影響を与えるかを正確に計測して改善行動を素早く行えなかったのか
(言うは易し行いは難し…)

＞市場に出ている住宅の推定価格はエラー率の中央値が2％以内で収まっている

平均回帰を期待して失敗するのは散々既出なので学ぶべきはAIや精度向上コンペではなく、歴史だったという話

zestimateってkaggleに出てたよなって思ってたら書いてあった。

> 「Kaggle（カグル）」でも、ZillowはZestimateの精度を高めるために賞金120万ドル（1億円以上）でコンペを開催していました

ショックが予測出来なくて破綻するのは、機械学習ベースのモデルによる株価予測のビジネスの失敗パターンと同じだなあ

不動産テック大手Zillowの大失敗に見るAI経営の教訓…「予測モデルの過信」「目標設定のミス」は他人事ではありません

これは興味深いな。過去データが役に立たないような大きな変動は、機械学習だと現状なかなか対応苦しいもんなぁ

パンデミックの発生による「都心→郊外」等の消費者の行動変容で既存アルゴリズムが役に立たなくなり失敗した例

■

AIも認知バイアスでの失敗をやらかす。

「AIモデルの精度はナマモノである」「AIを意思決定に使うなら、事業KPIを正しく持つことが大事」

過去データを大量に読み込ませて予測させるAIモデルだと、想定外のことが起きたとき機能不全になるっていうお話…

高値現金買取してもらった人はラッキーでした。

ダラス周辺でまだ転売出来ていない物件、結構見かけます。

ZIllowのアルゴリズムを信じていたのはZillowだけだった感ある。

コロナという外部イベントと消費者性向変化のような、突発的な社会変化が発生すると、予測モデルに対する機敏な重み付けの調整が難しくなることの例。また転売の入口の購入数をKPIにしたことも拍車をかけた模様

不動産事業は、査定価格設定の精度で事業がうまく行くかどうかが決まる！
AIは過去データを参考にすることは出来るが、未来のパンデミックは予想できなかったということだ、、

あとで読もうと思ってた記事。
アルゴリズム住宅査定で買取、リノベ再販した結果、大失敗した話。
これは面白いね。

付き合い方が大事

現時点の査定価格を出すことと、将来の売却価格を出すことでは天地の差があるし、単なる高値買いが原因だと思う
＞競合に勝つために焦って購入するあまり、市場価値より高い価格で購入していたことも明らかになっています

統計が追いつけない領域に触れていて面白いです。

> 「AIの精度を見直す」ことよりも、「競合より1件でも多い数の家を購入することを優先する」ことが評価基準となっていた

この規模でちゃんと失敗出来てる時点で尊敬に値する

データドリフト典型と言えばそうなんですが対策は難しいよな。アルゴリズム含んだプロセスのフェイルセーフ設計とかって言うのは簡単だけど実際的には未開の地じゃないかと。モデルOFF時の人間関与は判断遅延が許される時だけ。じゃ代替ルールを用意？全シナリオ？ゲロゲロw

トレンドに大きく影響するAIは常にデータをupdateしなきゃいけない

データは鮮度が大事
データが集まって終わりじゃない

AIはブラックスワンを予測できない。似たようなことが $UPST で起きたら地獄だろうな。

AIさえ入れれば事業の未来はバラ色、人手なんていらない、という暴論に対する反証として実に有意義な事例。

なかなかエグそう。

過去に基づくビックデータが結果的に仇となり、ZillowのiBuyer事業の撤退を招いたと。

元記事

業者向けに情報提供してビジネスをしていた会社が自己ポジ取るようになったら、このような結果になるのは自明。

「不動産価格の急騰は、米最大手のAIの精度を狂わせました。

都会から郊外へ、あるいは狭いアパートから広い田舎の一軒家へ−−流行の急変は、アルゴリズムで予測できるものではありませんでした」

▶

不動産価格の高騰でAIによる値付けが狂ったため、住宅を安値で仕入れてリノベする事業が頓挫したって話。色々書いてあるが、AI(もといデータ)に頼るのが常態化すると、組織は人の直感を信じられなくなるという文化の不可逆的変化が本質な気もする。

🔔NEW：
この背景にはAIの精度を過信し、さらに目標設定を誤ったという「失敗」があります。Zillowの内部で何が起こったのか、分析します。

不動産市場において恐ろしいのはこれまでの常識を覆すブラックスワン的な現象が起こる事｡だから不動産のリアルな知見と、AI含めた技術への適切な知見と期待が必要となる｡

成功を収めていたと思われた米国ZillowがコロナによりAIアルゴリズムドリブンに狂いが生じたようだ。