やっぱりな、、、と。
さらに深いところに、さらに先を見据えた動きがあるということですね。

ツールを使う側のリテラシー教育が先か⁉️
-----

日進月歩、、、

大規模言語モデル をパソコンで動かせる｢FlexGen｣が2月15日に公開された。「NVIDIA T4」のわずか16GBのメモリーのGPUを使用して、という話です

FlexGenのからくりが分かった気になれる記事

"それまでの自然言語処理では、｢人間の言葉は機械的に分解可能である｣という仮説に基づいていた。だから、品詞まで分解して、組み合わせればうまく翻訳できると考えられていた。

AIの進歩が早すぎる(°д° )!!
家のパソコンでできるならAI規制もスタンドアローンで運用すれば意味が無いしいきなり世界のどこかで怪物が生まれるかも胸熱

なんかすごそう

チャットAI、グラボバージョン

現行ブームへのダメ押し！！ってかんじよね。
ただ、これ、強力な演算装置を持たない犯罪組織でもサクサク動かせちゃうっていうパンドラの箱空けちゃった感も凄くて・・

もうAIの世界はChatGPTの次を見ている模様。とてつもない数のCPUとGPUで処理されている大規模言語モデルと同等の事をパソコンレベルのPCで実現する新技術が公開。

まあというか、FlexGenによってFlexGenのように今後も出てくる様々な手法によって大企業に大金を払う必要がどんどんなくなっていく未来が見えるようになったよってことだろうな。

騒ぐ間もなく展開が目眩しい。

良い説明。

Business Insider Japan:

. さん渾身のLLM / FlexGen解説。必読。

低コストで各企業や個人ベースでも動くようになると夢が広がるな。

ほうほう

社内文書AIは確かにヤバイ

、 について知りたかったことをスッキリ説明してくれてるナルホド感。

あまり使いたくないワードだけと、良記事。

確かにゲーチェンジャーかもね。

FlexGenやばい

歴史も書いてあるので、チャッピーがどう作動しているのかちょっと知ることができる。

ChatGPTを超える大規模言語モデルが社内環境で構築できるらしい。すごい。
---
特筆すべきは、FlexGenが1750億パラメータの大規模言語モデルを｢従来の100倍高速に動かせる｣ということだ。しかも、NVIDIA T4という、わずか16GBのメモリーのGPUを使用して、だ。

AIによるコンテンツの半無限生成を考慮したゲームの土台を考えないといけないようになるのかな。
必ずしもマイクラのように自由なものが良いわけではなく、制限あってこそのゲームなので、例えばプレイ時間10時間の中にいかにAIによる生成を組み込むかとか。

またヤバそうなのがでてる。ChatGPTのような大規模言語モデルを自分のPCで動かせるようになるので応答速度が爆速に。

学習の説明それでいいのか？とは思ったが全体的には面白い話だったのだ。flexgenあれそういう仕組みだったのか…

OpenAIだと現状必要なAPI課金の制約が外れると面白い公開サービスが色々と出てきそう

ローカル実装目指す試みは誰かするとは思っとったが、こんな爆速で実績出すとは思ってなかった

後でじっくり読む

ChatGPTみたいな大規模言語モデルも、画像生成系みたいにオープン化で超進化するかするかも！？

これが読んでる通りならホントにいろいろ変わりそうだなぁ

ベンダーロックインやクラウドロックインという問題の次に、AIロックインの問題が来るかと思ったが、思ったより早く解決策も登場しそう。

LLMを理解するのにも良い記事

清水さんが生き生きしてる感じがしますね：

FlexGenという狭い話題を扱ったかのようなタイトルで損をしているけど、いまの会話AIが機械翻訳に由来する技術であること、その技術詳細と歴史について広範に扱ったきわめて良質な記事。ぼんやりChatGPTとかが怖い人にも読んでみてほしい。

めちゃくちゃわかりやすい

>Unityのようなゲームエンジンがサポートするのは時間の問題だろうし、そうなれば、ゲーム内の村人と永遠に雑談できるロールプレイングゲームも作ることができる


これを待ってたんだよ

近頃この手の話題についていくのは大変だ…。
↑
でも重要！！

(｡･ω･｡)ﾉ

いつも清水さんの解説が一番高い腑に落ちます

次から次に

これでGPT周りの費用が安くなると良いですねー

>>FlexGenが、ChatGPTなどの大規模言語モデルを「従来の100倍高速に動かせる」

読んでおくべき記事↓

めもめも

> 特筆すべきは、FlexGenが、ChatGPTなどの大規模言語モデルを｢従来の100倍高速に動かせる｣上に、NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPUでその性能を使えるということだ。

💻IDEMA、HPから


分類：

ほんとバカの一つ覚えみたいに
Chat-gptでにぎわってる感ある。

これマジだったらヤバそうだな

“FlexGenが、ChatGPTなどの大規模言語モデルを｢従来の100倍高速に動かせる｣上に、NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPUでその性能を使える”

へーGPUのメモリ負荷をCPU側にして、処理系統をかえたらコンパクトになるのね。

ChatGpu側ではGPUメモリに2.4TBが必要だそうな
それがGPU16gb CPU256gbでできるとのこと

AI研究者が「FlexGen」をゲームチェンジャーと呼ぶ理由

ほー、NPCがプレイヤーと区別が付かなくなるゲームがいよいよ作れるようになるのか🤔

なるほど。次はいかに低コストに実現するかという段階に来た

100倍高速！

興味深い
後ほど

いよいよ、チャットAIも民主化されちゃうのかぁ。
この分野の変化早すぎてついていけない。

改めて、FlexGenやばすぎる、、！
スタンフォードの天才達がbig techをさらに改良してオープンソース化してる。
改めてヤバい。

言語モデルの説明がわかりやすい

つまりChatGPTは人間好みにチューニングされた「統計的機械翻訳」と期待値をコントロールしないといけない

»

「GPUにはAIの頭脳にあたるニューラルネットのごく一部だけを載せ、大部分をCPUのメモリーに置いて高速化」
「計算の順序を変えることで効率的な推論を実現した」
(ﾟ∀ﾟ)ﾍｰ
◆

FlexGenの凄さがやっと一般向けに説明され始めてなんか感慨深い

GPUのメモリは比較的少なくていいけど通常のメモリは大量に必要らしい。CPU向けメモリのコストは１桁小さいし100倍速けりゃ計３桁安くつく。

これは間違いなく「ゲームチェンジャー」です。

なにせ、国産「大規模言語モデル」の開発で、予算を獲得しようとする「利権絡み」の動きを阻止する可能性が高いのですから....

ゲームチェンジャーはChat GPTではなくFlex GENという話みたいですね。

公開直後からアクセス急増中のこの記事。
民主化にあたって、大規模言語モデルのどこにボトルネックがあるかがよくわかります

その視点でみると、FlexGenの破壊的イノベーションのすごさも見えてくる
↓

FlexGen参上。
ChatGPT は遅い。重い。コストかかる。
100倍以上高速でGPU16GBメモリに載るモデルが出たのでそっちが一気に普及する見込み。

予知能力！

「社内文書AIは、日本企業には特にインパクトがある。...いまだにクラウドにアップロードしてはいけないデータの宝庫だから、APIベースの大規模言語モデルで、社内文書の要約をするのはハードルが高かった。
だが、社内のパソコンでGPT3に近いAIが動くとなれば話は別だ。」

クラウドで動いているchatGPTがこの技術を使うとPCで、そしてやがてはAppleのMチップで動くようになるとの予測です。プライバシー問題からこれが正しい流れでしょうね。／

ChatGPT 人工知能(AI)

清水亮 / Ryo Shimizu ［経営者、研究者、プログラマー］
Feb. 27, 2023, 09:00 AM

例えばFlexGen使ってローカルLLMで LlamaInde(GPT Index)が十分な精度で動けば自然言語で24/365で問い合わせができるQ&Aシステムになる

技術ドキュメントをぶっこめば技術的な質問に答えてくれるし、プロジェクトのドキュメントを入れれば、オンボーディングのコストが激減

> GPUのメモリーは確かに16GBだが、CPUのメモリーを256GBも搭載しているマシンの話だ
> GPUにはAIの頭脳にあたるニューラルネットのごく一部だけを載せ、大部分をCPUのメモリーに置いて高速化するというのが一つ
> もう一つは、計算の順序を変えることで効率的な推論を実現

"FlexGenが、ChatGPTなどの大規模言語モデルを｢従来の100倍高速に動かせる｣上に、NVIDIA Tesla T4という、わずか16GBのメモリーしかないGPUでその性能を使えるということだ"

実はChatGPTの出現以来、一番楽しみにしているのは、これ。「ゲーム内の村人と永遠に雑談できるロールプレイングゲームも作ることができる」

えちょ、マジで凄ない？ ChatGPTと同等の機能を持っててかつ自宅のPCで動作可能とか…。

ただ一点ツッコミ入れると

>NVIDIA T4という、わずか16GBのメモリーのGPUを使用して

16GBは僅かではない😇

自分との距離は、離れていくばかりに見えるけど、実はそんなことはないのだ。

AIが組み込まれた製品をこれから沢山見かけるようになると予感させる、ossのAIが登場

😆騒ぐのはいいんです。否定な意見はラッダイト運動してるんですよ。革新が起こったってこと！ 僕の仲間には使って！ と伝えてます🤖👍「 Ank Continent2 …

ほえー

オープンソースで今流行りのAIに近いことができるんですか？学習済みデータも公開されていると？

で騒いでる場合じゃない。 AI研究者が「 INSIDER

中国語の部屋を思い出すな。

ChatGPTのようなサービスがいかに「コンピューターのパワーで勝負」な、億を超えるコストのかかるものであるか。手元のパソコンで動かせるFlexGenのようなモデルになぜ注目が集まるのかがわかる記事。

"社内文書AIは、日本企業には特にインパクトがある。日本企業は、いまだにクラウドにアップロードしてはいけないデータの宝庫だから、APIベースの大規模言語モデルで、社内文書の要約をするのはハードルが高かった。だが社内のパソコンでGPT3に近いAIが動くとなれば話は別だ"

"特筆すべきは、FlexGenが、ChatGPTなどの大規模言語モデルを｢従来の100倍高速に動かせる｣上に、わずか16GBのメモリーしかないGPUでその性能を使えるということだ。つまり、大規模言語モデルを秋葉原で売っているパソコン程度で動かせる新しいフレームワークが登場した"

メモ、 さんの記事 >

清水亮氏の詳細記事

FlexGenのヤバさがわかる良記事

ChatGPTかFlexGenか、の二元論にはならず、使い分けになっていくと思うが、要注目。

> 特筆すべきは、FlexGenが1750億パラメータの大規模言語モデルを｢従来の100倍高速に動かせる｣ということだ。しかも、NVIDIA T4という、わずか16GBのメモリーのGPUを使用して、だ。

自宅のPCで動く大規模言語モデルのフレームワークが登場。

どれだけ「ゲームチェンジャー」な出来事なのか、AI研究者・開発者の 氏が解説
↓
▶