cl100k_baseに未だ更新されてないのかな？？

ー

こんな可視化できるのか。いいな。

見やすいの一番だな。
本当にわかりやすい。

(｡･ω･｡)ﾉ

面白い！

へぇ〜！面白い！！

へー、おもしろ

“普通の文章がトークン的にはどのように分解されるのかを一目で教えてくれるツール「Tokenizer」がOpenAIのページ上で公開されています。”

半角スペースで単語が区切られる英語のような分かち書きされた言語は単語とトークンを一致させやすいけど、日本語はある程度仕方なかろう気がする。言語を特定しない状態で形態素解析を間にかますのもツラそう。

こうしてみると、日本語のコスト高いな
>>

OpenAIが開発したChatGPTなどのチャットAIが、文章を「トークン」という単位で認識していることが一目で分かる「Tokenizer」が公開🤖📝

が言っていたとおり、なんでもトークンになってきている。まさかAIでも。。

なるほど！！

勉強になりました！！

これ面白い。日本語って英語より高コストなんですね。

>

あ、この機能できたばっかだったんか

おおトークン可視化

なるほど、わからん。「ChatGPTはトークン数での課金なので、どんな場合にトークン数が多くなるのかを知っていると値段を安く抑えることが可能になりそうです」。◆

🎁名ばかり払済保険 ライフアカウントla ベストセレクト

🎁(c) ザ一覧
デジタルサプリ 水

Pocket New item archived:

これ面白いな！！こういうのあると良い解答じゃなくて、支離滅裂な文章の時のめちゃくちゃな動き見たくなるｗ