ゲートニュース、4月29日 — AI研究者の嵐 小松崎（Aran Komatsuzaki）が、リッチ・サットンの先駆的論文『The Bitter Lesson』を9つの言語に翻訳し、それらをOpenAI、Gemini、Qwen、DeepSeek、Kimi、そしてClaudeのトークナイザーで処理して、6つの主要なAIモデル間でトークン化効率を比較分析を行いました。OpenAIにおける英語版のトークン数をベースラインとして (1x) としたところ、この研究では大きな差異が明らかになりました。中国語で同じコンテンツを処理すると、OpenAIの1.15xに対してClaudeでは1.65xのトークンが必要でした。ヒンディー語はClaudeでさらに極端な結果となり、ベースラインを3倍以上上回りました。Anthropicは、試験した6モデルの中で最も低い順位でした。
重要なのは、同一の中国語テキストを異なるモデル間で処理したとき（すべて同じ英語ベースラインに対して測定）結果が劇的に分岐したことです。Kimiは英語より (さらに少ない) 0.81xのトークン消費にとどまり、Qwenは0.85xでしたが、Claudeは1.65xが必要でした。このギャップは、言語そのものではなく純粋なトークン化効率の問題を示しています。中国語モデルは中国語の処理でより高い効率を示しており、その差は言語自体ではなくトークナイザーの最適化に起因する可能性を示唆しています。
ユーザーにとっての実務的な影響は大きく、トークン消費の増加はAPIコストを直接押し上げ、モデルの応答遅延を延ばし、コンテキストウィンドウをより急速に消耗させます。トークン化効率は、モデルの学習データの言語構成に依存します。英語が主に学習されたモデルは英語テキストをより効率よく圧縮しますが、データ表現が少ない言語は、より小さく効率の悪い断片としてトークン化されます。
小松崎（Komatsuzaki）の結論は、根本的な原則を裏付けています。市場規模がトークン化効率を決定するのです。より大きな市場はより良い最適化を受けられ、十分に表現されていない言語はトークンコストが大幅に高くなります。
免責事項：このページの情報は第三者から提供される場合があり、Gateの見解または意見を代表するものではありません。このページに表示される内容は参考情報のみであり、いかなる金融、投資、または法律上の助言を構成するものではありません。Gateは情報の正確性または完全性を保証せず、当該情報の利用に起因するいかなる損失についても責任を負いません。仮想資産への投資は高いリスクを伴い、大きな価格変動の影響を受けます。投資元本の全額を失う可能性があります。関連するリスクを十分に理解したうえで、ご自身の財務状況およびリスク許容度に基づき慎重に判断してください。詳細は
免責事項をご参照ください。
関連記事
パラグ・アグラワルのParallel、AIエージェント向け検索インフラで$100M シリーズBを調達
Beatingによると、元Twitter CEOのパラグ・アグラワルが設立したParallel Web Systemsは、Sequoia Capitalが主導する$100 百万ドルのシリーズBラウンドを完了し、同社の企業価値は$2 十億ドルと評価された。Kleiner Perkins、Index Ventures、Khosla Venturesも参加した。この資金調達は、同社が百万ドルをシリーズAで調達し、企業価値を百万ドルとしたのから6か月後で、評価額はほぼ3倍になっている。
GateNews11分前
DeepSeekマルチモーダル研究者が4月29日に新たなビジョンモデルを示唆
4月29日、DeepSeekマルチモーダルチームのリサーチャーである謝小康（Xiaokang Chen）がXに投稿した。「今、私たちはあなたを見ています」とし、DeepSeekのクジラのマスコットの2枚の画像を添えている。1枚は目を閉じたもの、もう1枚は目を開けたものだ。この投稿は、近日公開予定のビジョンモデルを示唆しているように見え、DeepSeekのマルチモーダルチームにおけるChenの研究者としての役割と一致している。
GateNews51分前
LG、NvidiaパートナーシップをフィジカルAIへ拡大—ロボティクスとデータセンターを対象に
ゲートニュース 4月29日—韓国のLGエレクトロニクスは、2026年の第1四半期の決算説明会で、Nvidiaとの協業を物理AIへ拡大しており、ロボティクス、モビリティ、データセンターでの計画プロジェクトがあると発表した。
LGは、家庭用ロボットのCLOiDをNvidia Isaacと統合する予定
GateNews1時間前
半導体アナリストがAI相場を強気見通し「少なくともあと3年は続く」：先端パッケージが業界のボトルネックだ
Bubble Boi は、AI 投資サイクルはまだ初期段階にあり、少なくともさらに 3 年間は上昇が続くと見ており、利益確定するつもりはありません。彼は、先進的なパッケージングこそが半導体の本当のボトルネックだと考えており、同一パッケージ内でより多くの HBM とより大きなチップを統合する必要があるとしています。NAND/Flash に強気で、価格は引き続き上昇する可能性があり、将来的にフラッシュのサプライチェーンに参入するかもしれないとも述べています。個人の戦略としては、借入資金で買い増しし、エンジニアリングの実務的なバックグラウンドにより技術的な詳細を理解できることを強みだと考えています。
ChainNewsAbmedia1時間前
AWSはAmazon BedrockにおけるOpenAI統合を拡大
Amazon Web Servicesは4月29日、OpenAIとのパートナーシップを大幅に拡大すると発表し、OpenAIの最新機能をクラウド基盤に統合しました。この拡大により、Amazon Bedrockには3つの新しい提供が追加されます。OpenAIの最新モデル (限定プレビュー)、Codexのプログラミング
CryptoFrontier2時間前
OpenAIの研究者：AIシステムは2年以内に研究の大半を担える可能性
ゲートニュース（4月29日）— OpenAIの研究者セバスチャン・ビュベックとアーネスト・リューは、AIシステムは2年以内にほとんどの人間の研究業務を遂行できる可能性があると述べており、数学をAIの進歩を測る明確な指標として提示しています。曖昧なパフォーマンステストとは異なり、数学の問題は正確な検証を可能にします：答えは正しいか誤りかのどちらかで、曖昧さの余地はありません。
GateNews2時間前
