OpenAIの新しいモデル開発は挫折していますが、スパース性は大規模モデルのコストを削減するための鍵ですか?

OpenAIにも失敗したモデルがあります。

元のソース: マシンの心臓部

画像ソース:無制限のAIによって生成

大規模モデルの学習・ランニングコストは非常に高く、OpenAIもコスト削減を試みましたが、残念ながら失敗に終わりました。

昨年末、ChatGPTが世界的なセンセーションを巻き起こしたとき、OpenAIエンジニアはコードネームArrakisの新しいAIモデルの開発を開始しました。 Arrakisは、OpenAIが低コストでチャットボットを実行できるようにすることを目指しています。

しかし、この問題に精通している人々によると、2023年半ば、OpenAIはArrakisのリリースをキャンセルしました モデルが会社の期待ほど効率的に実行されていないため。

この失敗は、OpenAIが貴重な時間を失い、リソースをさまざまなモデルの開発に振り向ける必要があることを意味しました。

共同投資の場合、ArrakisのR&Dプログラムは、両社が100億ドルの投資と製品取引の交渉を完了するために非常に貴重です。 この問題に詳しいMicrosoftの従業員によると、Arrakisの失敗は一部のMicrosoft幹部を失望させた。

さらに、Arrakisの失敗は、予測が困難な落とし穴に満ちている可能性のあるAIの未来の前兆です。

アラキスってどんなモデル? **

この問題に精通している人々によると、OpenAIは、ArrakisがGPT-4と同等のパフォーマンスと高い運用効率を備えたモデルであることを望んでいます。 Arrakis モデルで使用される重要なアプローチは、スパース性を利用することです。

スパース性は、Googleなどの他のAI開発者もオープンに議論して使用する機械学習の概念です。 GoogleのエグゼクティブであるJeff Dean氏は、「スパースコンピューティングは将来の重要なトレンドになるだろう」と述べています。

OpenAIは早い段階でスパース性の研究を開始し、2017年にスパースコンピューティングカーネルを導入しました。 Arrakisは、OpenAIがソフトウェアを強化するために限られた数の専用サーバーチップを使用できるため、OpenAIがそのテクノロジーをより広く宣伝できるようにした可能性があります。

現在、スパース性を高める一般的な方法は、「ハイブリッドエキスパートシステム(MoE)」テクノロジーを使用することです。 しかし、カリフォルニア大学バークレー校のコンピュータサイエンスの教授であるIon Stoicaは、「一般に、エキスパートモデルの数が多いほど、モデルはまばらで効率的になりますが、モデルによって生成される結果の精度が低下する可能性があります」と述べています。

今年の春頃、OpenAIの研究者は、モデルが大量のデータを処理できるように高度なコンピューティングハードウェアを使用することを含むArrakisモデルのトレーニングを開始しました。 この問題に精通している人々によると、同社はアラキスのトレーニングがGPT-4のトレーニングよりもはるかに安価であると予想しています。 しかし、研究チームはすぐに、モデルが期待される利益を達成するのに十分なパフォーマンスを発揮していないことに気づきました。 研究チームが問題の解決に約1か月を費やした後、OpenAIの上級リーダーシップはモデルのトレーニングを停止することを決定しました。

幸いなことに、OpenAIはアラキスでの作業を、今後のマルチモーダル大型モデルGobiなどの他のモデルに統合できます。

Arrakisは、モデルのスパース性を改善しようとしているため、OpenAIの期待を下回ったため、モデルの一部のみを使用して応答を生成し、ランニングコストを削減すると、この問題に詳しい2人の人物が語った。 モデルが初期のテストで機能したが、後でパフォーマンスが低下した理由は不明です。

この問題に精通している人々が、アラキスのために考慮されているOpenAIの公開名はGPT-4ターボであると言ったことは言及する価値があります。

**コストを削減することはどれほど重要ですか? **

OpenAIの場合、テクノロジーのコストとオープンソースの代替手段の急増に対する懸念が高まっているため、モデルをより安価で効率的にすることが最優先事項です。

事情に詳しい関係者によると、MicrosoftはOpenAIのGPTモデルを使用してOffice 365アプリケーションやその他のサービスのAI機能を強化しており、MicrosoftはArrakisがこれらの機能のパフォーマンスを向上させ、コストを削減することを期待していたという。

同時に、マイクロソフトは独自のLLMを開発し始めており、そのLLMはOpenAIのモデルよりも実行コストが低い可能性があります。

この後退は今年のOpenAIの事業開発を遅らせていませんが、OpenAIは、LLM分野での競争の激化、特にGoogleやMicrosoftなどのテクノロジー大手の研究開発の加速に伴い、このトラックでも衰退する可能性があります。

元のリンク: