Sam Altman：OpenAI 的下一步規劃

OpenAI 的目標是盡可能降低「智能的成本」。

撰文：Raza Habib

編譯：SinoDAO

上週，我有幸與Sam Altman 和其他20 名開發者坐在一起，討論了OpenAI 的API 和他們的產品計劃。 Sam 非常開放地進行了討論。討論涉及了實際開發者問題以及與OpenAI 使命和人工智能對社會影響相關的更大範疇的問題。以下是要點摘要：

1 目前OpenAI 嚴重受限於GPU

討論中反复提到的一個共同主題是，目前OpenAI 在GPU 方面的限制非常嚴重，這延遲了他們的許多短期計劃。最大的客戶抱怨是API 的可靠性和速度。 Sam 承認了他們的關注，並解釋說問題的大部分原因是由於GPU 短缺。

目前無法向更多人推出更長的32k 上下文。 OpenAI 尚未克服注意力機制的O(n^2) 擴展問題，因此雖然似乎他們很可能很快（今年）推出100k 到1M 的上下文窗口，但更大的窗口將需要研究突破。

微調API 當前也受到GPU 可用性的瓶頸限制。他們尚未使用像Adapters 或LoRa 這樣高效的微調方法，因此微調運算非常耗費計算資源。未來將提供更好的微調支持。他們甚至可能提供社區貢獻模型的市場。

專用容量提供受到GPU 可用性的限制。 OpenAI 還提供專用容量，為客戶提供模型的私有副本。要使用此服務，客戶必須願意預先承諾10 萬美元的支出。

2 OpenAI 的近期路線圖

Sam 分享了他認為是OpenAI API 的臨時近期路線圖。

2023 年：

更便宜、更快的GPT-4——這是他們的首要任務。總的來說，OpenAI 的目標是盡可能降低「智能的成本」，因此他們將努力繼續降低API 的成本。

更長的上下文窗口——上下文窗口高達100 萬個標記在不久的將來是可行的。

微調API——微調API 將擴展到最新的模型，但具體形式將根據開發者表達的真正需求來確定。

有狀態的API——當您今天調用聊天API 時，您必須反复傳遞相同的對話歷史並支付相同的

標記費用。將來將推出一個記住對話歷史的API 版本。

2024 年：

多模態——這是GPT-4 發布的一部分，但在更多GPU 上線之後才能推廣給所有人使用。

3 插件「還沒有PMF」，可能暫時不會出現在API 中

很多開發者都對通過API 獲得ChatGPT 插件感興趣，但Sam 表示他認為暫時不會發布。插件的使用除了瀏覽之外，表明它們還沒有足夠的準備。他提出很多人認為他們想要將應用程序置於ChatGPT 內部，但實際上他們真正想要的是將ChatGPT 嵌入到自己的應用程序中。

4 OpenAI 將避免與他們的客戶競爭，除了ChatGPT

相當多的開發者表示在OpenAI 可能發布與他們競爭的產品時他們感到緊張。 Sam 表示，OpenAI 不會在ChatGPT 之外發布更多的產品。他說，偉大的平台公司都有一個殺手級應用程序的歷史，而ChatGPT 將使他們通過成為自己產品的客戶來改進API。 ChatGPT 的願景是成為一個超智能的工作助手，但還有很多其他GPT 用例是OpenAI 不會觸及的。

5 需要監管，但開源也同樣重要

雖然Sam 呼籲對未來的模型進行監管，但他認為現有模型並不危險，並認為對它們進行監管或禁止是一個重大錯誤。他再次強調了開源的重要性，並表示OpenAI 正在考慮開源GPT-3。他們尚未開源的部分原因是他對有多少個人和公司能夠託管和提供大型LLM 表示懷疑。

6 縮放定律仍然適用

最近有很多文章聲稱「巨大AI 模型的時代已經過去了」。這並不准確。

OpenAI 的內部數據表明，模型性能的縮放定律仍然適用，使模型變得更大將繼續帶來更好的性能。縮放速率無法保持不變，因為OpenAI 在幾年內已將模型放大了數百萬倍，而在未來這樣做將不可持續。這並不意味著OpenAI 不會繼續努力使模型更大，只是意味著它們可能每年增加一倍或兩倍的大小，而不是成倍增加。

縮放定律仍然適用的事實對於AGI 的發展時間表具有重要影響。縮放假設是這樣一種觀點，即我們可能已經具備了構建AGI 所需的大部分基礎，並且剩下的工作大多是將現有方法擴展到更大的模型和更大的數據集。如果縮放時代已經過去，那麼我們可能預計AGI 離我們更遠。縮放定律仍然適用的事實強烈暗示了更短的時間表。