沒想到，OpenAI短期工作無法推進，都是GPU太缺了！
編者按：本文來自微信公眾號 新智元（ID：AI_era），編輯：桃子，創業邦經授權轉載
聽證會之后，Sam Altman帶著團隊在歐洲開啟了「旅行」。
(資料圖片僅供參考)
而在最近的一次訪談中，Altman也沒有藏著掖著，自曝自家AI的一切進展，全得等GPU跟上了再說。
他討論了OpenAI的API，以及產品計劃，引起了許多人的關注。
許多網友紛紛表示，我喜歡Altman的坦誠。
值得一提的是，GPT-4的多模態能力，2024年應該大部分Plus用戶就能上手了，前提還是有足夠GPU才行。
微軟老大哥斥資12億美元給OpenAI建的超算，還遠遠無法滿足GPT-4運行時所需的算力。畢竟，GPT-4參數據稱有100萬億。
另外，Altman還透露，GPT-3也在OpenAI的開源計劃之中。
不知道是不是這次采訪內容透露了太多OpenAI的「機密」，源文稿目前已被刪除，快點碼了。
劃重點最新訪談，是來自AI開發平臺Humanloop的首席執行官Raza Habib主持，采訪了Altman以及其他20位開發人員。
這次討論涉及到實際的開發者問題，以及與OpenAI的使命和AI的社會影響相關的更大的問題。
以下是關鍵要點：
1. OpenAI急缺GPU
2. OpenAI的近期路線圖：GPT-4多模態2024年開放
3. 通過API訪問ChatGPT插件近期不會發布
4. OpenAI只做ChatGPT這一「殺手級應用」，目標是讓ChatGPT成為一個超級智能的工作助手
5. GPT-3在開源計劃中
6. 模型性能的縮放法則繼續有效
接下來，將從6大點介紹Sam Altman究竟說了啥。
OpenAI目前嚴重依賴GPU采訪的一切話題都是圍繞，「OpenAI太缺GPU了」。
這已經拖延了他們許多的短期計劃。
目前，OpenAI的許多客戶都在抱怨API的可靠性和速度。Sam Altman解釋道，主要還是GPU太缺了。
OpenAI是英偉達DGX-1超算首位客戶
至于，支持32k tokens的上下文長度還不能推出給更多的人。
由于OpenAI還沒有克服技術上的障礙，看起來他們似乎今年就會有支持100k-1M tokens的上下文，但需要在研究上取得突破。
微調（Fine-Tuning）API也目前受到GPU可用性的限制。
OpenAI還沒有使用像Adapters或LoRa這樣的高效微調方法，因此微調對于運行和管理來說是非常計算密集型的。
不過，未來他們將對微調提供更好的支持。甚至，OpenAI可能會托管一個社區貢獻的模型市場。
最后，專用容量提供也受到GPU可用性的限制。
今年年初，網友爆出OpenAI正在悄悄推出一個新的開發者平臺Foundry，讓客戶在專用容量上運行該公司的新機器學習模型。
這一產品就是「為運行較大工作負載的尖端客戶設計」。要使用這項服務，客戶必須愿意預付$100k的費用。
然而，從透露的圖片信息可以看出，實例并不便宜。
運行GPT-3.5的輕量級版本，3個月的委托將花費78,000美元，一年將花費264,000美元。
從另一側面也可以看出，GPU消耗價格不菲。
OpenAI近期路線圖Altman分享了OpenAI API的暫定近期路線圖：
2023：
· 又快又便宜的 GPT-4ーー這是OpenAI的首要任務。
總的來說，OpenAI的目標是，盡可能地降低「智能成本」。因此他們將努力繼續降低 API 的成本。
· 更長的上下文窗口ーー在不久的將來，上下文窗口可能支持高達100萬個tokens。
· 微調 API——微調API將擴展到最新的模型，但具體的形式將取決于開發人員真正想要的是什么。
· 有記憶的API ーー目前大部分token被浪費在上文的傳輸中，將來會有一個能夠記住對話歷史的API版本。
2024：
· 多模態能力ーーGPT-4發布時曾演示了強大的多模態能力，但是在GPU得到滿足之前，這一功能還無法拓展到所有人。
插件「沒有 PMF」，短期內不會出現在API中
許多開發者對通過API訪問ChatGPT插件非常感興趣，但Sam表示這些插件不會很快發布。
「除了Browsing外，插件系統還沒有找到PMF。」
他還指出，很多人想把他們的產品放到ChatGPT里，但實際上他們真正需要的是把ChatGPT放到他們的產品里。
除了ChatGPT，OpenAI不會發布更多產品OpenAI的每一次動作，都讓開發者們抖三抖。
不少開發人員表示，OpenAI可能發布與他們競爭的產品的時候，對使用OpenAI API構建應用感到緊張。
而Altman表示，OpenAI不會在ChatGPT之外發布更多的產品。
在他看來，偉大的公司有一個「殺手級應用」，ChatGPT就是要做這個創紀錄的應用。
ChatGPT的愿景是成為一個超級智能的工作助理。OpenAI不會觸及到更多其他GPT的用例。
監管是必要的，但開源也是必要的雖然Altman呼吁對未來模型進行監管，但他并不認為現有的模型是危險的。
他認為，監管或禁止現有模型將是一個巨大的錯誤。
采訪中，他重申了自己對開源重要性的信念，并表示OpenAI正在考慮將GPT-3開源。
而現在，OpenAI還沒有開源的部分原因是，他對有多少個人和公司有能力托管，和提供大模型表示懷疑。
模型性能「縮放法則」仍有效近來，許多文章聲稱，巨型人工智能模型的時代已經結束。然而，并沒有準確反應Altman原意。
OpenAI的內部數據表明，模型性能的縮放法則（scaling laws）仍然有效，讓模型變大將繼續產生性能。
不過，縮放的速度不能維持，因為OpenAI在短短幾年內已經將模型擴大了數百萬倍，未來這樣做將不可持續。
這并不意味著OpenAI不會繼續嘗試使模型更大，只是意味著它們可能每年只會增加1倍/2倍，而不是增加多個數量級。縮放法則繼續有效的事實對AGI開發的時間線有重要的影響。
縮放假設是我們可能已經有了構建AGI所需的大部分部件，剩下的大部分工作將是將現有的方法擴展到更大的模型和更大的數據集。
如果縮放的時代結束了，那么我們可能應該預期AGI會更遠。縮放法則繼續有效強烈暗示了實現AGI時間線會變短。
網友熱評有網友調侃道，
OpenAI：必須通過法規來保護我們的護城河。還是OpenAI：Meta在我們的護城河里撒尿，讓我們也暗示一下我們的模型要開源吧。
還有人稱，如果GPT-3真的開源了，像LLMa一樣，需要大約5天的時間在M1芯片上就能運行了。
社區開發人員能夠幫OpenAI解決GPU瓶頸，前提是他們開源模型。沒幾天，開發者們就能讓其運行在CPU和邊緣設備。
GPU短缺一事，有人認為是OpenAI資金鏈出了問題，買不起。
然而還有人稱，明顯是缺乏供應。除非芯片制造業發生革命，否則相對于消費GPU來說，可能總是會出現供應不足的情況。
還有網友懷疑，英偉達的價值還是被低估？計算需求的階梯式變化可能持續數年...
英偉達剛剛加入萬億美元俱樂部，這樣說來，無限的算力需求或許會成就一個世界超越2萬億美元的芯片廠。
參考資料：
https://humanloop.com/blog/openai-plans
https://news.ycombinator.com/item?id=36141544