OpenAI研究員預測：AI將知道自己是AI
編者按：本文來自微信公眾號 新智元（ID：AI_era），作者：新智元，創(chuàng)業(yè)邦經(jīng)授權(quán)發(fā)布。
就在剛剛，網(wǎng)上曝出了一封千位大佬的聯(lián)名信，要封殺所有比GPT-4強的AI！
(資料圖片)
在這封聯(lián)名信上，超過1000位大佬呼吁——我們應(yīng)該立即停止訓練比GPT-4更強大的AI系統(tǒng)，暫停期至少6個月。
目前簽名的有，圖靈獎得主Yoshua Bengio、Stability AI首席執(zhí)行官Emad Mostaque、蘋果聯(lián)合創(chuàng)始人Steve Wozniak、紐約大學教授馬庫斯、馬斯克，以及「人類簡史」作者Yuval Noah Harari等等。
看看這根本看不到頭的簽名，大佬含量過高了。
能夠集齊一千多位大佬的簽名，想必這項聯(lián)名已經(jīng)準備多時了。
不過，同樣作?為?圖靈獎得主的Yann ??LeCun并沒有簽署：「我不同意這個前提。」
另外，簽名中還出現(xiàn)了一個所謂的「OpenAi CEO」，但根據(jù)馬庫斯和一眾網(wǎng)友的推測，應(yīng)該不是本人簽的名。整件事非常撲朔迷離。
截止發(fā)稿前，他還特地@了一下Sam Altman確認消息。
大佬聯(lián)名：叫停比GPT-4強的AI公開信表示，大量研究表明，得到頂級AI實驗室的認可、具有人類競爭智能的AI系統(tǒng)，可能對社會和人類構(gòu)成深遠的風險。
正如廣泛認可的Asilomar AI原則中所述，高級AI可能意味著地球生命史上的深刻變化，我們應(yīng)該投入相應(yīng)的考量和資源，對之進行規(guī)劃和管理。
不幸的是，到現(xiàn)在為止，還沒有任何人采取行動。
最近這幾個月，全球的AI實驗室已經(jīng)完全失控了，它們瘋狂地開展AI競賽，來開發(fā)和部署更強大的AI，而沒有任何人可以理解、預測、控制這些AI，連它們的創(chuàng)造者都不能。
如今，AI系統(tǒng)在一般系統(tǒng)上已經(jīng)變得和人類一樣有競爭力，我們必須捫心自問：
任何未經(jīng)選舉產(chǎn)生的技術(shù)領(lǐng)導者，都沒有權(quán)利做出如此重要的決定。
只有當我們確信，這種AI的影響是積極的、風險是可控的時候，才應(yīng)該開發(fā)強大的AI系統(tǒng)。而且，我們必須有充分的理由相信這一點，潛在的影響越大，我們就更加需要確信這一點。
OpenAI最近關(guān)于通用人工智能的聲明指出，「某個階段，在開始訓練未來的系統(tǒng)之前，進行獨立的審查可能非常重要，而對于創(chuàng)建新模型所用算力的增長速度，也應(yīng)該有所限制。」
我們同意這一點，而那個時間點，就是現(xiàn)在。
因此，我們呼吁所有AI實驗室立即暫停訓練比GPT-4更強大的AI系統(tǒng)，至少6個月。
這種暫停應(yīng)該向所有人公開，所有人都可驗證，并且要涉及所有關(guān)鍵成員。如果不能迅速暫停，就應(yīng)該讓政府介入。
在這6個月內(nèi)，所有AI實驗室和獨立學者都應(yīng)該合力開發(fā)一套共享安全協(xié)議，用于高級AI的設(shè)計和開發(fā)。協(xié)議完成后，應(yīng)該由獨立的外部專家進行嚴格的審計和監(jiān)督。這些協(xié)議必須確保這些AI系統(tǒng)毋庸置疑的安全。
這并不是說，我們要絕對暫停AI的開發(fā)，只是說，我們應(yīng)該從危險的競賽中退后一步，轉(zhuǎn)向具有涌現(xiàn)能力的、更大的、不可預測的黑箱模型。
所有的人工智能研究和開發(fā)，都應(yīng)該重新聚焦于這一點——讓當如今最強大的SOTA模型更加準確、安全、可解釋、透明、穩(wěn)健、對齊，值得人類信賴，對人類忠誠。
與此同時，開發(fā)者必須與政策制定者合作，大幅加快開發(fā)強大的AI管理系統(tǒng)。
系統(tǒng)至少應(yīng)該包括：
專門負責監(jiān)管AI的機構(gòu) 出處和水印系統(tǒng)，從而幫助區(qū)分真實與生成的內(nèi)容，并且能夠跟蹤模型的泄漏 強大的審計和認證系統(tǒng) 在AI造成傷害后，明確誰該承擔責任 為AI安全技術(shù)研究提供強大的公共資金人類可以享受AI帶來的繁榮未來。在成功創(chuàng)建了強大的AI系統(tǒng)后，我們可以享受「AI之夏」，收獲回報，設(shè)計上述系統(tǒng)，以造福所有人，給全人類一個適應(yīng)的機會。
現(xiàn)在，我們的社會已經(jīng)暫停其他可能造成災難性影響的技術(shù)。對于AI，我們也該如此。
讓我們享受一個漫長的AI夏天，而不是毫無準備地進入秋天。
很快，這封千位大佬簽署公開信就引發(fā)了輿論的軒然大波。
支持的人認為對于AI的恐慌是合理的，因其訓練效率太高，智能的水平每天都在膨脹。
反對的人甚至貼出了愛迪生指示人畫的交流電害死人的宣傳海報，認為這不過莫名的指控，在別有用心的勢力在誤導不明真相的群眾。
Sam Altman，態(tài)度耐人尋味從最近發(fā)生的事來看，這封信的到來，可謂是千呼萬喚始出來。
從去年11月底，ChatGPT仿佛叩響了發(fā)令槍，全世界的AI機構(gòu)都在瘋狂沖刺，卷到紅了眼。
而「始作俑者」的OpenAI，腳步也絲毫沒有放慢，聯(lián)合著金主爸爸微軟，它隔一陣就給我們來一個暴擊。
先進的AI工具帶給人們的恐慌，一波又一波沖擊著所有人。
今天，大佬們終于出手了。
而在昨日公開的訪談中，Sam Altman的話中，竟有了一些耐人尋味的表達。
他說，GPT系列為何會出現(xiàn)推理能力，OpenAI的研究者自己搞不明白。
他們只知道，在不斷測試中，人們忽然發(fā)現(xiàn)：從ChatGPT開始，GPT系列開始出現(xiàn)了推理能力。
另外Altman在訪談中還說了這樣石破天驚的一句：「AI確實可能殺死人類」。
而除了Altman，人工智能教父Geoffrey Hinton、比爾蓋茨、紐約大學教授Gary Marcus最近也紛紛發(fā)出警示：AI消滅人類，真的不是空談。
OpenAI研究員預測：AI將知道自己是AI無獨有偶，來自O(shè)penAI治理團隊的Richard Ngo，也對兩年后AI的發(fā)展程度進行了預測。
在此之前，他是DeepMind的AGI安全團隊的研究工程師。
根據(jù)Richard的預測，神經(jīng)網(wǎng)絡(luò)在發(fā)展到2025年底時將具備以下特性：
擁有人類水平的態(tài)勢感知，比如知道自己是神經(jīng)網(wǎng)絡(luò)等 在撰寫復雜且有效的計劃方面超過人類 比大多數(shù)同行評審做得更好 可以自主設(shè)計、編碼并分發(fā)完整的應(yīng)用程序 在任何一項白領(lǐng)工作者可以在10分鐘內(nèi)完成的計算機任務(wù)上勝過任何人 編寫能獲獎短篇小說，以及長達5萬字的書籍 生成連貫的20分鐘電影不過，優(yōu)秀的人類在以下幾個方面仍然會做得更好（盡管速度要慢得多）：
寫小說 連續(xù)數(shù)天穩(wěn)定地執(zhí)行一個計劃 在科學研究上取得突破，比如定理的創(chuàng)新（盡管神經(jīng)網(wǎng)絡(luò)至少已證明了一個） 與神經(jīng)網(wǎng)絡(luò)控制的機器人相比，完成典型的體力勞動任務(wù)此處補充一下，通俗地講，態(tài)勢感知（situational awareness）是指個體對周圍環(huán)境中發(fā)生的事件和情況的感知、理解和預測。這包括了解周圍環(huán)境的動態(tài)變化，評估這些變化對自己和他人的影響，以及預測未來可能出現(xiàn)的情況。
有關(guān)態(tài)勢感知在AI研究中的具體定義，可以參閱下面這篇論文：
論文地址：https://arxiv.org/abs/2209.00626
Richard表示，自己的預測其實更接近2年，但由于不同人會采用不同的評估標準，所以2.75年似乎更穩(wěn)健。
此外，這里提到的「預測」是指，Richard認為這個觀點的可信度超過50%，但不一定比50%高很多。
需要注意的是，預測并沒有基于任何與OpenAI有關(guān)的特定信息。
網(wǎng)友翹首以待GPT-5相比于十分謹慎的大佬，網(wǎng)友們在體驗了性能炸裂的GPT-4之后，顯然已經(jīng)迫不及待地等著GPT-5的到來了。
最近，關(guān)于GPT-5的預測，更是就像雨后春筍一般冒個不停……
（非官方）
根據(jù)一個神秘團隊的預測，GPT-5將在GPT-4的基礎(chǔ)上，帶來一系列令人興奮的功能和增強的性能，比如在可靠性、創(chuàng)造力和適應(yīng)復雜任務(wù)方面的全面超越。
· 個性化模板：根據(jù)用戶的特定需求和輸入變量進行定制，提供更個性化的體驗。
· 允許用戶調(diào)整AI的默認設(shè)置：包括專業(yè)性、幽默程度、說話語氣等。
· 自動將文本轉(zhuǎn)換成不同格式：如靜態(tài)圖像、短視頻、音頻和虛擬模擬。
· 高級數(shù)據(jù)管理：包括記錄、跟蹤、分析和共享數(shù)據(jù)，從而簡化工作流程并提高生產(chǎn)力。
· 輔助決策：通過提供相關(guān)信息和見解，協(xié)助用戶做出明智的決策。
· 更強的NLP能力：增強AI對自然語言的理解和響應(yīng)，使其更接近人類。
· 集成機器學習：允許AI不斷學習和改進，隨著時間的推移適應(yīng)用戶需求和偏好。
作為過渡的GPT-4.5此外，這個團隊還預測，作為過渡的GPT-4.5模型將在2023年9月或10月推出。
GPT-4.5將建立在2023年3月12日發(fā)布的GPT-4的優(yōu)勢基礎(chǔ)上，為其對話能力和上下文理解帶來更多的改進：
處理更長的文本輸入GPT-4.5可能會在保持上下文和連貫性的同時處理和生成更長的文本輸入。這一改進將提高模型在處理復雜任務(wù)和理解用戶意圖方面變的性能。
增強的連貫性GPT-4.5可能會提供更好的連貫性，確保生成的文本在整個對話或內(nèi)容生成過程中始終關(guān)注相關(guān)主題。
更準確的回應(yīng)GPT-4.5可能會提供更準確和上下文相關(guān)的回應(yīng)，使其成為各種應(yīng)用的更有效工具。
模型微調(diào)此外，用戶可能也可以更加便捷地微調(diào)GPT-4.5，從而更有效地定制模型并應(yīng)用于特定任務(wù)或領(lǐng)域，客戶支持、內(nèi)容創(chuàng)建和虛擬助手等。
參照目前GPT-3.5和GPT-4的情況，GPT-4.5很可能也會為GPT-5的創(chuàng)新奠定堅實基礎(chǔ)。通過解決GPT-4的局限性并引入新的改進，GPT-4.5將在塑造GPT-5發(fā)展過程中發(fā)揮關(guān)鍵作用。
參考資料https://futureoflife.org/open-letter/pause-giant-ai-experiments/
https://chatgpt-5.ai/gpt-5-capabilities/
https://twitter.com/RichardMCNgo/status/1640568775018975232