|未經(jīng)許可不得轉(zhuǎn)載星標本號獲取最新頂級認知|

整理:Web3天空之城

城主說|在硅谷的敘事中，Ilya Sutskever 是一個圖騰般的名字。作為 ImageNet 革命的推手、OpenAI 的聯(lián)合創(chuàng)始人以及 GPT 系列的核心締造者，他親手開啟了過去十年深度學習的輝煌時代。然而，當全世界都在瘋狂堆疊 GPU、試圖通過擴大模型規(guī)模（Scaling）來觸碰 AGI（通用人工智能）的圣杯時，這位技術(shù)先知卻選擇了轉(zhuǎn)身。

離開 OpenAI 后，Ilya 創(chuàng)立了 SSI（Safe Superintelligence），一家沒有任何商業(yè)產(chǎn)品壓力、只專注于單一目標的研究機構(gòu)。在昨晚放出的 Dwarkesh Patel 的一場深度對話中，Ilya 罕見地披露了他對當前 AI 發(fā)展瓶頸的底層思考, 指出行業(yè)正從單純的“規(guī)模化（Scaling）”時代回歸到注重底層創(chuàng)新的“研究（Research）”時代。對話涵蓋了預訓練與強化學習的局限性、人類學習效率與進化的類比、以及情感和價值函數(shù)在智能中的作用。此外，Ilya 詳細闡述了 SSI（Safe Superintelligence）直接追求超級智能的戰(zhàn)略考量，討論了 AI 在經(jīng)濟和部署層面的潛在路徑，并最后分享了他獨特的“研究品味”和關(guān)于 AI 發(fā)展美學的見解。

核心觀點摘要“2012 年到 2020 年是‘研究時代’；2020 年到 2025 年是‘規(guī)模化時代’。現(xiàn)在，我們正重新回到擁有超級算力的‘研究時代’。” “目前的模型就像一個練習了一萬小時競賽題的學生，雖然能解題，但缺乏真正的專家直覺與品味。” “市場競爭是一場‘老鼠賽跑’（Rat Race）。SSI 的戰(zhàn)略是切斷所有商業(yè)干擾，直面超級智能的構(gòu)建。” “丑陋在研究中沒有立足之地。偉大的工作必須是簡潔、優(yōu)雅且符合生物學直覺的。” “如果我們希望超級智能是安全的，它必須具備一種能夠‘關(guān)懷有感知生命’的底層屬性。”

? 從規(guī)模化回歸研究 ：單純的規(guī)模擴展（Scaling）已遭遇瓶頸，行業(yè)正重新回到需要根本性創(chuàng)新的“研究時代”。

? 預訓練與強化學習的局限 ：目前的模型雖然在評估中表現(xiàn)出色，但缺乏人類的泛化能力和“特質(zhì)因素”，類似于只會做題的學生而非真正的專家。

? 直接追求超級智能 ：SSI 旨在避開短期商業(yè)競爭的“老鼠賽跑”，專注于構(gòu)建安全、關(guān)懷有感知生命的超級智能。

? 持續(xù)學習的重要性 ：未來的 AI 不應是靜態(tài)的成品，而應具備像人類一樣持續(xù)學習和適應新工作的能力。

? 研究的美學 ：偉大的研究往往源于對大腦機制的正確直覺，追求簡潔、優(yōu)雅與美感。

視頻完整版:

告別“規(guī)模化”迷信，重返“研究時代”

在過去五年里，AI 行業(yè)被一個強大的詞匯統(tǒng)治：“Scaling”（規(guī)模化）。自從 GPT-3 橫空出世，行業(yè)達成了一種默契——只要向神經(jīng)網(wǎng)絡中通過堆疊更多的數(shù)據(jù)和算力，智能就會自然涌現(xiàn)。這種線性思維讓大公司趨之若鶩，因為它提供了一條低風險的資源變現(xiàn)路徑。

然而，Ilya 敏銳地指出，這條路正在變得擁擠且低效。“預訓練數(shù)據(jù)的紅利終將耗盡，數(shù)據(jù)是有限的。當你把規(guī)模擴大 100 倍后，單純的量變可能不再帶來質(zhì)變。”

他將 AI 的發(fā)展史劃分為極其清晰的階段：2012 年至 2020 年是百花齊放的“研究時代”，人們嘗試各種瘋狂的想法；隨后的五年是“規(guī)模化時代”，所有人都在做同一件事。而現(xiàn)在，鐘擺正在回擺。“我們回到了研究時代，區(qū)別僅僅在于，我們現(xiàn)在擁有了巨大的計算機。” 這意味著，未來的突破不再僅僅依賴于誰的集群更大，而在于誰能找到新的“配方”——一種比單純預訓練更高效的學習范式。

只會做題的“優(yōu)等生”：預訓練模型的阿喀琉斯之踵

為了解釋當前大模型的局限性，Ilya 打了一個精妙的比方：

想象兩個學生。學生 A 為了贏得編程比賽，練習了一萬小時，背下了所有算法和技巧；學生 B 只練習了一百小時，但他對編程有深刻的“品味”和直覺。“目前的模型更像是學生 A。我們通過數(shù)據(jù)增強讓它見過所有可能的考題，它看起來很強，但一旦遇到未曾見過的領(lǐng)域，它的泛化能力遠不如擁有‘特質(zhì)因素’的人類。”

這種“高分低能”的現(xiàn)象在實際應用中屢見不鮮。模型可以在基準測試（E-vals）中拿高分，但在解決現(xiàn)實世界的復雜 Bug 時，卻可能陷入“修復一個錯誤、引入另一個錯誤”的死循環(huán)。Ilya 認為，這是因為當前的強化學習（RL）訓練雖然讓模型學會了迎合評估標準，卻并未真正賦予其像人類一樣的推理和自我修正能力。

向人類進化取經(jīng)：情緒與價值函數(shù)的本質(zhì)

如果單純的數(shù)據(jù)堆疊不是答案，那么智能的“圣杯”究竟在哪里？Ilya 將目光投向了生物進化。

人類之所以能以極高的效率學習（例如青少年僅需十幾個小時就能學會開車），是因為我們擁有進化賦予的強大“先驗知識”和“價值函數(shù)”。“進化給了我們盡可能少量的、但最有效的信息。” Ilya 指出，人類的情緒系統(tǒng)本質(zhì)上就是一個高效的價值函數(shù)。

他引用了一個神經(jīng)科學案例：一個失去情緒處理能力的腦損傷患者，雖然智商正常、能言善辯，卻無法在生活中做出最簡單的決定（如穿哪雙襪子）。這揭示了一個深刻的道理：“情緒并非理性的對立面，而是智能高效運作的基石。”

對于 AI 而言，未來的方向在于構(gòu)建類似的機制——不僅是預測下一個 token，而是能夠像人類一樣，在行動之前就能通過內(nèi)部的“價值函數(shù)”預判路徑的優(yōu)劣。“你不需要下完一整盤國際象棋才知道自己丟了一個子是錯誤的。價值函數(shù)能讓你在中間過程就獲得信號，這才是高效學習的關(guān)鍵。”

拒絕商業(yè)“老鼠賽跑”，直面超級智能

在 OpenAI 和 Anthropic 等公司爭相發(fā)布產(chǎn)品、通過逐步迭代來測試安全性的當下，Ilya 的 SSI 選擇了截然不同的道路：隱身。

“這就像一場‘老鼠賽跑’，激烈的市場競爭迫使你做出艱難的權(quán)衡。” Ilya 直言，為了維持產(chǎn)品的市場地位，公司往往需要在研究資源和工程落地之間不斷妥協(xié)。SSI 籌集了數(shù)十億美元，卻不打算發(fā)布任何中間產(chǎn)品，而是將所有算力集中于單一目標：直接攻克安全超級智能（Safe Superintelligence）。

這種“憋大招”的策略在業(yè)內(nèi)充滿爭議，但 Ilya 認為這是必要的。他不僅關(guān)注智能的構(gòu)建，更關(guān)注智能的“對齊”。他提出了一種極具人文關(guān)懷的對齊思路：“與其構(gòu)建一個只聽從人類指令的 AI，不如構(gòu)建一個能夠‘關(guān)懷有感知生命’（Care for sentient life）的 AI。”

他認為，因為 AI 本身最終也會成為一種有感知的存在，這種基于“同理心”的對齊可能比僵硬的規(guī)則更具魯棒性。

機器人+AI：人類社會未來的方向

對于未來，Ilya 的預測既令人興奮又充滿不確定性。他認為，一旦 AI 突破了持續(xù)學習的瓶頸，經(jīng)濟將迎來爆發(fā)式增長。未來的 AI 市場不會被單一的巨頭壟斷，而是會像生態(tài)系統(tǒng)一樣高度分化。

“競爭喜歡專業(yè)化。” 就像生物進化一樣，我們將看到無數(shù)占據(jù)不同生態(tài)位的 AI 公司：有的專精于法律訴訟，有的擅長復雜工程。而人類的角色，可能會通過某種形式的“神經(jīng)連接”與 AI 實現(xiàn)部分融合，以在超級智能的時代保持平衡。

在訪談的最后，Ilya 分享了他作為頂尖科學家的核心哲學——“研究的品味”（Research Taste）。對他而言，偉大的研究往往源于對大腦機制的正確直覺，以及對美感的極致追求。

“丑陋沒有立足之地。通過觀察大腦，尋找那些簡潔、優(yōu)雅、美的解釋。當實驗數(shù)據(jù)與你的直覺沖突時，這種基于美的信念將支撐你穿越迷霧，找到真理。”

天空之城全文整理 開場: 現(xiàn)實與抽象- AI 發(fā)展的感知

Ilya: 你知道什么很瘋狂嗎？嗯哼。但這一切都是真實的。

Dwarkesh: 什么意思？

Ilya: 你不這么認為嗎？

Dwarkesh: 什么意思？

Ilya: 就像所有這些人工智能的東西和所有這些灣區(qū)的事情。它們正在發(fā)生。這不是直接來自科幻小說嗎？

Dwarkesh: 是的。另一件瘋狂的事情是，這種緩慢的起飛感覺多么正常。比如說，我們要在人工智能上投入GDP的1%，我覺得這本應是個更大的事件，你懂嗎？但現(xiàn)在感覺就是……

Ilya: 事實證明，我們很快就習慣了事物，是的。是的。但它也有點像是抽象的。比如，它意味著什么？它意味著你在新聞中看到了它。是的。某某公司宣布了某某金額。

Dwarkesh: 對。這就是你所看到的一切。

Ilya: 對。到目前為止，這并沒有以任何其他方式被感受到。

Dwarkesh: 是的。我們現(xiàn)在真的要開始嗎？我認為這是一個有趣的討論。當然。

Ilya: 我認為關(guān)于“從普通人的角度來看，沒什么太大的不同”這一點，即使到了奇點，仍然會是成立的。

Dwarkesh: 不，我不這么認為。好的，有意思。

Ilya: 所以我所說的“感覺沒有變化”是指，好的，比如某某公司宣布了一筆難以理解的巨額投資。我不認為有人知道該如何處理這筆錢。但我認為人工智能的影響將會被感受到。人工智能將滲透到整個經(jīng)濟體系中。這背后存在著非常強大的經(jīng)濟驅(qū)動力。而且我認為這種影響會感受到非常強烈。

Dwarkesh: 你預計這種影響何時會到來？我認為這些模型的表現(xiàn)比它們的經(jīng)濟影響所暗示的要智能。

評估表現(xiàn)與實際經(jīng)濟影響的脫節(jié)

Ilya: 這是目前模型中非常令人困惑的一點。如何調(diào)和它們在評估（e-vals）中表現(xiàn)如此出色的事實。你看看這些評估，你會覺得，那些評估相當難。對。它們的表現(xiàn)如此出色，但經(jīng)濟影響似乎遠遠落后。感覺很難理解模型一方面能做這些驚人的事情，而另一方面，在某種情況下會重復自己兩次，一個例子是，比如你使用 Vibe 編碼做某事，然后你去某個地方，然后遇到了一個錯誤（bug）。然后你告訴模型，請修復這個錯誤好嗎？是的。模型說，我的天，你說得太對了，我有一個錯誤。讓我去修復它。然后它又會引入第二個錯誤。是的。然后你告訴它，你有了這個新的，第二個錯誤。對。然后它告訴你，我的天哪，我怎么會犯這樣的錯誤？你又說對了。然后它又回到了第一個錯誤。是的。你可以在這兩者之間交替。是的。然后你就想，這怎么可能呢？是的。我不確定。但這確實暗示著，有些奇怪的事情正在發(fā)生。

Ilya: 我有兩種可能的解釋。所以這里，更有點異想天開的解釋是，也許強化學習（REL）訓練使得模型變得有點過于一根筋和目光狹隘，有點過于，我不知道，缺乏覺察，盡管它在其他方面也讓它們有所覺察。正是由于這一點，他們無法完成基本的事情。但還有另一種解釋，那就是在人們進行預訓練的時候，訓練數(shù)據(jù)的問題之所以得到解決，是因為答案就是“所有數(shù)據(jù)”。當你進行預訓練時，你需要所有的數(shù)據(jù)。所以你不需要去想，是使用這些數(shù)據(jù)還是使用那些數(shù)據(jù)。但是當人們進行強化學習（RL）訓練時，他們確實需要思考。他們會說，好的，我們希望針對這個任務進行這種強化學習訓練，針對那個任務進行那種強化學習訓練。

Ilya: 據(jù)我所知，所有公司都有專門的團隊來制作新的強化學習環(huán)境，并將其添加到訓練組合中。然后問題就來了，那么，這些環(huán)境是什么呢？有太多的自由度了。你可以產(chǎn)生數(shù)量極其龐大的強化學習環(huán)境。你可以做的一件事，我認為這是無意中發(fā)生的事情，就是人們從評估中汲取靈感。你說，嘿，我希望我們的模型在發(fā)布時表現(xiàn)出色。我希望評估結(jié)果看起來很棒。有什么強化學習訓練可以幫助完成這項任務呢，我認為事情確實會發(fā)生，而且我認為這可以解釋很多正在發(fā)生的事情。如果你將此與模型泛化能力不足結(jié)合起來，就有可能解釋我們所看到的很多現(xiàn)象，即評估性能與實際現(xiàn)實世界性能之間的脫節(jié)，而我們今天甚至不完全理解“現(xiàn)實世界性能”的確切含義。

Dwarkesh: 我喜歡這個觀點，即真正的獎勵作弊是那些過于關(guān)注評估的人類研究人員。我認為有兩種方式來理解或嘗試思考你剛剛指出的內(nèi)容。一種是看，如果僅僅是通過成為超人般的編碼競賽選手，模型并不會自動變得更有品味，并對如何改進你的代碼庫做出更好的判斷。那么，你應該擴展環(huán)境套件，以便你不僅僅是在編碼競賽中測試其最佳性能。它還應該能夠為X事物、Y事物或Z事物做出最合適的應用。另外一個，也許你暗示的是，為什么首先成為超人的編程競賽選手并不能讓你成為一個更有品味的程序員，或者更普遍地來說。也許應該做的事情不是不斷增加環(huán)境的數(shù)量和環(huán)境的多樣性，而是要找到一種方法，讓你能從一個環(huán)境中學習，并提高你在其他事物上的表現(xiàn)。

預訓練與強化學習：競爭性程序員的類比

Ilya: 所以我有一個可能有幫助的人類類比。既然你提到了競爭性編程，我們就以競爭性編程為例。假設(shè)你有兩個學生。其中一個決定他們想成為最優(yōu)秀的競爭性程序員，所以他們將在這個領(lǐng)域練習10000小時，解決所有問題，記住所有證明技巧，并非常非常，非常熟練地快速正確地實現(xiàn)所有算法，通過這樣做，他們成為了最優(yōu)秀的學生之一。學生二認為，競爭性編程很酷，也許他們練習了100小時，比前者少得多，而且他們也做得非常好。你認為哪一個在他們后來的職業(yè)生涯中會做得更好？

Ilya: 第二個。我認為這基本上就是正在發(fā)生的事情。這些模型更像是第一個學生，甚至更進一步，因為我們接著說，那么模型應該擅長競爭性編程，所以讓我們獲取有史以來每一個競爭性編程問題，然后我們再做一些數(shù)據(jù)增強。這樣我們就有了更多的競爭性編程問題，并且我們在此基礎(chǔ)上進行訓練。這樣一來，你就擁有了這個很棒的競爭性程序員。并且用這個類比，我認為會更直觀。我認為用這個類比會更直觀，那就是，如果它訓練得如此充分，就像所有不同的算法和所有不同的證明技術(shù)都觸手可及一樣。而且更直觀的是，有了這種程度的準備，它不一定能泛化到其他事物上。

Dwarkesh: 那么，在進行那 100 小時微調(diào)之前，第二個學生在做什么的類比又是什么呢？

Ilya: 我認為就像他們擁有了它一樣。我認為是那種“特質(zhì)因素”。是的。就像我知道，比如當我還是本科生的時候，我記得有一個學生像這樣和我一起學習。所以我知道它的存在。

Dwarkesh: 我認為將它與預訓練所做的任何事情區(qū)分開來很有趣。所以理解你剛才說的關(guān)于我們不必在預訓練中選擇數(shù)據(jù)的一種方式是說，實際上，它與一萬小時的練習沒有太大區(qū)別。只是你免費獲得了那上萬小時的練習，因為它已經(jīng)存在于預訓練分布中的某個地方。但這就像你可能在暗示，實際上預訓練的泛化能力并沒有那么多。只是免費訓練中有如此多的數(shù)據(jù)。

Ilya: 但這不像它在泛化方面一定比強化學習（RL）更好。預訓練的主要優(yōu)勢在于 A，即數(shù)據(jù)量非常大。是的。B 是你不用費心去思考應該把什么數(shù)據(jù)。放入預訓練中，而且它是一種非常自然的數(shù)據(jù)，它包含了人們所做的很多事情，人們的想法以及很多特征，就像整個世界被人們投射到文本上一樣，而預訓練試圖利用海量數(shù)據(jù)來捕捉這一點。預訓練非常難以推理，因為很難理解模型依賴預訓練數(shù)據(jù)的方式。每當模型犯錯時，是否可能是因為某些東西碰巧在預訓練數(shù)據(jù)中支持不足？預訓練的支持可能是一個比較寬泛的說法。我不知道我是否能就此增加更多有用的見解，但我認為人類中沒有與預訓練相對應的類比。

人類進化與 AI 預訓練的映射

Dwarkesh: 這里有一些人們提出的關(guān)于人類類比于預訓練的類比，我很想聽聽你對它們可能出錯的原因的看法。一種是將一個人生命中的前18年、15年或13年視為一個階段，那時他們不一定具有經(jīng)濟生產(chǎn)力，但他們正在做一些讓他們更好地理解世界的事情，等等。另一種是將進化視為完成某種服務。進行了30億年，然后產(chǎn)生了一個人類生命實例。那么我很好奇你是否認為這些類比中任何一個與預訓練真正相似，或者如果你不考慮預訓練，你會如何看待至少人類一生的學習是怎樣的？

Ilya: 我認為這兩者與預訓練都有一些相似之處，而且預訓練試圖扮演這兩者的角色。但也我認為存在一些巨大的差異。預訓練數(shù)據(jù)的量非常、非常驚人。是的。而且不知何故，一個人類個體，即使在 15 年后，只利用了那部分預訓練數(shù)據(jù)的一小部分，他們所了解的也要少得多。但無論他們知道什么，他們知道得都要深得多，不知怎的。而且，比如在這個年齡，他們不會犯像大型語言模型（RIAs）那樣的錯誤。

Ilya: 是的。還有另一件事，你可能會問，這會不會是某種類似進化的東西？答案是也許，但在本例中，我認為進化可能確實具有優(yōu)勢。比如，我記得讀過一個案例，一些，這是神經(jīng)科學家做的一件事，或者更確切地說，是神經(jīng)科學家了解大腦的一種方式，就是研究大腦不同部位受損的人。有些人表現(xiàn)出你可以想象到的最奇怪的癥狀。實際上非常、非常有趣。我記得一個與此相關(guān)的案例。我讀到過一個人，他有某種腦損傷，我想是一次中風或事故，導致他的情緒處理功能喪失了。所以他不再有任何情緒了。結(jié)果是，他仍然非常健談，能夠解決一些小難題，而且在考試中他似乎表現(xiàn)得很好。但他感受不到任何情緒，他不會感到悲傷，不會感到憤怒，也不會感到興奮，他不知怎么地在做任何決定時都變得非常糟糕，他需要花上幾個小時來決定穿哪雙襪子，而且他會做出非常糟糕的財務決定，這非常說明了我們內(nèi)置的情緒在使我們成為一個可行的主體方面究竟扮演著什么樣的角色。我想，聯(lián)系到你關(guān)于預訓練的問題，這就像是，也許如果你在預訓練中足夠擅長獲取所有信息，你也可以獲得那種能力。但這類事情似乎，嗯，它可能從預訓練中獲得，也可能無法獲得。

價值函數(shù)與情緒的作用

Dwarkesh: 那是什么？顯然不只是直接的情緒。它看起來像是一種近似于價值函數(shù)的東西，它告訴你應該做出什么樣的決定，比如任何決定的最終回報應該是什么。你不認為這會不經(jīng)意地來源于，我認為有可能會。我只是說它不是一個，不是百分之百明確的。是的。但那又是什么呢？比如，你如何看待情緒？情緒在機器學習中有什么類比嗎？

Ilya: 它應該是一種價值函數(shù)之類的東西。是的。但我認為沒有一個很好的機器學習類比，因為目前價值函數(shù)在人們所做的事情中并不扮演非常重要的角色。

Dwarkesh: 如果你想這么做，也許值得為聽眾定義一下什么是價值函數(shù)。

Ilya: 當然，我非常樂意這樣做，那么當人們進行強化學習，目前進行強化學習的方式是怎樣的呢？人們?nèi)绾斡柧毮切┲悄荏w？所以你有一個神經(jīng)網(wǎng)絡，你給它一個問題。然后你告訴模型，去解決它。模型可能會采取數(shù)千次、數(shù)十萬次的行動。或者思考或別的東西，然后它產(chǎn)生一個解決方案，該解決方案會被評分。然后該分數(shù)被用來為你的軌跡中的每一個動作提供一個訓練信號。這意味著如果你做的事情耗時很長，如果你在訓練一個需要很長時間才能解決的任務，你將完全學不到任何東西，直到你提出了擬議的解決方案。強化學習就是這樣做的。天真地做。01、R1 表觀上就是這樣做的。

Ilya: 價值函數(shù)表達的意思是，看，也許我有時可以，不總是，告訴你你做得好還是不好。價值函數(shù)的概念在某些領(lǐng)域比在其他領(lǐng)域更有用。例如，當你玩國際象棋時丟了一個棋子，我搞砸了，你不需要下完整個對局就知道我剛才做的很糟糕，因此在此之前所做的一切也都是糟糕的。所以價值函數(shù)可以讓你跳過直到最后才計算權(quán)重。比如我們假設(shè)你開始追求某種，好的，我們假設(shè)你正在做某種數(shù)學或編程方面的事情。并且你正在嘗試探索一個特定的解決方案方向。在經(jīng)過，比如說，一千步思考后，你得出結(jié)論，這個方向沒有前途。一旦你得出這個結(jié)論，你就可以在決定沿著這條路走的一千步之前就獲得了獎勵信號。你會說，下次，在類似的情況下，我不應該再走這條路了，這比你實際提出一個擬議的解決方案要早得多。這在深度強化學習（Deep Sikar 1）論文中提到過，即軌跡空間非常廣闊，因此很難學習從中間軌跡和價值到編碼的映射，而且假設(shè)你有了錯誤的觀念，然后你會回去，然后你會改變一些東西，這聽起來像是對深度學習缺乏信心，當然這可能很困難，但沒有什么事是深度學習做不到的。所以我的預期是，價值函數(shù)應該是有用的，而且我完全期待它們在未來會被使用，如果不是現(xiàn)在的話。

Ilya: 我剛才提到的那個情感中樞受損的人的情況，更多的是想表明，人類的價值函數(shù)可能以某種重要的、由進化固化的方式受到情緒的調(diào)節(jié)。也許這對人們在世界上有效運作是很重要的。

Dwarkesh: 這正是我本來計劃要問你的事情。情緒的價值功能中有一個非常有趣的點，那就是，盡管它們相當簡單易懂，卻能產(chǎn)生如此大的效用，這一點令人印象深刻。

Ilya: 所以我有兩個回應。我確實同意，與同樣的事情相比。我們所學和我們所談論的這類事情，我們所談論的情緒是相對簡單的。它們可能簡單到也許可以用人類可以理解的方式將它們描繪出來。我認為那樣做會很酷。盡管從效用的角度來看，我認為存在一個權(quán)衡，存在這種復雜性、魯棒性之間的權(quán)衡。復雜的事物可以非常有用，但在非常廣泛的情況下，簡單的事物非常有用。所以我認為理解我們所看到的一種方式是，我們擁有的這些情緒，它們基本上主要源于我們的哺乳動物祖先，然后在我們成為人科動物時進行了一點微調(diào)。盡管如此，我們確實擁有相當數(shù)量的社會性情緒，這是哺乳動物可能缺乏的。但它們不是很復雜，而且因為它們不復雜，所以在與我們實際生活在的這個非常不同的世界中，它們的服務效果不佳，它們也會犯錯誤。例如，我們的情緒，嗯，我不知道饑餓算不算情緒，這一點有爭議，但我認為例如我們直覺上的饑餓感在這個食物充裕的世界里并不能正確地指導我們。

從“擴展時代”回歸“研究時代”

Ilya: 人們一直在談論擴展數(shù)據(jù)、擴展參數(shù)、擴展算力。

Dwarkesh: 是否有更通用的思考擴展的方式？其他的擴展維度是什么？

Ilya: 所以，這是個觀點。這里有一個我認為可能是正確的觀點。機器學習過去的工作方式是人們只是用各種東西來思考，并試圖獲得有趣的結(jié)果。這就是過去發(fā)生的事情。然后，規(guī)模化洞察出現(xiàn)了，規(guī)模化定律、GPT3，突然之間，所有人都意識到我們應該進行規(guī)模化。這就是，這就是語言影響思維的一個例子。規(guī)模化只是一個詞，但它是一個如此強大的詞，因為它告訴人們該怎么做，他們說好的，讓我們嘗試擴大規(guī)模，所以你說好的，那我們在規(guī)模化什么呢？預訓練是用來規(guī)模化的一個東西，它是一種特定的規(guī)模化方法。預訓練的重大突破是認識到這種方法是有效的，所以你說嘿，如果你將一些計算力與一些數(shù)據(jù)混合到一個特定大小的神經(jīng)網(wǎng)絡中，你就會得到結(jié)果，而且如果你只是擴大這種方法的規(guī)模，結(jié)果會更好。這也很好，大公司喜歡這一點，因為它提供了一種風險非常低的資源投入方式。

Ilya: 投入資源進行研究要困難得多。比較一下。如果你進行研究，你需要讓研究人員去研究并想出一些東西，而獲取更多數(shù)據(jù)、獲取更多計算力，你知道你會從預訓練中得到一些成果。事實上，根據(jù)各種情況來看，一些人在推特上說，可能看起來像Gemini找到了一種從預訓練中獲取更多成果的方法。然而，在某個時間點，預訓練的數(shù)據(jù)將會用盡。數(shù)據(jù)非常明確是有限的。那么接下來怎么辦呢？要么你進行某種升級版的預訓練，采用與之前不同的配方，要么你在做強化學習（R.R.L.），或者可能還有其他方法。但現(xiàn)在算力很大，計算機現(xiàn)在非常龐大。從某種意義上說，我們回到了研究的時代。

Ilya: 所以也許換一種方式來表達。從2012年到2020年，這是研究的時代。現(xiàn)在，從2020年到2025年，是規(guī)模擴展的時代。或者可能是多或少。讓我們?yōu)槟切┠攴菁由险`差線，因為人們說這很驚人，你必須擴大規(guī)模，繼續(xù)擴大規(guī)模，那個詞就是“擴大規(guī)模”，但現(xiàn)在規(guī)模已經(jīng)非常大了，比如，人們真的相信，它這么大，但如果你有大 100 倍的一切，一切都會截然不同，肯定會有不同，但相信只要把規(guī)模擴大 100 倍，一切都會改變嗎？我不認為那是真的，所以又回到了研究時代，只是有了大型計算機。這是一個非常有趣的說法。

Dwarkesh: 但讓我問你剛才提出的問題。我們在擴展什么，擁有一個“配方”意味著什么？因為我猜我沒有意識到一個非常清晰的關(guān)系，它幾乎看起來像一個物理定律，這種關(guān)系在預訓練中存在，即數(shù)據(jù)或計算參數(shù)與損失之間存在冪律關(guān)系。我們應該尋求什么樣的關(guān)系，我們應該如何思考這個新“配方”可能是什么樣子。

Ilya: 所以我們已經(jīng)目睹了從一種類型的擴展到另一種類型的擴展的轉(zhuǎn)變，從預訓練到強化學習（R.L.）。現(xiàn)在人們正在擴展強化學習。現(xiàn)在根據(jù)人們在推特上所說的，他們在這個階段在強化學習上花費的計算量比在預訓練上花費的還要多，因為強化學習實際上會消耗相當多的計算量。你要進行非常非常長的回放。所以要產(chǎn)生那些回放需要大量的計算。然后你會得到相對較少的學習拉動部署。所以你真的可以花費大量的計算資源。我可以想象，我不會在這個，在這個，這更像是，我甚至不會稱之為一種規(guī)模。擴展。我會說，嘿，你到底在做什么？你所做的事情是你目前能做的最有效率的事情嗎？是的。你是否能找到一種更有效率的方式來利用你的計算資源做這件事？早些時候的價值函數(shù)業(yè)務，也許一旦人們擅長價值函數(shù)，他們就會更有效地利用他們的資源。如果你找到一種全新的模型訓練方式，你可以問，這是擴展，還是僅僅是對你資源的利用？我認為這變得有點模糊不清。在某種意義上，當人們處于研究時代時，那時就像人們說的，嘿，我們來試試這個、那個、再試試那個、再那個。噢，看，有些有趣的事情正在發(fā)生。我認為將會有一種回歸。

Dwarkesh: 所以，如果我們回到了研究時代，退一步講，我們需要最關(guān)注食譜中的哪個部分？當你說價值函數(shù)時，人們已經(jīng)在嘗試當前的食譜，但隨后讓大型語言模型作為裁判等等。你可以說那是一個價值函數(shù)，但這聽起來你心里有更根本的東西。我們是否需要回到甚至完全重新思考預訓練，而不僅僅是在該過程的末尾增加更多步驟？

Ilya: 是的。所以關(guān)于價值函數(shù)的討論，我認為很有趣。我想強調(diào)的是，我認為價值函數(shù)之類的東西將使強化學習（RL）更加高效。我認為這會產(chǎn)生影響。但我認為，任何你可以用價值函數(shù)做的事情，你也可以在沒有它的情況下做，只是速度更慢。

樣本效率與人類學習的奧秘

Dwarkesh: 我認為最根本的一點是，這些模型在泛化能力上似乎比人類差得驚人，這非常明顯，這似乎是一個非常根本性的問題。好的，所以這就是泛化的關(guān)鍵所在，這里有兩個子問題：一個關(guān)于樣本效率，即為什么這些模型需要比人類多這么多數(shù)據(jù)才能學習？第二個問題是，即使撇開所需數(shù)據(jù)量不談，為什么教給模型我們想要的東西比教給人類要困難得多？也就是說，對于人類，我們不一定需要一個可驗證的獎勵才能做到，你現(xiàn)在可能正在指導許多研究人員，你和他們交談，向他們展示你的代碼，向他們展示你的思維方式。從這些中學到他們的思維方式以及他們應該如何進行研究。你不必為他們設(shè)置一個可驗證的獎勵。這好的，這是你課程的下一部分。現(xiàn)在這是你課程的下一部分。而且，這次訓練不穩(wěn)定，而且沒有這種瑣碎的定制化過程。所以也許這兩個問題實際上以某種方式相關(guān)聯(lián)。但我對探索第二點很感興趣，這更像是持續(xù)學習，而第一點感覺就像是樣本效率。

Ilya: 所以你可以真正思考一下，關(guān)于人類樣本效率需要考慮的一個可能解釋是進化。而進化給了我們盡可能少量的最有效信息。對于視覺、聽覺和運動等事物，我認為進化實際上給了我們很多，這一點有很強的論據(jù)支持。舉個例子，人類的靈巧度遠遠超過，如果對機器人進行大量的模擬訓練，它們也可以變得靈巧。但是，讓機器人在現(xiàn)實世界中像人一樣快速學習一項新技能，似乎還遙不可及。在這里你可以說，比如運動能力，我們所有的祖先都需要出色的運動能力，松鼠，比如，所以運動能力可能意味著我們擁有一些難以置信的先驗知識。

Ilya: 視覺方面也可以做同樣的論證，我相信顏拉·汗（Yanla Khan）曾指出，比如兒童在練習10小時后16小時內(nèi)學會開車，這很真實，但我的視覺非常好，至少對我而言，當我回憶起自己五歲的時候，我那時對汽車非常著迷，我確信我五歲時對汽車的識別能力已經(jīng)足夠用于自動駕駛了，五歲時你看不到太多數(shù)據(jù)，你大部分時間都在父母家里度過，所以你的數(shù)據(jù)多樣性非常低。但你可能會說，也許這也是進化。但語言和數(shù)學編碼，可能不是。

Dwarkesh: 它們?nèi)匀凰坪鮾?yōu)于模型。模型在語言和數(shù)學編碼方面顯然優(yōu)于普通人類，但在學習方面它們是否也優(yōu)于普通人類呢？

Ilya: 絕對是。我想說的是，語言、數(shù)學編碼，尤其是數(shù)學編碼表明，使人們擅長學習的任何東西可能不是一個復雜的先驗知識，而更像是一些基本的東西。

Dwarkesh: 等等，我不確定我是否理解了。為什么會是這樣呢？

Ilya: 所以考慮一項人們表現(xiàn)出某種高度可靠性的技能，或者，如果這項技能對我們的祖先在數(shù)百萬年、數(shù)億年里非常有用的話。你可以說，你可以爭辯說，也許人類擅長它是因為進化，因為我們有一個內(nèi)嵌在某種非常微妙的方式中的進化先驗知識，使得我們?nèi)绱松瞄L它。但是，如果人們在一個直到最近才存在的領(lǐng)域表現(xiàn)出很高的能力、可靠性、魯棒性、學習能力，那么這更說明人類可能只是擁有更好的機器學習能力，就這樣。

Dwarkesh: 嗯哼。但然后我們應該如何思考那到底是什么呢？這是一個……的問題嗎？它的機器學習類比是什么……關(guān)于它，有幾件有趣的事情。它需要的樣本更少。它更無監(jiān)督。你不需要設(shè)定一個非常，就像一個孩子學習駕駛汽車，孩子，孩子們不是在學習駕駛汽車，一個青少年學習如何駕駛汽車，就像沒有完全獲得一些預先構(gòu)建的可驗證的獎勵在那里。它來源于他們與機器和環(huán)境的互動，然而它卻需要少得多的樣本。它看起來更無監(jiān)督。

Ilya: 它看起來更穩(wěn)健，人們的穩(wěn)健性真的令人震驚。是的。所以它是這樣的嗎？你是否有一種統(tǒng)一的方式來思考為什么所有這些事情同時發(fā)生？

Dwarkesh: 什么樣的機器學習類比可以實現(xiàn)這樣的事情？

Ilya: 所以，所以這就是你一直在問的其中一件事，就是青少年駕駛員如何在沒有外部老師的情況下進行自我修正并從他們的經(jīng)驗中學習？答案是，嗯，他們有自己的價值函數(shù)，他們有一種普遍的感知，順便說一句，這種感知在人類身上也是極其穩(wěn)健的。比如，無論是什么，人類的價值函數(shù)，無論人類的價值函數(shù)是什么，除了少數(shù)與成癮相關(guān)的例外，它實際上非常、非常穩(wěn)健。所以對于像一個正在學開車的青少年來說，他們開始開車，他們立刻就有了一種關(guān)于自己駕駛情況的感覺，他們有多么不自信，然后他們看到了，好的，然后，當然，任何青少年的學習速度都非常快，十個小時后，你就可以上路了。

Dwarkesh: 是的。看來人類確實有某種解決方案，但我好奇的是，他們是如何做到的？還有，我們?nèi)绾涡枰匦赂拍罨覀冇柧毮Ｐ偷姆绞剑拍苁惯@樣的事情成為可能？

Ilya: 這是一個很好的問題。這是一個我有很多看法的領(lǐng)域。但不幸的是，我們生活在一個并非所有機器學習思想都能自由討論的世界里，而這就是其中之一。所有機器學習想法都被自由討論，而這是一個。所以可能有一種方法可以做到。我認為這是可以做到的。人們是那種狀態(tài)的事實，我認為這證明了它是可以做到的。不過可能還存在另一個阻礙因素，那就是人類神經(jīng)元實際上的計算量可能比我們想象的要大。如果情況屬實，并且如果這起著重要的作用，那么事情可能會更困難。但無論如何，我確實認為這指向了某種機器學習原理的存在，我對這些原理有自己的看法，但不幸的是，環(huán)境使我難以詳細討論。

Dwarkesh: 沒有人聽這個播客，伊利亞。是的。所以我必須說，為伊利亞做準備相當艱難，因為我和其他任何人都不知道他正在研究什么，也不知道SSI試圖做什么。我沒有任何依據(jù)來提出我的問題。說實話，我唯一能依靠的就是從第一性原理出發(fā)思考AGI的瓶頸是什么，因為很明顯伊利亞在某種程度上正在研究這些瓶頸。這個問題的一部分涉及到思考強化學習（RL）的擴展性，因為每個人都在問 RL 的泛化能力如何，以及我們?nèi)绾文茏屗夯酶谩?/p>

強化學習的擴展性與 Gemini 的輔助

Dwarkesh: 在此過程中，我閱讀了一篇最近發(fā)表的關(guān)于 RL 擴展性的論文，它顯示實際上 RL 的學習覆蓋看起來像一個 S 形曲線。我覺得這非常奇怪。為什么會是一個 S 形曲線，即模型長時間內(nèi)學習很少，然后迅速學習很多，最后趨于漸近線？這與你在預訓練中看到的冪律非常不同，后者是模型在最開始時學習很多，然后隨著時間的推移學習得越來越少。這實際上讓我想起了一張筆記，那是我與一位研究人員朋友交談后寫下的，他指出，為了找到一個正確的答案所需的樣本數(shù)量，會隨著你當前的概率分布與目標概率分布的差異程度呈指數(shù)級增長。我在思考這兩個想法是如何關(guān)聯(lián)的。我有一個模糊的想法，它們應該是有聯(lián)系的，但我真的不知道如何聯(lián)系。我沒有數(shù)學背景，所以我無法真正形式化它。但我很好奇 Gemini 3 能否在這方面幫到我。

Dwarkesh: 于是我拍下了我的筆記本的照片，拿出了那張紙，將兩者都置于 Gemini 3 的上下文中，并要求它找出其中的聯(lián)系。它思考了一會兒。然后它意識到，在強化學習中，從一個“是”或“否”的結(jié)果中獲得信息的正確建模方式是隨機二元變量的熵。它繪制了一張圖表，顯示了在強化學習與監(jiān)督學習中，隨著通過率的增加，每次采樣的增益比特數(shù)是如何變化的。就在我看到 Gemini 3 制作的圖表時，立刻有很多事情對我來說變得有意義了。然后我想看看這個理論是否有任何經(jīng)驗基礎(chǔ)。所以我讓 Gemini 編寫代碼進行實驗，以證明損失的改善是否會隨著通過率以這種方式擴展。我只是拿了 Gemini 輸出的代碼，將其復制粘貼到一個 Google Colab 筆記本中，然后我就能夠在沒有一個錯誤的情況下運行這個玩具機器學習實驗并可視化其結(jié)果。

Dwarkesh: 這很有趣，因為結(jié)果看起來相似，但與我們預期的不完全相同。于是我下載了這張圖表，將其輸入給 Gemini，并問它，這里發(fā)生了什么？它提出了一個我認為實際上是正確的假設(shè)，即我們通過固定的學習率限制了監(jiān)督學習在開始階段可以提升的上限。事實上，我們應該隨著時間的推移降低學習率。這實際上讓我們直觀地理解了為什么在實踐中，我們有隨時間降低學習率的學習率調(diào)度器。我完成了從提出這個模糊的初始問題，到建立理論理解，再到運行一些玩具機器學習實驗的整個流程，所有這些都是使用 Gemini III 完成的。這感覺是第一個能夠建立我預料之外的新聯(lián)系的模型。實際上，現(xiàn)在它已經(jīng)成為我想就一個問題集思廣益新思路時的默認去處。如果你想閱讀更多關(guān)于強化學習（RL）擴展的內(nèi)容，可以查看我與 Gemini 3 稍微合作撰寫的一篇博文。如果你想親自了解 Gemini 3，請訪問 gemini。點 google。

研究所需的算力與 SSI 的策略

Dwarkesh: 我很好奇，你說我們回到了一個研究時代，您經(jīng)歷了 2012 年到 2020 年。那么，如果我們回到研究時代，現(xiàn)在的氛圍會是怎樣的呢？例如，即使在 AlexNet 之后，用于運行實驗的計算量仍在增加，前沿系統(tǒng)的規(guī)模也在不斷擴大，你現(xiàn)在是否認為這個研究時代仍然需要大量的計算資源？你是否認為需要回到檔案庫中閱讀舊論文？在谷歌、OpenAI 和斯坦福等地方，當時的研究氛圍是怎樣的？社區(qū)中我們應該期待出現(xiàn)什么樣的現(xiàn)象？

Ilya: 規(guī)模化時代的一個后果是，規(guī)模化吸走了房間里的所有空氣。是的。正因為規(guī)模化吸走了房間里的所有空氣，每個人都開始做同樣的事情。我們到了這樣一個地步：在這個世界上，公司的數(shù)量遠超想法的數(shù)量。事實上，關(guān)于這一點，硅谷有一句老話，說想法是廉價的，執(zhí)行才是最重要的。人們經(jīng)常這樣說。這其中有道理。但后來我在推特上看到有人說，如果想法如此廉價，為什么沒有人有新想法呢？我認為這也是真的。我想，如果你從瓶頸的角度來考慮研究進展，會存在幾個瓶頸。如果你回溯，其中一個瓶頸是想法，另一個是實現(xiàn)這些想法的能力，這可能涉及計算能力，但也涉及工程技術(shù)。所以如果你回到上世紀90年代，比如說，當時有一些人有相當不錯的想法。如果他們擁有更大的計算機，也許他們就能證明自己的想法是可行的。但他們做不到。所以他們只能做一個非常非常小的演示，沒能說服任何人。因此，瓶頸在于計算能力。

Ilya: 然后在規(guī)模擴展的時代，計算機大幅增加了。當然，這里有一個關(guān)于需要多少計算能力的問題，但計算能力是巨大的。所以計算量足夠大，以至于用更多的計算量來證明某個想法是否必要，這一點并不明顯。比如，我給你舉個類比。Alexnet 是在兩塊 GPU 上構(gòu)建的。那是它使用的總計算量。Transformer 是在八到六十四塊 GPU 上構(gòu)建的。在 2017 年，沒有單個 Transformer 論文實驗使用的 GPU 超過 64 塊，這相當于今天的多少呢？大約兩塊 GPU 吧？所以 Resnet，對吧，很多，比如你可以說，像 01 時代的推理并不是世界上計算量最大的東西。所以對于研究來說，肯定需要一定量的計算資源，但遠非絕對必要使用有史以來最大的計算量來進行研究。你可能會爭辯說，而且我認為這是真的，如果你想構(gòu)建絕對最好的系統(tǒng)，如果你想構(gòu)建絕對最好的系統(tǒng)，那么擁有更多的計算資源會有幫助。特別是當所有人都處于相同的范式下時，計算資源就成為主要的區(qū)別因素之一。

Dwarkesh: 我想雖然這些想法是可能的，但我問你歷史是因為你當時真的在場。我不確定到底發(fā)生了什么。但聽起來，使用最少量的計算資源就有可能發(fā)展出這些想法。但事實并非如此，Transformer 模型并未立即成名。它成為了每個人開始采用、并在其基礎(chǔ)上進行實驗和構(gòu)建的東西，因為其在越來越高的計算量級別上得到了驗證。是的。如果在 SSI 你有 50 個不同的想法，在沒有其他前沿實驗室那樣的計算資源的情況下，你如何知道哪個是下一個 Transformer，哪個是，脆弱的呢？

Ilya: 我可以對此發(fā)表評論，簡短的回答是，你提到了 SSI。具體來說，對于我們來說，SSI 用于研究的計算量實際上并不算少。我想解釋一下原因，比如一個簡單的數(shù)學可以解釋為什么我們擁有的計算量實際上比人們想象的更適合研究。請解釋一下。SSI 已經(jīng)籌集了 30 億美元，這本身不算少，但從絕對意義上講已經(jīng)很多了，但你可能會說，看看那些籌集了更多資金的其他公司。但是他們的大部分，他們的大部分計算資源都用于推理。比如這些大筆的資金，這些大筆的貸款，是專門用于推理的。這是第一點。第二點是，如果你想要一個可以進行推理的產(chǎn)品，你需要一支龐大的工程師、銷售人員隊伍，大量的研究需要投入到生產(chǎn)各種與產(chǎn)品相關(guān)的功能。所以當你審視真正剩下的研究內(nèi)容時，差距就小得多了。那么，另一件事是，如果你在做一些不同的事情，你真的需要絕對最大的規(guī)模才能證明它嗎？我認為這完全不是真的。我認為在我們的案例中，我們擁有足夠的算力來證明，以讓我們自己和任何其他人相信我們所做的是正確的。

Dwarkesh: 有公開的估算，像Open AI這樣的公司每年在實驗上花費大約五六十億美元。嗯哼。這與他們花費在推理等方面的時間和金錢是分開的。所以看起來他們每年花在運行研究實驗上的錢，比你們公司的總資金還要多。我認為這是一個關(guān)于你如何使用它的問題。

Ilya: 這是一個關(guān)于你如何利用它的問題。比如他們擁有，比如，我認為在他們的情況下，在其他人的情況下，我認為對訓練計算的需求要大得多。有更多不同的工作流。有不同的模態(tài)。就是有更多東西。因此它變得碎片化了。SSI將如何盈利？我對這個問題的回答是，我們現(xiàn)在只是專注于研究，然后那個問題的答案就會自己顯現(xiàn)出來。我認為會有很多可能的答案。

直通超級智能：SSI 的路徑選擇

Ilya: SSI的計劃仍然是直接實現(xiàn)超級智能嗎？也許我認為這有其價值，我認為它有很多價值，因為我認為不受日常市場競爭的影響是非常好的，但我認為有兩個原因可能會導致我們改變計劃，一個是從實際角度出發(fā)，如果時間線變得很長，這確實有可能發(fā)生；第二個是我認為最強大的人工智能能夠走出去并影響世界具有很大的價值。我認為這是一件非常有價值的事情。

Dwarkesh: 那么，你默認的計劃是直接追求超級智能的原因是什么？因為聽起來，OpenAI、Anthropic、所有這些其他公司的明確想法是，看，我們擁有越來越弱的智能，公眾可以習慣并為此做好準備。為什么直接構(gòu)建一個超級智能可能更好呢？

Ilya: 那么，我將陳述支持和反對的理由。支持的理由是，人們在市場上遇到的一個挑戰(zhàn)是他們必須參與到這場“老鼠賽跑”中。而這場“老鼠賽跑”非常艱難，因為它會讓你面臨必須做出的艱難的權(quán)衡。而且，說我們能夠隔絕所有這些干擾，只專注于研究，等到準備好了才出現(xiàn)，而不是提前出現(xiàn)，這確實很不錯。但反駁的觀點也同樣有效。而這些是相互對立的力量。反駁的觀點是，嘿，讓世界看到強大的人工智能是有益的。讓世界看到強大的人工智能是有益的，因為那是你能夠傳達它的唯一方式。

Dwarkesh: 嗯，我猜不僅是傳達這個想法，而是傳達人工智能本身。

Ilya: 不是那個想法，是傳達人工智能本身。你說的傳達人工智能是什么意思？好的，所以我們假設(shè)你讀了一篇關(guān)于人工智能的文章。是的。這篇文章說人工智能將是這個，人工智能將是它將是這個。你讀了它，然后你說，這是一篇有趣的文章。對。現(xiàn)在假設(shè)你看到人工智能正在做這個，人工智能正在做這是無法相比的。基本上，我認為人工智能存在于公眾視野中會帶來巨大的好處。這將是我們不能完全直截了當?shù)脑颉?/p>

Dwarkesh: 是的。我想甚至不是那樣，但我確實認為那是其中一個重要部分。另一個重要因素是，我認為在人類工程學和研究的其他人文科學領(lǐng)域中，最終產(chǎn)物的安全性提高主要是通過思考如何使其安全，而不是思考為什么如今每英里的飛機失事率比幾十年前要低得多。比幾十年前要低得多。為什么如今在 Linux 中發(fā)現(xiàn)一個錯誤比幾十年前要困難得多？我認為這主要是因為這些系統(tǒng)已經(jīng)部署到全世界了。你注意到了故障。這些故障得到了修正，系統(tǒng)變得更加健壯。現(xiàn)在，我不確定人工智能和超人智能會有什么不同，特別是考慮到，我希望我們能討論到這一點。似乎超級智能的危害不僅僅是存在一個惡意的“回形針最大化器”，而是這確實是一個非常強大的事物，我們甚至不知道如何概念化人們將如何與之互動，人們將用它來做什么，而逐步獲取它似乎是分散其影響并幫助人們?yōu)橹龊脺蕚涞母梅绞健?/p>

Ilya: 嗯，我認為在這一點上，即使在直接部署的情況下，你仍然會采取漸進式發(fā)布。這是我所能想象到的。漸，或者說，漸進主義將是任何計劃中固有的組成部分。只是一個關(guān)于你首先要推出什么的問題。這是第一點。第二點，我也認為，我相信你比其他人更倡導持續(xù)學習。而且我實際上認為這是一件重要且正確的事情。原因如下。這樣，有一件事，我再給你舉一個關(guān)于思維如何，語言如何影響思維的例子，在這種情況下，是兩個詞，兩個塑造了每個人的思維的詞，我堅持認為是第一個詞“通用人工智能”（AGI），第二個詞是“預訓練”。讓我解釋一下，所以“通用人工智能”（AGI）這個詞，這個術(shù)語為什么存在？這是一個非常特殊的術(shù)語，它為什么存在？它存在是有原因的。我認為“通用人工智能”（AGI）這個術(shù)語存在的原因，與其說是它像是一種對某種智能終極狀態(tài)非常重要、必不可少的描述，不如說是對另一個已存在的術(shù)語的反應，那個術(shù)語是“狹隘人工智能”（Narrow AI）。如果你回顧游戲人工智能、國際象棋人工智能、電腦游戲人工智能的古老歷史。每個人都會說，看看這個狹隘的智能。

Ilya: 當然，國際象棋人工智能可以擊敗卡斯帕羅夫，但它什么也做不了別的。它是如此狹隘，是人工窄智能。所以作為回應，作為對此的一種反應，有些人說，這不太好。它太狹隘了。我們需要的是通用人工智能。通用人工智能，一種可以做所有事情的人工智能。第二個并且這個術(shù)語獲得了很大的關(guān)注，第二個獲得很大關(guān)注的是預訓練，特別是預訓練的配方。我認為目前人們做強化學習（RL）的方式可能正在消除預訓練的概念印記，但預訓練具有這樣的特性：你做更多的預訓練，模型在幾乎所有方面都會變得更好，大致均勻地提升。通用人工智能。預訓練可以帶來通用人工智能（AGI）。但是通用人工智能和預訓練發(fā)生的事情是，在某種意義上，它們超出了目標。因為如果你思考通用人工智能這個術(shù)語，你會意識到，特別是在預訓練的背景下，你會意識到人類并不是通用人工智能。因為人類，肯定有一個技能基礎(chǔ)，但人類，人類缺乏大量的知識。相反，我們依賴持續(xù)學習。我們依賴持續(xù)學習。

Ilya: 所以，然后當你想到，好的，我們假設(shè)我們?nèi)〉昧顺晒Γa(chǎn)生了一種某種安全的超級智能。問題是，但你如何定義它？在持續(xù)學習的曲線上，它會在哪里？我會產(chǎn)生一個像一個非常渴望去做的超級聰明的15歲的人，然后你說，我打算，他們對什么都知之甚少。這個偉大的學生，非常熱切。你去當一個程序員。你去當一個醫(yī)生。去學習。所以你可以想象，部署本身將涉及某種學習的試錯階段。這是一個過程，而不是你扔出一個完成品。

Dwarkesh: 好的，我明白了。所以你的意思是。你指出的關(guān)于超級智能的東西，并不是一個知道如何在經(jīng)濟中完成每一項工作的、已完成心智，因為比如說，我認為定義通用人工智能（AGI）的最初論述是它可以做人類能做的每一項工作，而你提出的則是一個可以學會做任何單一工作的，每一個工作，這就是超級智能，但是一旦你有了學習算法，它就會以人類勞動力加入組織的方式部署到世界。算法，它就會以人類勞動力可能加入組織的方式部署到世界。似乎會發(fā)生這兩件事之一，也許兩者都不會發(fā)生。

持續(xù)學習模型與經(jīng)濟增長

Dwarkesh: 第一，這個超高效的學習算法變得超人，變得和你一樣好，甚至在機器學習研究這項任務上變得更好。結(jié)果是，該算法本身變得越來越超人。第二種情況是，即使那樣沒有發(fā)生，如果你有一個單一的模型——這明確是你的設(shè)想——如果你有一個單一的模型，其部署在經(jīng)濟中、執(zhí)行不同工作的實例，學習如何完成這些工作，在工作中持續(xù)學習，學習到任何人類可以學到的所有技能，但實際上同時學習所有這些技能，然后將這些學習到的東西融合起來，那么你基本上就擁有了一個在功能上變得超級智能的模型，即使沒有任何軟件層面的遞歸自我改進。因為你現(xiàn)在有一個模型可以完成經(jīng)濟中的每一項工作，而人類無法以同樣的方式融合心智。那么你是否預期在廣泛部署后會出現(xiàn)某種智能爆炸？

Ilya: 我認為很可能會出現(xiàn)快速的經(jīng)濟增長。我認為廣泛部署，比如你可以提出兩個相互沖突的論點。一是，你看，如果確實，一旦你達到了擁有一個可以快速學習做事的人工智能的點，并且你有很多這樣的AI，那么除非有某種監(jiān)管阻止，否則將有強大的動力將它們部署到經(jīng)濟中，順便說一句，它們可能會有監(jiān)管。但我認為在一段時間內(nèi)出現(xiàn)非常快速的經(jīng)濟增長是很有可能的，這是由廣泛部署帶來的，另一個問題是它會有多快，所以我認為這很難知道，因為一方面你有這個非常高效的工人，另一方面世界非常龐大，有很多東西，而這些東西以不同的速度移動，但另一方面，現(xiàn)在AI可以，確切地說。所以，我認為非常快速的經(jīng)濟增長是可能的。我們將看到各種情況，比如不同國家有不同的規(guī)則，那些規(guī)則更友好的國家，經(jīng)濟增長會更快。很難預測。

Dwarkesh: 我們的一些聽眾喜歡閱讀文字記錄而不是收聽節(jié)目。因此，我們投入了大量的精力，力求使轉(zhuǎn)錄文本讀起來就像是獨立的論述。問題在于，如果你只是使用語音轉(zhuǎn)文本模型逐字轉(zhuǎn)錄對話，其中會充斥著各種不連貫和令人困惑的措辭。我們向Labelbox提到了這個問題，他們詢問是否可以派駐人員。與他們在這方面合作，可能是我最樂意向人們推薦Label Box的原因。這不僅僅是，“嘿，告訴我們你需要什么樣的數(shù)據(jù)，然后我們會去獲取。”他們引導我們完成了整個流程，從幫助我們首先確定需要什么樣的數(shù)據(jù)，到組建一支專家對齊師團隊來生成這些數(shù)據(jù)。即使在我們收回所有數(shù)據(jù)之后，Labelbox仍然保持參與其中。他們幫助我們選擇了合適的基座模型，并在模型的輸出上設(shè)置了自動質(zhì)量保證（AutoQA），以便我們進行調(diào)整和完善。現(xiàn)在，我們有了一個新的轉(zhuǎn)錄工具，可以用于我們今后的所有劇集。這只是Labelbox在理念層面接觸客戶，并在其整個旅程中與客戶合作的一個例子。如果您想了解更多信息，或者想親自試用轉(zhuǎn)錄工具，請訪問 labelbox.com 斜杠 thwartcash。

Dwarkesh: 我認為這是一種非常危險的境地，你看，在極限情況下，我們知道這應該是可能的，因為如果你擁有一個在學習方面和人類一樣好的東西，但它可以以人類無法合并的方式來合并其“大腦”，合并不同的實例。這似乎已經(jīng)是一件在物理上應該可能實現(xiàn)的事情。人類是可能的。數(shù)字計算機是可能的。你只需要將這兩者結(jié)合起來就能產(chǎn)生這個東西。而且這種東西似乎也非常……強大，經(jīng)濟增長是其中一種說法，我的意思是戴森·斯皮爾（Dyson Speer）帶來了巨大的經(jīng)濟增長，但另一種說法是，你可能會有一個非常短的時間段，因為一個在職的人類，你雇傭人們六個月后，他們基本上就實現(xiàn)了凈生產(chǎn)力，人類學習得非常快，所以這個東西正在變得越來越聰明，非常快。如何思考如何讓它順利發(fā)展，以及為什么 SSI 能夠很好地做到這一點？或者 SSI 的計劃是什么，基本上我就是想問這個。

AI 的感知能力與未來安全圖景

Ilya: 是的。所以我的想法發(fā)生變化的一種方式是，我現(xiàn)在更重視人工智能的增量式和預先部署。人工智能一個非常困難的地方在于我們正在談論。關(guān)于尚不存在的系統(tǒng)，并且很難想象它們。我認為正在發(fā)生的一件事是，在實踐中，非常難以感受到通用人工智能（AGI）。非常難以感受到AGI。我們可以談論它，但這就像談論遙遠的未來，就像想象一下，像是在談論年老體衰時的感受，你可以進行對話，你可以試著去想象，但這只是很困難，然后你回到現(xiàn)實，情況并非如此，我認為圍繞AGI及其未來能力的許多問題都源于這樣一個事實：非常難以想象未來的AI將會是不同的，它將是強大的。事實上，整個問題，AI和AGAI的問題是什么？整個問題在于能力。整個問題在于能力。當能力非常強大時，會發(fā)生什么？過去一年中我改變想法的方式之一，所以這種想法的轉(zhuǎn)變可能會，我這么說吧，我稍微保留一下，可能會反饋到我們公司的計劃中，那就是，如果很難想象該怎么做，你就必須展示出來，你必須展示出來，我堅持認為，我認為大多數(shù)從事人工智能的人也無法想象，因為它與人們?nèi)粘Ｋ姷降氖挛锊町愄罅恕?/p>

Ilya: 我確實堅持認為，我在這里預測一件事將會發(fā)生，這是一個我堅持的預測，那就是隨著人工智能變得越來越強大，人們的行為將會改變。我們將看到所有現(xiàn)在沒有發(fā)生的、前所未有的事情。我會舉一些例子。我確實認為，無論好壞，前沿公司將在未來的發(fā)展中扮演非常重要的角色，政府也是如此，而且我認為你將看到一些事情的開端，即那些激烈競爭的公司開始在人工智能安全方面進行合作。你可能已經(jīng)看到了OpenAI和Anthropic邁出了第一個小小的步伐，但這種合作以前是不存在的，這正是我大約三年前在一次演講中預測會發(fā)生的事情。我還堅持認為，隨著人工智能變得越來越強大，越來越明顯地強大，政府和公眾也會產(chǎn)生做點什么的愿望，我認為這是向人工智能展示其重要性的一個非常重要的驅(qū)動力，這是第一點。

第二點，那么人工智能正在被構(gòu)建，需要做什么呢？我堅持認為會發(fā)生的一件事是，目前從事人工智能工作的人們，我堅持認為人工智能感覺不到強大是因為它的錯誤。我確實認為，在某些時候，人工智能會開始感覺強大起來。我認為當這種情況發(fā)生時，我們將看到所有人工智能公司對待安全的方式發(fā)生巨大變化。它們會變得更加偏執(zhí)。我這樣說是基于一個我預測將會發(fā)生的事件。我們將看看我是否正確。但我認為這是會發(fā)生的事情，因為他們將看到人工智能變得越來越強大。我認為目前發(fā)生的一切都是因為人們看待當今的人工智能時，很難想象未來的AI，而且還有第三件事必須發(fā)生，我認為就是這個，我從更廣泛的角度談論它，而不僅僅是從SSI的角度談論，因為你問我關(guān)于我們公司的看法，但問題是，那么公司應該以什么為目標去構(gòu)建什么呢？有一個大家一直深陷其中的重大理念，那就是自我改進的AI。

為什么會發(fā)生這種情況？因為公司的數(shù)量多于想法的數(shù)量。但我堅持認為有更好的東西可以構(gòu)建。我認為每個人都會真正想要那個東西。就像一個牢固地、明確地致力于關(guān)懷有感知生命的AI。我認為特別是，有一種論點可以提出，構(gòu)建一個關(guān)懷有感知生命的AI比僅構(gòu)建一個只關(guān)懷人類生命的AI要容易，因為AI本身也會是有感知的。如果你考慮鏡像神經(jīng)元和人類對動物的同理心，你可能會爭辯說它不夠強大，但它的確存在。我認為這是我們通過用于模擬自身的同一電路來模擬他人的這樣一個事實所產(chǎn)生的涌現(xiàn)屬性，因為那是最高效的做法。因此，即使你讓一個人工智能去了解有感知能力的生命，而且如果解決了對齊問題，我也不清楚這是否是你應該努力做的事情，但絕大多數(shù)有感知能力的生命體仍然會是人工智能。最終將會有數(shù)萬億，乃至數(shù)千萬億的人工智能。

Dwarkesh: 人類將只占有感知生命體的極小一部分。

Ilya: 所以，如果目標是某種人類對這個未來文明的控制，那么這是否是最佳標準，對我來說并不明確。這是事實。我認為這是可能的。這不是最佳標準。我想說兩點。我認為第一點，我認為如果存在，所以我認為關(guān)心有感知能力的生命，我認為它有其價值。我認為應該予以考慮。我認為如果有一個簡短的想法清單，然后公司在遇到這種情況時可以利用，那將會是有幫助的。這是第二點。第三點，我認為如果最強大的超級智能的能力在某種程度上受到限制，將會帶來實質(zhì)性的幫助，因為這將解決許多此類擔憂。如何做到的問題，我不確定，但我想在談論真正非常強大的系統(tǒng)時，這將提供實質(zhì)性的幫助。

Dwarkesh: 在我們繼續(xù)討論要素之前，我想就這一點做進一步的深入探討。頂層還有多大的空間？您如何看待超級智能？您認為，我是說，利用這種學習效率的想法，它可能只是極快地學習新技能或新知識嗎？并且它是否擁有更龐大的策略庫？核心中心是否存在一個單一的、統(tǒng)一的、更強大的或更大的“它”？如果是這樣，您是否想象它與其余人類文明相比將是神一般的存在，還是僅僅感覺像是另一個智能體或另一組智能體？

Ilya: 所以這是不同的人有不同直覺的一個領(lǐng)域。我認為這肯定會非常強大。我認為最有可能發(fā)生的情況是，將會有多個。多個這樣的人工智能大致在同一時間被創(chuàng)建出來。我認為，如果集群足夠大，比如集群的大小真的達到洲際規(guī)模，那么那個東西確實會非常強大。如果你真的擁有一個洲際規(guī)模的集群，那些人工智能可能會非常強大。我能告訴你的就是，如果你談論的是極其強大的、真正具有戲劇性強大的人工智能，那么如果它們能在某種程度上受到約束，或者存在某種協(xié)議或類似的東西，那會更好。因為我認為，如果你在說，嘿，比如如果你真的，比如超級智能的擔憂是什么？解釋這種擔憂的一種方式是什么？如果你想象一個功能足夠強大的系統(tǒng)，比如真正功能強大，你可以說，你需要做一些合乎情理的事情，比如以一種非常專一的方式關(guān)懷有情生命，我們姑且這么說。我們可能不喜歡這些結(jié)果。這就是它的真實面貌。所以也許，順便說一句，答案是你不構(gòu)建單一的、你不會以通常意義上構(gòu)建一個相關(guān)性代理（REL agent）。

Ilya: 事實上，我會指出幾點。我認為人類是一個半相關(guān)性代理（semi-a-rel agent）。我們追求一個獎勵，然后情緒或其他因素使我們對這個獎勵感到厭倦。我們追求另一個獎勵。市場就像一種，就像一種非常短視的代理。進化也是如此。進化在某些方面非常智能，但在其他方面非常愚蠢。政府的設(shè)計宗旨是讓三個部門之間進行永無休止的斗爭，這產(chǎn)生了影響。所以我思考諸如此類的事情。使這次討論變得困難的另一個原因是，我們談論的是尚不存在、我們不知道如何構(gòu)建的系統(tǒng)。對，那是另一回事。這實際上是我的信念。我認為人們現(xiàn)在所做的會取得一定的進展，然后就會逐漸消退。它會繼續(xù)改進，但它也不會是最終形態(tài)。所以那個最終形態(tài)，我們不知道如何構(gòu)建。我認為很多事情取決于對可靠泛化的理解。現(xiàn)在再說另一件事，就是，你可以說的一件事是，什么會讓這種對齊變得困難，那就是人類的價值，你學習人類價值的能力是脆弱的，那么你優(yōu)化這些價值的能力也是脆弱的。你會，你實際上學會了優(yōu)化它們。那么你難道不能說，這些不都是不可靠泛化的實例嗎？為什么人類似乎泛化得更好呢？如果泛化能力要好得多會怎樣？在這種情況下會發(fā)生什么？效果會是什么。但那些我們做不到的，比如那些問題現(xiàn)在仍然無法回答。

Dwarkesh: 如何思考人工智能發(fā)展順利的樣子？因為我認為你已經(jīng)概述了人工智能可能如何發(fā)展，將會擁有這類持續(xù)學習的智能體。人工智能將非常強大。也許會有許多不同的AI。你認為許多大陸規(guī)模的智能體四處游蕩，情況如何？那有多危險？我們?nèi)绾尾拍軠p少這種危險？我們?nèi)绾我砸环N保護性地維持平衡的方式來做這件事，即使存在著目標未對齊的AI和不良行為者？

Ilya: 所以我喜歡關(guān)心有感知生命的AI的一個原因，我們可以爭論它是好是壞。但如果最初的N個這樣的宏大系統(tǒng)確實關(guān)心這一點。關(guān)心，熱愛人類或者其他什么，關(guān)心有感知性的生命。顯然，這也是需要實現(xiàn)的。這需要實現(xiàn)。所以，如果最初的那些系統(tǒng)能夠?qū)崿F(xiàn)這一點，那么我認為至少在相當長的一段時間內(nèi)，事情會進展順利。然后是關(guān)于長期會發(fā)生什么的問題。長期會發(fā)生什么？你如何實現(xiàn)長期均衡？我認為也有一個答案，我不喜歡這個答案，但需要認真考慮。從長遠來看，你可能會說，如果你處于一個短期內(nèi)權(quán)力強大存在的世界，你可以說，你實現(xiàn)了普遍的高收入，你實現(xiàn)了普遍的高收入，我們都過得很好，但我們知道佛教徒怎么說？變化是永恒的，所以事物會變化，存在某種政府政治結(jié)構(gòu)的東西，它會發(fā)生變化，因為這些東西都有保質(zhì)期，出現(xiàn)了一種新的政府事務，它在運作，但一段時間后它就不再運作了，這是我們一直看到的情況。所以我想，對于長期均衡，一種方法是你可能會說，也許每個人都會有一個為他們辦事的人工智能。那很好。

Ilya: 如果這種情況可以無限期地維持下去，那確實如此。但是那樣的缺點是，那么人工智能就會去賺取，為這個人賺錢，并且，在政治領(lǐng)域為他們的需求進行倡導。也許然后寫一份小報告說，這是我所做的，這是情況。然后這個人說，太棒了，繼續(xù)努力。但這個人不再是一個參與者了。然后你可以說那是一個危險的境地。但是，我先聲明一下，我不喜歡這個解決方案，但它確實是一個解決方案。這個解決方案是人們通過某種升級版神經(jīng)連接技術(shù)，與人工智能部分融合。因為結(jié)果是，現(xiàn)在人工智能理解了某些東西，而我們也理解了它。因為現(xiàn)在這種理解是整體性傳輸?shù)摹Ｋ袁F(xiàn)在，如果人工智能處于某種情境中，你就仿佛完全身臨其境。我認為這就是實現(xiàn)平衡的答案。

Dwarkesh: 我想知道，那些在數(shù)百萬年，甚至在許多情況下數(shù)十億年前，在一個完全不同的環(huán)境中發(fā)展起來的情緒，至今仍然如此強烈地指導著我們的行為，這是否是一個“對齊成功”的例子，我來解釋一下我的意思。腦干中存在著這些，我不知道稱之為價值函數(shù)還是獎勵函數(shù)更準確，但腦干有一個指令，它告訴我們?nèi)ヅc一個更成功的人交配。皮層是理解在現(xiàn)代環(huán)境中成功意味著什么的那個部分。但腦干能夠讓皮層保持一致，并說，無論你如何定義成功，我都不夠聰明去理解那到底是什么。你仍然會去執(zhí)行這個指令。

Ilya: 我認為有，所以我認為有一個更普遍的觀點。我認為大腦如何編碼高層次的欲望，實際上是一個非常神秘的問題。抱歉，是進化如何編碼高層次的欲望。比如，進化如何賦予我們對聞起來好的食物的欲望，是相當容易理解的。因為氣味是一種化學物質(zhì)，所以只需要追求那種化學物質(zhì)。很容易想象進化會做這樣的事情，但進化也賦予了我們所有這些社會欲望，比如我們非常在意被社會積極地看待，我們在乎良好的聲譽，我們喜歡我們擁有的所有這些社會直覺，我堅信它們是根深蒂固的，但我不知道進化是如何做到的，因為它是在大腦中表示的一個高層次概念，比如人們的想法，比如說你關(guān)心某個社會性的東西，它不像氣味那樣的低層次信號，它不是有傳感器的東西，大腦需要進行大量的處理，將許多信息片段拼湊起來，以理解社會上發(fā)生的事情，而進化不知何故說你應該關(guān)心它是如何做到的？而且它做得很快，因為我認為我們所關(guān)心的所有這些復雜的社會性事物，我認為它們進化得相當晚近。

Ilya: 所以進化在硬編碼這個高層次的欲望時是很輕松的。我堅持認為，或者至少我要說，我不知道關(guān)于它是如何完成的有力假說。我有一些正在思考的想法，但沒有一個讓我滿意。

Dwarkesh: 是的。尤其令人印象深刻的是，如果這是一個你在有生之年習得的愿望，那還說得通，因為你的大腦是智能的。為什么我們能夠習得智能的愿望是說得通的。但你的觀點是，這個愿望，也許這不是你的觀點，但理解它的一個方式是，這個愿望是內(nèi)建于基因組中的。而基因組不是智能的，但它能夠，你不知何故能夠描述這個特征，這個特征甚至難以明確定義。

Ilya: 并且你可以將其植入，你可以將其構(gòu)建到基因中。本質(zhì)上是這樣。或者也許我換個方式來說。如果你考慮基因組可用的工具，它說，好的，這是一個構(gòu)建大腦的配方。你可以說，這里有一個將多巴胺神經(jīng)元連接到嗅覺傳感器的“食譜”。如果這種氣味是某種，好聞的氣味，你就想吃它。我可以想象基因組會這樣做。我認為這更難想象。更難想象的是，基因組會說你應該關(guān)心一些。你的整個大腦，就像你大腦的一大塊區(qū)域所進行的一些復雜的計算。我只是聲稱這一點。我可以告訴你一個推測，我一直在思考它如何才能實現(xiàn)。讓我提供一個推測，然后我將解釋為什么這個推測可能是錯誤的。

Ilya: 所以這個推測是，好的，大腦，大腦有那些區(qū)域。你知道大腦的區(qū)域嗎？我們有皮層，是的。它有所有那些大腦區(qū)域。皮層是均勻的，但是大腦區(qū)域和皮層中的神經(jīng)元，它們大多只是和它們的鄰居交流。這就解釋了為什么你會得到不同的腦區(qū)。因為如果你想進行某種言語處理，所有負責言語的神經(jīng)元都需要彼此交談。而且因為神經(jīng)元在大多數(shù)情況下只能與它們附近的鄰居交流，所以它必須是一個區(qū)域。從人到人，所有這些區(qū)域大多位于相同的位置。所以也許進化在字面上將一個位置在他們的大腦中進行了硬編碼。所以它會說，當，大腦的全球定位系統(tǒng)，全球定位系統(tǒng)坐標，某個地方，當它激活時，那才應該是你關(guān)心的。比如，也許那就是進化所做的事情，因為那會在進化的工具箱之內(nèi)。

Dwarkesh: 盡管也有一些例子，比如，天生失明的人，他們大腦皮層的那個區(qū)域會被另一種感官所占用。我完全不知道，但我會很驚訝，如果……那些需要視覺信號的欲望或獎勵功能，在他們大腦皮層的不同區(qū)域被重新征用后，是否還會繼續(xù)起作用。例如，如果你不再有視覺，你還能否感受到我希望周圍的人喜歡我的這種感覺等等？通常這些也有視覺線索來支持。

Ilya: 所以我實際上完全同意這一點。我認為這個理論有一個更強有力的反駁論點，那就是，比如，如果你想想那些人在童年時期被切除了一半大腦的人。他們?nèi)匀粨碛兴械哪X區(qū)，但所有腦區(qū)都以某種方式轉(zhuǎn)移到了一個半球，這表明腦區(qū)的位置并不是固定的。所以那個理論是不成立的。如果那是真的，那會很酷，但事實并非如此。所以我想這是一個謎團，但這是一個有趣的謎團。事實是，不知何故，進化能夠可靠地賦予我們關(guān)心社交事務的能力。即使是那些患有各種奇怪的心理疾病、缺陷和情感問題的人，也傾向于關(guān)心這些事情。

Dwarkesh: 像深度偽造、語音克隆和代理等人工智能工具極大地提高了欺詐和濫用的復雜程度。因此，比以往任何時候都更重要的是要真正了解使用您平臺的任何人或事物的身份和意圖。這正是Sardine幫助您做的事情。Sardine整合了數(shù)千個設(shè)備、行為和身份信號，以幫助您評估風險。從用戶如何打字、移動鼠標或握持設(shè)備，到他們是否通過VPN隱藏真實位置，再到他們是否在“了解你的客戶”（KYC）自拍檢查中注入虛假的攝像頭源。Sardine將這些信號與其近40億臺設(shè)備網(wǎng)絡中的洞察相結(jié)合，例如用戶的欺詐歷史或他們與其他高風險賬戶的關(guān)聯(lián)。這樣你就能在惡意行為者造成損害之前發(fā)現(xiàn)他們。如果你只使用自己應用程序中的數(shù)據(jù)，這實際上是不可能的。Sardine 不會阻止檢測。他們提供一套代理程序，以簡化入職檢查并自動化調(diào)查。因此，當欺詐者利用人工智能來擴大其攻擊范圍時，你也可以利用人工智能來擴大你的防御范圍。前往 sardine.aI。斜杠 Thwar Keshe 了解更多信息并下載他們關(guān)于人工智能欺詐檢測的指南。

Dwarkesh: SSI 計劃做些什么不同的事情？因此，可以推斷，當這個時刻到來時，你的計劃是成為前沿公司之一。那么，你大概是這樣開始 SSI 的：你想到了一個安全地處理此事的途徑，而其他公司沒有。這種區(qū)別是什么？

Ilya: 所以我的描述方式是，有一些我認為有前景的觀點，我想去探究它們，看看它們是否果真如此。有前景。就這么簡單。這是一種嘗試。我認為，如果這些觀點——我們討論的關(guān)于理解泛化的觀點——最終被證明是正確的。如果這些觀點最終被證明是正確的，那么我認為我們將獲得一些有價值的東西。它們最終會被證明是正確的嗎？我們正在進行研究。我們是一家純粹的研究公司。我們正在取得進展。在過去的一年里，我們實際上取得了相當不錯的進展。但我們需要繼續(xù)取得更多進展，進行更多研究。我就是這樣看待的。我將其視為一種嘗試，一種嘗試成為一個聲音和一個參與者。

競爭格局與戰(zhàn)略趨同

Dwarkesh: 人們問過你的聯(lián)合創(chuàng)始人和前首席執(zhí)行官最近去了meta。人們問，如果取得了許多突破，這似乎是一件不太可能發(fā)生的事情，我想知道你如何回應。

Ilya: 是的。所以對于這個問題，我只想提醒一些可能已被遺忘的事實。我認為這些事實提供了背景，我認為它們解釋了這種情況。所以背景是，我們在以320億美元的估值進行籌資。接著，meta 介入并提出收購我們。我當時拒絕了，但我的前聯(lián)合創(chuàng)始人，在某種意義上，同意了。結(jié)果，他也因此獲得了大量的短期流動性。他是 SSI 唯一加入 meta 的人。

Dwarkesh: 聽起來，SSI 的計劃是成為一家走在最前沿的公司，在人類歷史上這個非常重要的時期——當你們擁有超人類智能，并且對如何讓超人類智能順利發(fā)展有自己的想法時——保持在最前沿。但其他公司也會嘗試他們自己的想法。SSI 如何確保超級智能順利發(fā)展的做法有何不同之處？

Ilya: SSI 的主要區(qū)別在于其技術(shù)方法。所以我們有不同的技術(shù)方法，我認為這是有價值的。而且我們正在努力實現(xiàn)它。我認為最終將會出現(xiàn)社會方面的趨同。策略。所以我認為策略上將會出現(xiàn)趨同，在某個階段，隨著人工智能變得更強大，每個人都將或多或少地清楚應該采取何種策略。這應該類似于，你需要找到某種方式進行交流。而且你希望你的第一個真正強大的超級智能人工智能是保持一致的，并且以某種方式，關(guān)心有情眾生，關(guān)心人民，民主，這些特征的某種組合。我認為這是每個人都應該努力爭取實現(xiàn)的條件。這就是社會正在努力的方向。我認為這一次，如果不是已經(jīng)，所有其他公司都會意識到他們正在朝著同一個目標努力。我認為隨著人工智能變得更加強大，世界將真正發(fā)生改變。是的。而且我認為很多這些預測將會，我想事情將會變得非常不同，人們的行為也會非常不同。

Dwarkesh: 談到預測，您對您所描述的這個可以像人類一樣學習的系統(tǒng)有什么預測？隨后，結(jié)果就是它會變得超人化。我認為，大概是5到20年。5到20年？所以我只是想展開說說你的……你可能會如何看待世界的發(fā)展。就像是，我們還有幾年時間，這些其他公司……正在繼續(xù)當前的方法，然后陷入停滯。陷入停滯在這里是什么意思，是指它們的收入不會超過數(shù)千億美元嗎？或者您如何理解“陷入停滯”的含義？

Ilya: 是的。我認為它可能會停滯不前，我認為停滯不前看起來會是，對所有公司來說都會看起來非常相似。是的。在所有不同的公司中，類似這種情況。我不確定，因為我認為，我認為即使有，我認為即使，我認為即使，我認為即使這種情況停滯不前，我認為這些公司也能獲得巨大的、巨大的收入。也許不是利潤，因為它們將需要努力區(qū)分彼此，但收入肯定會。

Dwarkesh: 但你的模型中暗示著，當正確的解決方案出現(xiàn)時，所有公司之間將會出現(xiàn)趨同。我很想知道你為什么會這樣認為。

Ilya: 嗯，我更多地談論的是它們最大戰(zhàn)略上的趨同。我認為最終在技術(shù)方法上的趨同也可能會發(fā)生。但我所指的是最大戰(zhàn)略上的趨同。到底要做的事情是什么？

Dwarkesh: 我只是想更好地了解你對滾動（發(fā)展）的未來看法。所以目前我們有這些不同的公司，你期望他們的方法能繼續(xù)產(chǎn)生收入，但不會達到這種像人類一樣的學習者。是的。所以現(xiàn)在我們有這些不同的公司分支。有你們，有思維機器（Thinking Machines），還有其他一些實驗室。是的。也許其中一個能找出正確的方法。但是他們產(chǎn)品的發(fā)布會讓其他人清楚地知道該如何做這件事嗎？

Ilya: 我認為這不會讓人們清楚地知道該如何做這件事，但會讓他們清楚有不同的可能性存在。那就是信息。我認為人們會接著試圖弄清楚那究竟是如何運作的。我確實認為，有一點我沒有在這里闡述，沒有討論到的是，隨著人工智能能力的每一次提升，我認為都會帶來某種程度的改變，但我確切不知道會是哪些改變以及事物將如何被執(zhí)行。所以，我認為這一點會很重要，但我無法確切地說明那具體是什么。

Dwarkesh: 默認情況下，你會期望擁有該模型的模型公司能夠獲得所有這些收益，因為他們擁有這個模型，而該模型正在學習如何做所有事情，正在積累它在世界上所掌握的技能和知識。有什么理由認為這些收益會得到廣泛分配，而不會僅僅集中在哪個模型公司首先建立了這種持續(xù)學習循環(huán)。

市場動態(tài)與 AI 的專業(yè)化分工

Ilya: 比如，我認為經(jīng)驗上發(fā)生的情況是，所以以下是我的預測。第一，我認為從經(jīng)驗上看，讓我們看看到目前為止過去的人工智能發(fā)展情況。所以一家公司提前生產(chǎn)，而另一家公司在一段時間后倉促生產(chǎn)出一些類似的產(chǎn)品，然后它們開始在市場上競爭并壓低價格，所以我認為從市場角度來看，我認為那里也會發(fā)生一些類似的事情，即使有人說“我們談論的是好世界，順便說一句，好世界是什么？好世界是什么？在這個世界里，我們擁有強大的人類般學習者，它們也像... 順便說一句，也許還有我們沒有討論過的關(guān)于超級智能人工智能的一個規(guī)格，我認為值得考慮，那就是你可以讓它既是狹窄的，又能同時有用和狹窄。

Ilya: 所以你可以擁有許多狹窄的超級智能人工智能。但假設(shè)你有很多這樣的AI，而且你擁有。有些公司從中獲取了巨額利潤。然后有另一家公司進來開始競爭。競爭的方式將是通過專業(yè)化來實現(xiàn)的。我認為將會發(fā)生的是，競爭的方式，比如競爭就喜歡專業(yè)化。你在市場上看到了這一點。你在進化中也看到了這一點。所以你將擁有許多不同的生態(tài)位。在這樣的世界里，你將擁有許多占據(jù)不同生態(tài)位的公司。我們可能會說，比如，一家人工智能公司在某個非常復雜的經(jīng)濟活動領(lǐng)域確實要好得多，而另一家公司在另一個領(lǐng)域更好，第三家公司在訴訟方面非常出色，這就是你想要采取的路徑。

Dwarkesh: 這與類人學習的含義相矛盾嗎？它可以學習？

Ilya: 它可以，但是，但是你已經(jīng)積累了學習經(jīng)驗。你有大量的投入。你花費了大量的計算資源，才真正地、非常地、非常、非常擅長于此。真正地、真正地擅長于此事，達到了驚人的水平。而另一個人花費了大量的計算資源和大量的經(jīng)驗，才在其他一些事情上變得非常非常擅長。對。你應用了大量的人類學習經(jīng)驗才達到那個水平。但現(xiàn)在，就像你處于一個高點，而其他人會說，看，我不想從頭開始學習你學到的東西，不去經(jīng)歷這個過程。

Dwarkesh: 我猜那將需要許多不同的公司同時從人類層面，即持續(xù)學習智能體開始，以便它們可以在不同的分支中開始它們不同的研究。但是，如果一家公司，首先獲得了那個智能體或者首先獲得了那個學習者，那么它確實看起來是，嗯，如果你只考慮經(jīng)濟中的每一個工作，你只是有實例學習，對一家公司來說似乎都是可行的。

Ilya: 這是一個合理的論點。我的強烈直覺是情況不會這樣發(fā)展。我的強烈直覺是，就像論點所說的，情況會這樣發(fā)展，但我的強烈直覺是情況不會這樣發(fā)展。這是，理論上，理論和實踐與實踐理論之間沒有區(qū)別。我認為這將是其中之一。

Dwarkesh: 很多人對遞歸自我改進的模型，明確地陳述我們將有一個運行在服務器上的百萬個伊利亞（智能體），它們帶著不同的想法進來，這將非常快地導致超級智能的出現(xiàn)。你對你正在做的事情有多少可并行化的直覺？復制伊利亞（智能體）能帶來什么好處？我不知道。

自我對弈、多樣性與研究品味

Ilya: 我認為肯定會有邊際效益遞減，因為你想要的是那些想法不同而非想法相同的人。我想，如果他們是我的字面上的復制品，我不確定你能獲得多少增量價值。我認為，但那些想法不同的人，目前，那就是你想要的。

Dwarkesh: 為什么會是這樣，如果你看看不同的模型，即使是完全不同的公司發(fā)布，在潛在不重疊的數(shù)據(jù)集上訓練的，大型語言模型（LLM）彼此之間竟然如此相似，真是太瘋狂了？也許數(shù)據(jù)集并非如看起來那樣不重疊。但有一種感覺是，即使單個人類的生產(chǎn)力可能不如未來的人工智能，也許人類團隊比人工智能團隊具有更多樣性這一點是有意義的，但我們?nèi)绾我鲆饬x呢？人工智能之間有意義的多樣性。所以我認為僅僅提高溫度就會產(chǎn)生胡言亂語。我認為你想要的是更像具有不同偏見或不同思想的各種科學家。你如何讓人工智能代理之間實現(xiàn)這種多樣性呢？

Ilya: 所以我認為之所以沒有多樣性，是因為預訓練。所有預訓練模型基本上都一樣，因為它們是在相同的數(shù)據(jù)上預訓練的。現(xiàn)在，獎勵工程（REL）和后訓練是開始出現(xiàn)差異的地方，因為不同的人提出了不同的獎勵訓練方法。

Dwarkesh: 是的。過去我曾聽你暗示過，自博弈是獲取數(shù)據(jù)或讓智能體與具有同等智能的其它智能體進行匹配以啟動學習的一種方式。我們應該如何思考為什么沒有關(guān)于這種與所有透鏡（lens）一起工作的思想的公開提議。

Ilya: 我會說有兩點要講。我會說我認為自博弈很有趣的原因是它提供了一種僅通過計算而不通過數(shù)據(jù)來創(chuàng)建模型的方法。如果你認為數(shù)據(jù)是最終的瓶頸，那么僅使用計算就非常有趣了。所以這就是它有趣的原因。現(xiàn)在，問題在于自博弈，至少是過去的做法，當智能體之間以某種方式競爭時，它只擅長發(fā)展特定的一套技能。它太狹隘了。它只適用于類似談判、沖突、某些社交技能、策略規(guī)劃這類事情。所以，如果你關(guān)心這些技能，那么自我對弈就會有用。現(xiàn)在，實際上我認為自我對弈找到了一個立足之地，只是以一種不同的形式，不同的形式。比如辯論、證明、驗證者，你讓某種大型語言模型充當裁判，它也有動機在你的工作中發(fā)現(xiàn)錯誤。你可能會說這不完全是自我對弈，但我相信這是一種人們正在做的、相關(guān)的對抗性設(shè)置。實際上，自我對弈是更一般的智能體之間競爭的一個特例。對競爭的自然反應是試圖與眾不同。所以，如果你放入多個智能體，并告訴它們，你們都需要解決某個問題，而你是一個智能體，你正在檢查其他所有智能體的工作，你就會想，如果它們已經(jīng)在采取這種方法了，我不清楚我是否應該效仿。我應該追求一些差異化的東西。所以，我認為這樣的事情也可以激勵產(chǎn)生多樣化的方法。

Dwarkesh: 是的。最后一個問題，什么是研究品味？你顯然是世界上被認為在人工智能研究方面擁有最佳品味的人，你是深度學習歷史上許多最重要的、最大的突破的共同作者，從 AlexNet 到 GPT3 等等。你是如何界定你產(chǎn)生這些想法的方式的？

Ilya: 我可以回答。所以我可以就我個人發(fā)表評論。我認為不同的人做事情的方式不同。但對我個人而言，有一個指導原則是如何構(gòu)建人工智能的美學，即思考人是什么樣的。但正確地思考，比如，很容易錯誤地思考人是什么樣的。但正確地思考人意味著什么呢？所以我會給你舉一些例子。人工神經(jīng)元的概念直接受到大腦的啟發(fā)。這是一個絕妙的想法。為什么？因為你會說，當然，大腦有所有這些不同的器官。它有褶皺，但這些缺陷可能不重要。我們?yōu)槭裁凑J為神經(jīng)元很重要呢？因為它們數(shù)量眾多，這感覺是對的，...