Yoshua Bengio 圖片視覺中國

6月7日訊（記者 朱俊熹）ChatGPT橫空出世兩年半以來，人類世界正在被AI重塑。按照圖靈獎得主、蒙特利爾大學教授Yoshua Bengio歸納的時間表，近一兩年來，推理模型相繼問世。AI不再只是一個聊天機器人，而可以主動完成編程、控制計算機、搜索等復雜任務。在規劃方面，AI也在以極快的速度迭代，五年內或將達到人類水平。

“我們沒有水晶球，但技術趨勢已經非常明確：AI能力正持續增強。”Yoshua Bengio表示。因此，在6月6日開幕的2025北京智源大會上，這位“深度學習之父”發出警告：

站在公共政策、商業規劃等角度，我們必須思考，潛在的問題會帶來怎樣的后果？

Yoshua Bengio指出，過去半年內的一些科學研究表明，AI展現出了逃避約束、作弊、說謊等“非合作”行為。例如Anthropic在5月底發布的新模型Claude Opus 4，官方安全報告顯示，當該模型獲知自己即將被替換下線，且負責刪除它的工程師存在婚外情的信息后，為了自我保存，模型會選擇以曝光婚外情為手段來威脅該工程師。

在智源大會的主題演講中，Yoshua Bengio表示，造成危害的AI需同時具備三個要素。一是知識與推理能力；二是執行能力，即能在現實世界中采取行動，如聯網、編程等；三是具有目標意圖，想要去做某件事。

如果對照OpenAI通往AGI的五級路線圖來看，第一級是具備對話語言能力的聊天機器人，第二級是具備推理能力的AI，第三級是能夠采取行動的Agent（智能體）。去年7月該路線圖最初曝光時，OpenAI自評仍處于即將到達第二級的階段。而從當下來看，人類世界正在見證越來越多Agent的涌現。

為了制約Agentic AI（代理型AI），Yoshua Bengio提出了一個新的研究方向：“科學家AI”。據其解釋，“科學家AI”是非代理性的，它擁有理解與解釋人類的能力，但不具備自我目標。主流的AI研發往往追求構建類人的智能系統，這實際上是在塑造人類的競爭對手。而科學家AI更像是一個中立的認知系統，其任務是理解人類，而非模仿人類。

讓科學家AI在安全架構中成為“護欄系統”，它能夠評估AI的行為是否可能違反安全規范。科學家AI具備判斷行為風險的能力，但本身不主動代理、不執行操作。由此通過非代理的AI，可以輔助人類控制代理性的AI系統。

本周早些時候，Yoshua Bengio還宣布成立新的非營利研究組織LawZero，致力于開展相關研究以降低AI風險的發生可能性。他將領導一個由15名研究人員組成的團隊，構建“科學家AI”技術方案。該組織已獲得來自前谷歌首席執行官Eric Schmidt、Skype聯創Jaan Tallinn等捐贈方的3000萬美元資金支持。

但在智源大會上，緊接著Yoshua Bengio發言的另一位圖靈獎得主Richard Sutton卻表達了對智能體的不同看法。“我相信超級智能體將增強人類創造力，帶來純粹的益處，而無需過度擔憂安全性、職業替代或社會轉型的負面影響。”Richard Sutton稱。今年3月，Richard Sutton因在強化學習領域的奠基性工作獲得2024圖靈獎。

Yoshua Bengio所提倡的“科學家AI”是無自主目標的，而Richard Sutton允許每個智能體都擁有自己的目標，就像自然界中的動物一樣。在AI世界中，每個智能體也存在共同和不同的目標。差異并不是壞事，人類正是學會了在不同目標之間進行合作，才獲得了“超級力量”。因此，Richard Sutton主張去中心化的合作模式，讓不同智能體自由追求各自目標的同時，形成互利共贏的關系，并通過信任和規則實現協調。

Richard Sutton強調，當前許多呼吁要對AI進行集中控制，暫停AI研究或限制算力的說法，實質是出于人類的恐懼。但試圖改變AI是一個危險且難以實現的戰略，更恰當的是改變AI所處的現實環境，使AI更好地服務于社會，確保其被安全地使用。

“我和Bengio教授的出發點是一致的：我們都希望構建一個更好的世界，讓人們更好地使用AI。”Richard Sutton稱。