
Yoshua Bengio 圖片視覺(jué)中國(guó)
6月7日訊(記者 朱俊熹)ChatGPT橫空出世兩年半以來(lái),人類世界正在被AI重塑。按照?qǐng)D靈獎(jiǎng)得主、蒙特利爾大學(xué)教授Yoshua Bengio歸納的時(shí)間表,近一兩年來(lái),推理模型相繼問(wèn)世。AI不再只是一個(gè)聊天機(jī)器人,而可以主動(dòng)完成編程、控制計(jì)算機(jī)、搜索等復(fù)雜任務(wù)。在規(guī)劃方面,AI也在以極快的速度迭代,五年內(nèi)或?qū)⑦_(dá)到人類水平。
“我們沒(méi)有水晶球,但技術(shù)趨勢(shì)已經(jīng)非常明確:AI能力正持續(xù)增強(qiáng)。”Yoshua Bengio表示。因此,在6月6日開(kāi)幕的2025北京智源大會(huì)上,這位“深度學(xué)習(xí)之父”發(fā)出警告:
站在公共政策、商業(yè)規(guī)劃等角度,我們必須思考,潛在的問(wèn)題會(huì)帶來(lái)怎樣的后果?
Yoshua Bengio指出,過(guò)去半年內(nèi)的一些科學(xué)研究表明,AI展現(xiàn)出了逃避約束、作弊、說(shuō)謊等“非合作”行為。例如Anthropic在5月底發(fā)布的新模型Claude Opus 4,官方安全報(bào)告顯示,當(dāng)該模型獲知自己即將被替換下線,且負(fù)責(zé)刪除它的工程師存在婚外情的信息后,為了自我保存,模型會(huì)選擇以曝光婚外情為手段來(lái)威脅該工程師。
在智源大會(huì)的主題演講中,Yoshua Bengio表示,造成危害的AI需同時(shí)具備三個(gè)要素。一是知識(shí)與推理能力;二是執(zhí)行能力,即能在現(xiàn)實(shí)世界中采取行動(dòng),如聯(lián)網(wǎng)、編程等;三是具有目標(biāo)意圖,想要去做某件事。
如果對(duì)照OpenAI通往AGI的五級(jí)路線圖來(lái)看,第一級(jí)是具備對(duì)話語(yǔ)言能力的聊天機(jī)器人,第二級(jí)是具備推理能力的AI,第三級(jí)是能夠采取行動(dòng)的Agent(智能體)。去年7月該路線圖最初曝光時(shí),OpenAI自評(píng)仍處于即將到達(dá)第二級(jí)的階段。而從當(dāng)下來(lái)看,人類世界正在見(jiàn)證越來(lái)越多Agent的涌現(xiàn)。
為了制約Agentic AI(代理型AI),Yoshua Bengio提出了一個(gè)新的研究方向:“科學(xué)家AI”。據(jù)其解釋,“科學(xué)家AI”是非代理性的,它擁有理解與解釋人類的能力,但不具備自我目標(biāo)。主流的AI研發(fā)往往追求構(gòu)建類人的智能系統(tǒng),這實(shí)際上是在塑造人類的競(jìng)爭(zhēng)對(duì)手。而科學(xué)家AI更像是一個(gè)中立的認(rèn)知系統(tǒng),其任務(wù)是理解人類,而非模仿人類。
讓科學(xué)家AI在安全架構(gòu)中成為“護(hù)欄系統(tǒng)”,它能夠評(píng)估AI的行為是否可能違反安全規(guī)范。科學(xué)家AI具備判斷行為風(fēng)險(xiǎn)的能力,但本身不主動(dòng)代理、不執(zhí)行操作。由此通過(guò)非代理的AI,可以輔助人類控制代理性的AI系統(tǒng)。
本周早些時(shí)候,Yoshua Bengio還宣布成立新的非營(yíng)利研究組織LawZero,致力于開(kāi)展相關(guān)研究以降低AI風(fēng)險(xiǎn)的發(fā)生可能性。他將領(lǐng)導(dǎo)一個(gè)由15名研究人員組成的團(tuán)隊(duì),構(gòu)建“科學(xué)家AI”技術(shù)方案。該組織已獲得來(lái)自前谷歌首席執(zhí)行官Eric Schmidt、Skype聯(lián)創(chuàng)Jaan Tallinn等捐贈(zèng)方的3000萬(wàn)美元資金支持。
但在智源大會(huì)上,緊接著Yoshua Bengio發(fā)言的另一位圖靈獎(jiǎng)得主Richard Sutton卻表達(dá)了對(duì)智能體的不同看法。“我相信超級(jí)智能體將增強(qiáng)人類創(chuàng)造力,帶來(lái)純粹的益處,而無(wú)需過(guò)度擔(dān)憂安全性、職業(yè)替代或社會(huì)轉(zhuǎn)型的負(fù)面影響。”Richard Sutton稱。今年3月,Richard Sutton因在強(qiáng)化學(xué)習(xí)領(lǐng)域的奠基性工作獲得2024圖靈獎(jiǎng)。
Yoshua Bengio所提倡的“科學(xué)家AI”是無(wú)自主目標(biāo)的,而Richard Sutton允許每個(gè)智能體都擁有自己的目標(biāo),就像自然界中的動(dòng)物一樣。在AI世界中,每個(gè)智能體也存在共同和不同的目標(biāo)。差異并不是壞事,人類正是學(xué)會(huì)了在不同目標(biāo)之間進(jìn)行合作,才獲得了“超級(jí)力量”。因此,Richard Sutton主張去中心化的合作模式,讓不同智能體自由追求各自目標(biāo)的同時(shí),形成互利共贏的關(guān)系,并通過(guò)信任和規(guī)則實(shí)現(xiàn)協(xié)調(diào)。
Richard Sutton強(qiáng)調(diào),當(dāng)前許多呼吁要對(duì)AI進(jìn)行集中控制,暫停AI研究或限制算力的說(shuō)法,實(shí)質(zhì)是出于人類的恐懼。但試圖改變AI是一個(gè)危險(xiǎn)且難以實(shí)現(xiàn)的戰(zhàn)略,更恰當(dāng)?shù)氖歉淖傾I所處的現(xiàn)實(shí)環(huán)境,使AI更好地服務(wù)于社會(huì),確保其被安全地使用。
“我和Bengio教授的出發(fā)點(diǎn)是一致的:我們都希望構(gòu)建一個(gè)更好的世界,讓人們更好地使用AI。”Richard Sutton稱。





京公網(wǎng)安備 11011402013531號(hào)