美國(guó)國(guó)家工程院外籍院士沈向洋（圖片IDEA）

11月22日舉行的2024年IDEA大會(huì)上，IDEA研究院創(chuàng)院理事長(zhǎng)、美國(guó)國(guó)家工程院外籍院士沈向洋以“從技術(shù)突破到產(chǎn)業(yè)融合”為主題發(fā)表演講，其對(duì)人工智能“三件套”（算力、算法、數(shù)據(jù)）的最新思考。

沈向洋指出，在技術(shù)大爆發(fā)時(shí)期開(kāi)展創(chuàng)新，對(duì)技術(shù)的深度理解尤為重要。他認(rèn)為，從算力來(lái)看，未來(lái)十年 AI 的發(fā)展可能需要增長(zhǎng) 100 萬(wàn)倍的算力，遠(yuǎn)超摩爾定律預(yù)言的100倍增長(zhǎng)，而英偉達(dá)成為了 AI 行業(yè)最了不起、最成功的一家公司。

根據(jù)EPOCH AI的數(shù)據(jù)，每年最新的大模型對(duì)算力的需求都在以驚人的速度增長(zhǎng)，年均增長(zhǎng)率超過(guò)四倍（400%）。截至目前，全球已經(jīng)“燒掉”了超過(guò)1000萬(wàn)張GPU算力卡。

“英偉達(dá)硬生生把自己從自己從做硬件、芯片的乙方變成了甲方，今天能拿得到英偉達(dá)的卡就可以說(shuō)是成功了一半?！鄙蛳蜓蠓Q，“講（GPU）卡傷感情，沒(méi)卡沒(méi)感情。”

沈向洋現(xiàn)場(chǎng)透露，明天黃仁勛會(huì)到香港科技大學(xué)接受榮譽(yù)博士學(xué)位的授予，而他準(zhǔn)備現(xiàn)在和黃仁勛討論一些關(guān)于技術(shù)、領(lǐng)導(dǎo)力和創(chuàng)業(yè)的故事，特別是在針對(duì)算力發(fā)展的問(wèn)題，探討未來(lái)十年還會(huì)不會(huì)像過(guò)去十年那樣能夠達(dá)到100萬(wàn)倍的增長(zhǎng)。

會(huì)后，沈向洋還向鈦媒體App透露，Scaling Law（尺度定律）放緩的原因是GPT-5還沒(méi)發(fā)布，背后主要與數(shù)據(jù)相關(guān)。

據(jù)悉，粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院（International Digital Economy Academy，簡(jiǎn)稱“IDEA研究院”）于2020年由微軟公司原全球執(zhí)行副總裁、美國(guó)國(guó)家工程院外籍院士沈向洋創(chuàng)建，是一家面向 AI 和數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)和前沿科技的國(guó)際化創(chuàng)新型研究機(jī)構(gòu)。

IDEA研究院致力于 AI 和數(shù)字經(jīng)濟(jì)領(lǐng)域前沿研究與產(chǎn)業(yè)落地。目前該院包括低空經(jīng)濟(jì)研究中心、計(jì)算機(jī)視覺(jué)與機(jī)器人研究中心、AI金融與深度學(xué)習(xí)研究中心、基礎(chǔ)軟件中心、AI安全普惠系統(tǒng)研究中心等。

此次，IDEA發(fā)布視覺(jué)、具身智能、合成數(shù)據(jù)、AI for Science、AI for Coding、低空經(jīng)濟(jì)等多個(gè)領(lǐng)域的新技術(shù)和新模型的前沿研究與產(chǎn)業(yè)落地成果，實(shí)現(xiàn) AI 從技術(shù)突破到產(chǎn)業(yè)融合。

視覺(jué)大模型：IDEA團(tuán)隊(duì)本次大會(huì)發(fā)布了該系列最新的DINO-X通用視覺(jué)大模型，擁有真正的物體級(jí)別理解能力，實(shí)現(xiàn)開(kāi)放世界（Open-world）目標(biāo)檢測(cè)，無(wú)需用戶提示，直接檢測(cè)萬(wàn)物。在零樣本評(píng)估設(shè)置中，DINO-X Pro在業(yè)界公認(rèn)的LVIS-minival數(shù)據(jù)集上取得了59.7%的AP，在LVIS-val數(shù)據(jù)集上，DINO-X Pro也表現(xiàn)亮眼，取得了52.4%的AP。具體到LVIS-minival數(shù)據(jù)集上的各個(gè)長(zhǎng)尾類別評(píng)估中，DINO-X Pro在稀有類別上取得了63.3%的AP（比Grounding DINO 1.5 Pro還要高出7.2%），在常見(jiàn)類別上取得了61.7%的AP，在頻繁類別上取得了57.5%的AP。 行業(yè)平臺(tái)架構(gòu)：IDEA團(tuán)隊(duì)還推出行業(yè)平臺(tái)架構(gòu)，通過(guò)一個(gè)大模型基座，結(jié)合通用識(shí)別技術(shù)結(jié)合，讓模型不需重新訓(xùn)練，就可邊用邊學(xué)，支撐多種多樣的B端應(yīng)用需求。 具身智能：IDEA研究院此次便一連宣布三個(gè)合作：與騰訊合作，在深圳福田區(qū)、河套深港科技創(chuàng)新合作區(qū)落地建設(shè)福田實(shí)驗(yàn)室，聚焦人居環(huán)境具身智能技術(shù)；與美團(tuán)合作，探索無(wú)人機(jī)視覺(jué)智能技術(shù)；與比亞迪合作，拓展工業(yè)化機(jī)器人智能應(yīng)用。 合成數(shù)據(jù)：IDEA團(tuán)隊(duì)自研了語(yǔ)境圖譜技術(shù)，解決過(guò)往文本數(shù)據(jù)合成方案的多樣性匱乏等問(wèn)題。該技術(shù)為合成數(shù)據(jù)引入“指導(dǎo)手冊(cè)”，以圖譜為綱，指導(dǎo)用于合成的語(yǔ)境采樣。實(shí)驗(yàn)結(jié)果顯示，IDEA團(tuán)隊(duì)的方案能持續(xù)為大模型帶來(lái)能力提升，表現(xiàn)超過(guò)目前的最佳實(shí)踐（SOTA）；從token消耗來(lái)看，平均節(jié)約成本85.7%。目前，該技術(shù)內(nèi)測(cè)平臺(tái)已開(kāi)放，通過(guò)API提供服務(wù)。 AI for Science：在預(yù)測(cè)方面，IDEA研發(fā)了多個(gè)化學(xué)領(lǐng)域?qū)＜掖竽Ｐ停肿訉傩灶A(yù)測(cè)和化學(xué)反應(yīng)預(yù)測(cè)能力均處業(yè)界領(lǐng)先水平；在數(shù)據(jù)方面，IDEA開(kāi)發(fā)了化學(xué)文獻(xiàn)多模態(tài)大模型，聯(lián)合晶泰科技發(fā)布專利數(shù)據(jù)挖掘平臺(tái)PatSight，將藥物領(lǐng)域的專利化合物數(shù)據(jù)挖掘時(shí)間，從數(shù)周縮短至1小時(shí)。 AI for Coding（編程語(yǔ)言）：IDEA研究院的MoonBit團(tuán)隊(duì)展示了其開(kāi)發(fā)平臺(tái)強(qiáng)大的AI for coding體驗(yàn)。MoonBit是專為云計(jì)算與邊緣計(jì)算設(shè)計(jì)的AI云原生編程語(yǔ)言及工具鏈，已具備完備的多后端支持和跨平臺(tái)能力，可在硬件上直接運(yùn)行，支持RISC-V。MoonBit的開(kāi)源開(kāi)發(fā)平臺(tái)，將于12月正式開(kāi)放。 低空經(jīng)濟(jì)：IDEA推出低空管理與服務(wù)操作系統(tǒng)OpenSILAS 1.0 Alpha版，還攜手17家產(chǎn)業(yè)伙伴發(fā)起OpenSILAS創(chuàng)新聯(lián)合體，以及《低空經(jīng)濟(jì)白皮書(shū)3.0》低空安全體系的發(fā)布等。

此外，IDEA還展示包括學(xué)術(shù)大模型和AI科研神器ReadPaper、營(yíng)銷創(chuàng)作大模型，以及面向經(jīng)濟(jì)與金融領(lǐng)域的經(jīng)濟(jì)大模型、運(yùn)籌決策大模型、投資大模型等多款新 AI 技術(shù)與產(chǎn)品。

沈向洋表示，在過(guò)去所有廣受歡迎的編程語(yǔ)言中，還沒(méi)有一個(gè)是由中國(guó)開(kāi)發(fā)者創(chuàng)造的，而如今，AI 時(shí)代也必將催生新的編程范式，中國(guó)開(kāi)發(fā)者將會(huì)起到關(guān)鍵作用。

“ChatGPT 展示了一種新的可能：當(dāng)技術(shù)突破達(dá)到一定程度，可以跳過(guò)傳統(tǒng)的產(chǎn)品市場(chǎng)匹配(PMF)過(guò)程，直接實(shí)現(xiàn)技術(shù)市場(chǎng)匹配(TMF)?！鄙蛳蜓蟊硎?，如果 GPT-5 問(wèn)世，按照其估計(jì)，可能需要 200T（200萬(wàn)億）規(guī)模的數(shù)據(jù)。

沈向洋強(qiáng)調(diào)，AI 正在改變科研方式。從“確定方向”（ARCH）到“選擇課題”（Search），再到“深入研究”（Research），每個(gè)環(huán)節(jié)都將被重塑。今天o1不僅可以做數(shù)據(jù)、做編程，還可以做物理、做化學(xué)等。

“我覺(jué)得接下來(lái)這幾年，算法沿著SRL（強(qiáng)化學(xué)習(xí)）這條道路走下去，一定會(huì)有令人驚艷的全新突破。”沈向洋表示。

（本文首發(fā)于鈦媒體App，作者｜林志佳，編輯｜胡潤(rùn)峰）

以下是沈向洋演講的主要內(nèi)容，鈦媒體AGI編輯精心整理了其中精彩部分：

今天是 IDEA 研究院在深圳舉辦的第四屆 IDEA 大會(huì)。

回顧發(fā)展歷程，三年前的第一屆大會(huì)上，IDEA 首次向公眾展示了研究院的工作成果。在第二屆大會(huì)上，我們邀請(qǐng)了李澤湘教授、徐揚(yáng)生教授、高文教授等學(xué)界翹楚進(jìn)行深入對(duì)話。大家開(kāi)玩笑講地我們四個(gè)人叫做深圳F4。

值得一提的是，這些學(xué)者都是我 90 年代初赴美留學(xué)時(shí)最早結(jié)識(shí)的中國(guó)學(xué)者。三十年后我們能在深圳重聚，恰恰印證了深圳作為創(chuàng)新創(chuàng)業(yè)熱土的獨(dú)特魅力。

經(jīng)過(guò)四年發(fā)展，IDEA 研究院已發(fā)展成擁有 7 個(gè)研究中心、約 450 名員工的科研機(jī)構(gòu)。我們選擇這些員工，雙向選擇的過(guò)程中我們強(qiáng)調(diào)這樣的理念，“科學(xué)家頭腦、企業(yè)家素質(zhì)、創(chuàng)業(yè)者精神”。來(lái)到深圳、來(lái)到福田、來(lái)到IDEA都是想干一番事業(yè)。

過(guò)去幾年，人工智能的蓬勃發(fā)展讓整個(gè)行業(yè)充滿憧憬和期待。在人工智能發(fā)展進(jìn)程中，“算力、算法、數(shù)據(jù)”這三件套始終是核心要素。接下來(lái)，我將從這三個(gè)方面，詳細(xì)分享自己的觀察和思考。

首先從算力說(shuō)起。

作為計(jì)算機(jī)領(lǐng)域的從業(yè)者，我們一直見(jiàn)證著整個(gè)計(jì)算行業(yè)過(guò)去40、50年來(lái)算力的不斷提升。早期有著名的“摩爾定律”，英特爾提出每 18 個(gè)月算力增長(zhǎng)一倍。

但在過(guò)去十幾年，隨著人工智能，特別是深度學(xué)習(xí)的發(fā)展，對(duì)算力的需求呈現(xiàn)出前所未有的增長(zhǎng)態(tài)勢(shì)。

根據(jù) EPOCH AI 的數(shù)據(jù)，每年最新的大模型對(duì)算力的需求都在以驚人的速度增長(zhǎng)，年均增長(zhǎng)率超過(guò)四倍。

這個(gè)數(shù)字意味著什么？如果按照這個(gè)增長(zhǎng)速度，十年間算力需求的增長(zhǎng)將達(dá)到驚人的 100 萬(wàn)倍。相比之下，傳統(tǒng)的摩爾定律下 18 個(gè)月翻一倍的增長(zhǎng)，十年也不過(guò)是 100 倍的增長(zhǎng)。

算力是關(guān)鍵，算力就是生產(chǎn)力。為什么這樣講？過(guò)去十幾年可以毫不夸張的講，IT行業(yè)、人工智能行業(yè)最了不起的一家公司、最成功的一家公司，不管從哪個(gè)角度看就是NVIDIA英偉達(dá)。

英偉達(dá)已經(jīng)從一家單純的硬件芯片供應(yīng)商，轉(zhuǎn)變?yōu)檎麄€(gè)行業(yè)的核心支柱?，F(xiàn)在行業(yè)里流傳著這樣一句話：英偉達(dá)硬生生把自己從做硬件、芯片的乙方公司做成了甲方，而今天拿得到英偉達(dá)的卡，那你就成功了一半。

讓我們看看具體的數(shù)據(jù)：2023 年英偉達(dá)最新產(chǎn)品 H100 的出貨量持續(xù)攀升，各大公司爭(zhēng)相采購(gòu)。包括馬斯克最近就部署了一個(gè)擁有 10 萬(wàn)張 H100 卡的大規(guī)模集群。到 2024 年為止，微軟、谷歌、亞馬遜等科技巨頭都在大量采購(gòu) H100 芯片。

為什么需要如此龐大的算力？這與大模型的發(fā)展密不可分。

Scaling Law告訴我們，大模型不僅參數(shù)量巨大（從百億到千億，再到萬(wàn)億參數(shù)），而且訓(xùn)練所需的數(shù)據(jù)量也在不斷增長(zhǎng)。更關(guān)鍵的是，要提升模型性能，對(duì)算力的需求會(huì)隨參數(shù)量呈平方關(guān)系增長(zhǎng)。這就解釋了為什么過(guò)去十年英偉達(dá)的市值能夠增長(zhǎng) 300 倍，也說(shuō)明了“算力就是生產(chǎn)力”這一論斷的深刻含義。

一旦這么大的參數(shù)以后，要能訓(xùn)練這樣的模型，數(shù)據(jù)量也要增長(zhǎng)，某種意義上來(lái)講，要把性能提升，對(duì)算力的需求呈跟參數(shù)的平方關(guān)系，這對(duì)整個(gè)算力的需求是非常龐大。

過(guò)去這一年來(lái)我經(jīng)常講的一句話，“講卡傷感情，沒(méi)卡沒(méi)感情”。

前不久我在上海演講的時(shí)候臺(tái)下有位大學(xué)校長(zhǎng)，各位老師要對(duì)校長(zhǎng)表示同情，校長(zhǎng)也不好當(dāng)。老師說(shuō)你給我100張卡，我可以做些科研，給你100張卡，校長(zhǎng)幾千萬(wàn)就沒(méi)有了。

在人才招聘方面，算力資源已經(jīng)成為一個(gè)重要指標(biāo)。有些企業(yè)會(huì)以“千卡人才”、“百卡人才”來(lái)形容人才規(guī)模，真正頂尖的甚至被稱為“萬(wàn)卡人才”。IDEA 研究院已經(jīng)擁有了千張卡的算力儲(chǔ)備，在深圳算得上是“小土豪”級(jí)別的規(guī)模。

這也解釋了為什么過(guò)去十年英偉達(dá)的市值漲了300倍，這是不可想象的事情，

這種算力需求的變革被業(yè)界稱為從“摩爾定律”到“黃氏定律”的轉(zhuǎn)變。黃氏定律不僅體現(xiàn)在硬件算力的增長(zhǎng)上，更重要的是反映了模型訓(xùn)練對(duì)算力需求的指數(shù)級(jí)增長(zhǎng)。未來(lái)十年的算力需求是否會(huì)繼續(xù)保持如此驚人的增長(zhǎng)速度，這個(gè)問(wèn)題值得我們持續(xù)關(guān)注和思考。

之前我在大灣區(qū)論壇也是提到過(guò)去十年算力的增長(zhǎng)100萬(wàn)倍，有一篇文章寫(xiě)的不準(zhǔn)確，他說(shuō)沈向洋講，未來(lái)十年算力的需求會(huì)有100萬(wàn)倍的增長(zhǎng)。其實(shí)我并沒(méi)有這樣講，我也不是看得很清楚，接下來(lái)十年的算力需求是不是會(huì)增長(zhǎng)100萬(wàn)倍。

明天中午我在香港有機(jī)會(huì)請(qǐng)教黃仁勛博士，黃仁勛博士到香港科技大學(xué)接受榮譽(yù)博士學(xué)位，之后會(huì)和我做一個(gè)對(duì)談，講技術(shù)、領(lǐng)導(dǎo)力、創(chuàng)業(yè)的故事。我明天有機(jī)會(huì)想請(qǐng)教他一下未來(lái)十年的發(fā)展會(huì)不會(huì)有100萬(wàn)倍的增長(zhǎng)。

其次是算法。

在算法方面，自 2017 年 Transformer 架構(gòu)問(wèn)世以來(lái)，人工智能、深度學(xué)習(xí)和大模型的發(fā)展基本上都是沿著這個(gè)方向，通過(guò)堆數(shù)據(jù)和算力來(lái)推進(jìn)。但在 GPT-4 之后，我們看到了算法范式的新突破。特別是 OpenAI 推出的新技術(shù)，包括多模態(tài)的 GPT-4V 以及最新的 o1 推理學(xué)習(xí)能力，展現(xiàn)了算法創(chuàng)新的新方向。

令人欣喜的是，近幾個(gè)月來(lái)，國(guó)內(nèi)也有一些公司，包括初創(chuàng)企業(yè)在 o1 這個(gè)方向上取得了顯著進(jìn)展。

這里我想詳細(xì)介紹一下算法突破的思路。在 o1 出現(xiàn)之前，大家談?wù)摰亩际?GPT 系列，所有的工作都集中在預(yù)訓(xùn)練上，核心任務(wù)就是預(yù)測(cè)“下一個(gè)token”。其中很重要的技術(shù)背景是對(duì)所有數(shù)據(jù)進(jìn)行高效壓縮，使模型能夠快速給出答案，實(shí)現(xiàn)“一問(wèn)即答”。

而現(xiàn)在的范式變革引入了強(qiáng)化學(xué)習(xí)（Reinforcement Learning）的理念，模型具備了自我改善的能力。這種新方法的特點(diǎn)在于，它更接近人類的思考方式。不同于之前的快速思考模式，現(xiàn)在的模型在給出答案時(shí)會(huì)經(jīng)歷后訓(xùn)練、后推理的過(guò)程。這就像學(xué)生在解數(shù)學(xué)題時(shí)會(huì)先打草稿，驗(yàn)證一條路徑是否正確，如果不對(duì)就回退嘗試另一條路徑。

雖然強(qiáng)化學(xué)習(xí)本身并不是一個(gè)新概念——比如幾年前 AlphaGo 就使用強(qiáng)化學(xué)習(xí)打敗了圍棋世界冠軍——但今天的創(chuàng)新在于它的通用性。過(guò)去的強(qiáng)化學(xué)習(xí)系統(tǒng)往往只能解決單一問(wèn)題，而像 o1 這樣的新系統(tǒng)可以同時(shí)處理數(shù)據(jù)分析、編程、物理、化學(xué)等多個(gè)領(lǐng)域的問(wèn)題。我認(rèn)為，在未來(lái)幾年，沿著 Self-Reinforcement Learning (SRL) 這條道路，我們將看到更多令人驚艷的突破，期待 IDEA 研究院和國(guó)內(nèi)的研究人員能在這個(gè)方向上有更多的思考和創(chuàng)新。

最后是數(shù)據(jù)。

在討論數(shù)據(jù)之前，我已經(jīng)提到，大模型的蓬勃發(fā)展不僅依賴于參數(shù)規(guī)模的增長(zhǎng)，還需要海量數(shù)據(jù)的支持。讓我和大家分享一些關(guān)于數(shù)據(jù)規(guī)模的具體數(shù)據(jù)。

三年前 GPT-3 發(fā)布時(shí)，使用了 2Trillion（2萬(wàn)億）的 token 數(shù)據(jù)。到了 GPT-4 時(shí)代，模型訓(xùn)練使用的數(shù)據(jù)量增加到了 12T，在不斷訓(xùn)練過(guò)程中可能達(dá)到了 20T。這個(gè)規(guī)模大致相當(dāng)于目前互聯(lián)網(wǎng)上可獲取的優(yōu)質(zhì)數(shù)據(jù)總量。而未來(lái)如果 GPT-5 問(wèn)世，按照我的估計(jì)，可能需要 200T 規(guī)模的數(shù)據(jù)。

但問(wèn)題在于，互聯(lián)網(wǎng)上已經(jīng)很難找到如此龐大的優(yōu)質(zhì)數(shù)據(jù)。這就引出了一個(gè)新的研究方向：合成數(shù)據(jù)。

為了讓大家對(duì)這些數(shù)據(jù)規(guī)模有更直觀的認(rèn)識(shí)，我舉幾個(gè)例子：1 萬(wàn)億 token 的數(shù)據(jù)量大約相當(dāng)于 500 萬(wàn)本書(shū)，或 20 萬(wàn)張高清照片，或 500 萬(wàn)篇論文。從人類歷史的角度來(lái)看，至今為止創(chuàng)造的所有書(shū)籍大約包含 21 億 token，微博上有 38 億 token，而 Facebook 上約有 140T 的數(shù)據(jù)。不過(guò)社交媒體上的數(shù)據(jù)質(zhì)量普遍不夠高，真正有價(jià)值的內(nèi)容相對(duì)有限。

從個(gè)人維度來(lái)看，一個(gè)人讀完大學(xué)，真正學(xué)到的知識(shí)量大約是 0.00018T，相當(dāng)于 1000 本書(shū)的內(nèi)容。如果覺(jué)得自己還沒(méi)讀到這個(gè)量級(jí)，也許現(xiàn)在開(kāi)始該多讀些書(shū)了。

有趣的是，ChatGPT 等 AI 模型的訓(xùn)練數(shù)據(jù)主要來(lái)自互聯(lián)網(wǎng)。回顧互聯(lián)網(wǎng)發(fā)展的 40 年，人們熱衷于在網(wǎng)上分享信息，現(xiàn)在看來(lái)，似乎是在為 GPT 的訓(xùn)練做準(zhǔn)備。AI 之所以如此智能，很大程度上得益于我們貢獻(xiàn)的數(shù)據(jù)。這其中還有一個(gè)值得注意的現(xiàn)象：無(wú)論訓(xùn)練哪種語(yǔ)言的 AI 模型，底層的高質(zhì)量數(shù)據(jù)主要是英文的。這意味著在 AI 時(shí)代，英語(yǔ)的重要性可能會(huì)進(jìn)一步加強(qiáng)，就像互聯(lián)網(wǎng)時(shí)代一樣。

既然網(wǎng)上的數(shù)據(jù)已接近極限，AI 的進(jìn)一步發(fā)展就需要依靠合成數(shù)據(jù)，這可能催生新的百億美元級(jí)創(chuàng)業(yè)機(jī)會(huì)。

與 GPT 系列主要使用互聯(lián)網(wǎng)文本數(shù)據(jù)不同，新一代模型（如 o1）需要更強(qiáng)的邏輯性，這些數(shù)據(jù)在網(wǎng)上往往找不到。比如在編程領(lǐng)域，我們需要知道具體的步驟是如何一步步完成的。在 IDEA 研究院，在郭院長(zhǎng)的帶領(lǐng)下，我們開(kāi)展了高質(zhì)量訓(xùn)練數(shù)據(jù)的項(xiàng)目，為大模型持續(xù)提供新的“養(yǎng)分”。

我們的合成數(shù)據(jù)方法并非盲目生成，而是建立在嚴(yán)謹(jǐn)?shù)姆椒ㄕ摶A(chǔ)上。我們首先建立語(yǔ)境圖譜，在此基礎(chǔ)上進(jìn)行數(shù)據(jù)合成。這些合成數(shù)據(jù)經(jīng)過(guò)大模型預(yù)訓(xùn)練后，已經(jīng)展現(xiàn)出很好的效果。

除此之外，我們還在探索另一個(gè)維度的問(wèn)題：私域數(shù)據(jù)安全孤島。由于數(shù)據(jù)安全考慮，許多私域數(shù)據(jù)無(wú)法直接共享使用。為此，我們開(kāi)發(fā)了 IDEA Data Maker，將這兩個(gè)方面結(jié)合起來(lái)，通過(guò)語(yǔ)境圖譜生成新的語(yǔ)料，解決過(guò)往文本數(shù)據(jù)合成方案的多樣性匱乏等問(wèn)題。該技術(shù)為合成數(shù)據(jù)引入“指導(dǎo)手冊(cè)”，以圖譜為綱，指導(dǎo)用于合成的語(yǔ)境采樣。實(shí)驗(yàn)結(jié)果顯示，IDEA 團(tuán)隊(duì)的方案能持續(xù)為大模型帶來(lái)能力提升，表現(xiàn)超過(guò)目前的最佳實(shí)踐（SOTA）模型；從 token 消耗來(lái)看，平均節(jié)約成本 85.7%。目前，該技術(shù)內(nèi)測(cè)平臺(tái)已開(kāi)放，通過(guò) API 提供服務(wù)。

在討論了 AI “三件套”之后，我想分享 IDEA 研究院近一年來(lái)的思考和實(shí)踐。特別是大模型蓬勃發(fā)展給我們帶來(lái)的機(jī)遇。

講大模型之前我講一下最近的學(xué)習(xí)體會(huì)，ChatGPT出來(lái)了以后令大家非常震撼。ChatGPT這個(gè)產(chǎn)品出來(lái)，本來(lái)只是幾個(gè)技術(shù)的演示，它出來(lái)以后兩個(gè)月的時(shí)間全球1億用戶，成為了不起的現(xiàn)象。

這種現(xiàn)象打破了我們對(duì)產(chǎn)品發(fā)展的傳統(tǒng)認(rèn)知。在互聯(lián)網(wǎng)時(shí)代，我們常說(shuō) PMF（Product-Market Fit，產(chǎn)品市場(chǎng)匹配）。對(duì)這個(gè)概念的理解，我多次請(qǐng)教過(guò)美團(tuán)的王慧文，在清華的一堂課上，他專門講解了 PMF 的內(nèi)涵。

但 ChatGPT 的成功告訴我們，它實(shí)際上跳過(guò)了 PMF 的過(guò)程，直接實(shí)現(xiàn)了TMF（Technology-Market Fit，技術(shù)市場(chǎng)匹配）。當(dāng)技術(shù)發(fā)展到一定程度，就可能實(shí)現(xiàn)這樣的跨越式突破。

在 IDEA，我們天天在追求一些極致的技術(shù)，也在思考：如果有技術(shù)出來(lái)，是否可以一步到位？這當(dāng)然是我們的期望，我們一直在朝這個(gè)方向努力。

順著 TMF 的思路，我想講一個(gè)最近我們特別關(guān)注的方向：計(jì)算機(jī)編程語(yǔ)言。作為一個(gè)學(xué)習(xí)計(jì)算機(jī)的人，我自己就編寫(xiě)過(guò)十幾種不同的編程語(yǔ)言，在不同的階段做不同的項(xiàng)目時(shí)都會(huì)用到它們。

在這里我想提出一個(gè)重要觀點(diǎn)：縱觀全球，有那么多的編程語(yǔ)言，包括小語(yǔ)言、大語(yǔ)言、中型語(yǔ)言，但基本上沒(méi)有一個(gè)被廣泛使用的語(yǔ)言是由中國(guó)人發(fā)明、中國(guó)人創(chuàng)造的。這種現(xiàn)象是有機(jī)會(huì)改變的。

讓我給大家舉幾個(gè)例子，說(shuō)明什么是現(xiàn)象級(jí)的語(yǔ)言。

在過(guò)去七八十年的計(jì)算機(jī)科學(xué)發(fā)展歷程中，出現(xiàn)過(guò)的現(xiàn)象級(jí)語(yǔ)言不超過(guò)十個(gè)。這里的“現(xiàn)象級(jí)”是指至少有幾百萬(wàn)、上千萬(wàn)用戶在使用這個(gè)語(yǔ)言編程。比如早期的 Fortran，當(dāng)時(shí)是和 IBM 大型機(jī)綁定的，做三角計(jì)算都要用 Fortran 語(yǔ)言。70 年代出現(xiàn)的 C 語(yǔ)言，是與 Unix 操作系統(tǒng)緊密相連的，甚至可以說(shuō) Unix 系統(tǒng)就是用 C 語(yǔ)言構(gòu)建的。到了 90 年代互聯(lián)網(wǎng)興起時(shí)，我?guī)熜珠_(kāi)發(fā)的 Java 語(yǔ)言被大量程序員采用，主要用于開(kāi)發(fā) Web 服務(wù)器。而在過(guò)去十幾年，Python 因?yàn)樵诳茖W(xué)計(jì)算方面的便利性，特別是在云計(jì)算平臺(tái)上的廣泛應(yīng)用，成為主流語(yǔ)言。如果你問(wèn)問(wèn)自己的孩子在學(xué)什么編程語(yǔ)言，大概率會(huì)是 Python。

那么，在今天的大模型時(shí)代，會(huì)不會(huì)出現(xiàn)新的現(xiàn)象級(jí)語(yǔ)言？這個(gè)問(wèn)題不是只有我一個(gè)人在思考。比如，GitHub Copilot 的創(chuàng)始人 Alex Graveley 就指出，AI 編程還沒(méi)有形成新的編程語(yǔ)言范式。編程語(yǔ)言是最根本的技術(shù)創(chuàng)新方向之一。

有了語(yǔ)言之后，就需要探索大模型的技術(shù)創(chuàng)新方向。在大模型能力已經(jīng)達(dá)到新高度的今天，一個(gè)關(guān)鍵問(wèn)題是：我們?nèi)绾螌⑦@種能力轉(zhuǎn)化為實(shí)際應(yīng)用？在哪些場(chǎng)景中可以發(fā)揮其最大價(jià)值？

在所有的應(yīng)用方向中，我特別要強(qiáng)調(diào) AI For Science（科學(xué)智能）的重要性?？梢哉f(shuō)，在當(dāng)前階段，很難想象有什么比 AI For Science 更重要的方向。如果我們要做人工智能研究，一方面要全力推動(dòng)大模型技術(shù)的落地，另一方面也要關(guān)注它在科學(xué)研究中的應(yīng)用。

這讓我想起二十多年前在微軟亞洲研究院做過(guò)一個(gè)關(guān)于如何做科研、如何做學(xué)問(wèn)的報(bào)告。我把科研工作分成了三個(gè)不同的層次：ARCH（確定方向）、Search（選擇課題）、Research（深入研究，一而再再而三地探索）?，F(xiàn)在，我們希望 IDEA 的工作能為中國(guó)的科研人員、年輕學(xué)生在做科研時(shí)提供更好的支持。

事實(shí)上，人工智能的發(fā)展正在對(duì)社會(huì)產(chǎn)生深遠(yuǎn)的影響。這個(gè)問(wèn)題太重要了，需要我們認(rèn)真思考。我們今天要討論的是 AI 治理問(wèn)題，包括它對(duì)民眾的沖擊、對(duì)公司的沖擊、對(duì)監(jiān)管的沖擊、對(duì)社會(huì)發(fā)展的沖擊。

人工智能的影響究竟是如何發(fā)生的？八年前，人們還在討論社交媒體的影響，而今天我們必須要討論人工智能的影響。

過(guò)去十幾年的發(fā)展令人震驚：人類引以為傲的能力正在一個(gè)個(gè)被 AI 超越。下象棋、下圍棋就不必多說(shuō)，現(xiàn)在AI在閱讀理解、圖像識(shí)別和檢測(cè)等領(lǐng)域的能力都已經(jīng)逐步超越人類。

更令人震撼的是，這些能力的提升已經(jīng)不是單點(diǎn)突破，而是通用人工智能整體能力的提升，這使得人工智能對(duì)社會(huì)的影響變得異常深遠(yuǎn)。

現(xiàn)在，全球范圍內(nèi)都在討論 AI 治理問(wèn)題。我有幸在今年上海人工智能大會(huì)上與我的導(dǎo)師瑞迪教授、布盧姆教授和姚期智教授一起討論這個(gè)議題。

從社會(huì)發(fā)展的角度來(lái)看，我們習(xí)慣用 GDP 來(lái)衡量發(fā)展水平。但 GDP 這個(gè)概念其實(shí)是很新的。在農(nóng)業(yè)社會(huì)之前，根本不存在 GDP 增長(zhǎng)的概念，因?yàn)槿藗冞B溫飽都難以解決。農(nóng)業(yè)社會(huì)發(fā)展后，人們有了剩余產(chǎn)能，但 GDP 年均增長(zhǎng)仍然只有 0.1% 至 0.2%。到了工業(yè)社會(huì)，這個(gè)數(shù)字提升到 1% 至 2%。信息社會(huì)的 GDP 年均增長(zhǎng)達(dá)到了3%、4%，這里說(shuō)的都是全球的大致數(shù)字。

那么，在接下來(lái)AI社會(huì)的發(fā)展，會(huì)發(fā)生什么？一些經(jīng)濟(jì)學(xué)家預(yù)測(cè)，隨著人工智能數(shù)量超過(guò)人類數(shù)量，機(jī)器人數(shù)量急劇增加，生產(chǎn)效率將獲得巨大提升。在這樣的 AI 世界中，GDP 年均增長(zhǎng)可能達(dá)到十幾個(gè)百分點(diǎn)。

這樣的增長(zhǎng)給社會(huì)帶來(lái)的問(wèn)題是什么？我想問(wèn)的一句話是AI的發(fā)展，從經(jīng)濟(jì)最大的增長(zhǎng)能不能轉(zhuǎn)化到人類的最大福祉？這是為什么在座的，在IDEA研究院從事技術(shù)研發(fā)的同事，產(chǎn)業(yè)落地這些同事在人工智能發(fā)展的道路上是必須要去思考的問(wèn)題。

謝謝大家！期待明年再見(jiàn)。