智東西10月14日消息，昨夜，前特斯拉人工智能與自動(dòng)駕駛視覺(jué)總監(jiān)、OpenAI研究員安德烈卡帕西（Andrej Karpathy）開(kāi)源nanochat，號(hào)稱可以只用不到100美元（約合人民幣711.5元）訓(xùn)練出“簡(jiǎn)易版ChatGPT”，一經(jīng)發(fā)布在GitHub上就獲得了5.6k星。

nanochat Github主頁(yè)（Github）

與其早期只涵蓋預(yù)訓(xùn)練的nanoGPT不同，nanochat是一個(gè)極簡(jiǎn)的、從零構(gòu)建的全棧訓(xùn)練/推理流程，用最精簡(jiǎn)的依賴代碼庫(kù)實(shí)現(xiàn)了“簡(jiǎn)易版ChatGPT”。

安德烈卡帕西（Andrej Karpathy）推文截圖（X）

卡帕西在評(píng)論區(qū)中回復(fù)稱，nanochat的基本架構(gòu)類似meta的Llama，但有所簡(jiǎn)化，并吸收了modded-nanoGPT的一些改進(jìn)。

他還透露，截至指令微調(diào)（SFT）階段，整個(gè)訓(xùn)練耗時(shí)3小時(shí)51分鐘，總成本為92.4美元（約合人民幣657.4元），“這樣我們甚至還能剩下8美元買(mǎi)個(gè)冰淇淋犒勞自己?！彼_(kāi)玩笑道。

值得注意的是，由于目前對(duì)強(qiáng)化學(xué)習(xí)（RL）的支持尚不完善，卡帕西稱他并未將其計(jì)入總運(yùn)行時(shí)間。

也就是說(shuō)，開(kāi)發(fā)者只需啟動(dòng)云GPU實(shí)例，運(yùn)行單個(gè)腳本，只需不到100美元（約合人民幣711.5元），最快4小時(shí)，就能訓(xùn)練出可進(jìn)行簡(jiǎn)單對(duì)話、創(chuàng)作故事詩(shī)歌、回答基礎(chǔ)問(wèn)題的“簡(jiǎn)易版ChatGPT”。

訓(xùn)練約12小時(shí)，模型即可在評(píng)估模型推理能力、知識(shí)基礎(chǔ)等基礎(chǔ)能力的CORE指標(biāo)上超越GPT-2?？ㄅ廖鬟€透露，當(dāng)投入提升至約1000美元（約合人民幣7114.7元），訓(xùn)練41.6小時(shí)后，模型表現(xiàn)還將顯著提升，能夠解決基礎(chǔ)數(shù)學(xué)/編程問(wèn)題并通過(guò)選擇題測(cè)試。

例如，深度為30的模型訓(xùn)練24小時(shí)（相當(dāng)于GPT-3 Small 125M的計(jì)算量，約為GPT-3的千分之一）后，在多任務(wù)的語(yǔ)言理解基準(zhǔn)MMLU得分超40分，在簡(jiǎn)單常識(shí)推理任務(wù)ARC-Easy超70分，在數(shù)學(xué)推理能力基準(zhǔn)測(cè)試GSM8K中獲得超20分的成績(jī)。

nanochat性能表格（Github）

這個(gè)有著8304行代碼的項(xiàng)目實(shí)現(xiàn)了以下功能：

1、使用新的Rust實(shí)現(xiàn)訓(xùn)練分詞器；

2、在FineWeb數(shù)據(jù)集上預(yù)訓(xùn)練Transformer LLM，并通過(guò)CORE指標(biāo)多維度評(píng)估；

3、使用SmolTalk的用戶-助手對(duì)話數(shù)據(jù)、選擇題數(shù)據(jù)和工具使用數(shù)據(jù)進(jìn)行中期訓(xùn)練；

4、進(jìn)行指令微調(diào)，在常識(shí)選擇題（ARC-E/C、MMLU）、數(shù)學(xué)（GSM8K）、代碼（Humaneval）等基準(zhǔn)上評(píng)估聊天模型；

5、可選使用“GRPO”算法在GSM8K數(shù)據(jù)集上進(jìn)行強(qiáng)化學(xué)習(xí)；

6、通過(guò)帶KV緩存的引擎實(shí)現(xiàn)高效推理，支持簡(jiǎn)單預(yù)填充/解碼和工具調(diào)用（輕量級(jí)沙箱中的Python解釋器），可通過(guò)CLI或類ChatGPT網(wǎng)頁(yè)界面交互；

7、生成單頁(yè)Markdown評(píng)估報(bào)告，以游戲化方式總結(jié)全流程。

在原推文的評(píng)論區(qū)中，卡帕西還給出了一個(gè)nanochat與用戶對(duì)話的案例。在這個(gè)對(duì)話中，基礎(chǔ)版nanochat已經(jīng)實(shí)現(xiàn)AI聊天機(jī)器人的對(duì)話功能，并且可以根據(jù)要求撰寫(xiě)詩(shī)歌。

nanochat功能演示（X）

在卡帕西的推文下，網(wǎng)友們發(fā)出一致好評(píng)，有人稱“非常受到啟發(fā)”，甚至說(shuō)“這個(gè)人（指卡帕西）簡(jiǎn)直是個(gè)傳奇。”

網(wǎng)友評(píng)論節(jié)選（X）

還有網(wǎng)友已經(jīng)做出了nanochat的可交互實(shí)時(shí)代碼圖譜，能夠更加直觀地探索這個(gè)代碼庫(kù)

結(jié)語(yǔ)：nanochat為AI開(kāi)發(fā)成本控制路徑提供參考

nanochat項(xiàng)目的推出，為AI模型開(kāi)發(fā)的成本控制提供了新的參考。該項(xiàng)目證明了，在適當(dāng)?shù)募軜?gòu)設(shè)計(jì)和流程優(yōu)化下，以100美元級(jí)別的成本實(shí)現(xiàn)基礎(chǔ)對(duì)話AI功能具備技術(shù)可行性。

雖然當(dāng)前版本在性能上仍與商用大模型存在差距，但其展現(xiàn)的性價(jià)比優(yōu)勢(shì)，為AI技術(shù)在更廣泛場(chǎng)景中的應(yīng)用拓展了可能性。隨著開(kāi)源社區(qū)對(duì)該項(xiàng)目的持續(xù)優(yōu)化，這種高效開(kāi)發(fā)模式或?qū)锳I技術(shù)普及帶來(lái)新的推動(dòng)力。