大規模全光生成式 AI 芯片首次實現！

當前的大規模生成式 AI 在生成圖像或視頻時，往往速度慢、耗電大、成本高，限制了生成模型在端側和實時場景的應用。

上海交通大學集成電路學院圖像通信所團隊開發了全光計算芯片 LightGen，突破性地實現了對大規模語義媒體生成模型的支持。

其能夠完成高分辨率（≥512×512）圖像語義生成、3D 生成（NeRF）、高清視頻生成及語義調控。與此同時，還支持多項大規模生成式任務，包括去噪、局部與全局特征遷移等。

值得關注的是，在取得和前沿電子神經網絡相仿生成質量的同時，采用較滯后性能的輸入設備條件下，LightGen 同時將算力與能效相較頂尖數字芯片提升 2 個數量級，讓生成式任務的實時生成交互成為可能。

未來，在采用前沿設備使得信號輸入頻率不是瓶頸的情況下，LightGen 理論算力相較頂尖數字芯片能提升 7 個數量級。

（陳一彤）

LightGen 為解決生成式 AI 部署落地的算力缺口提供了一種新方法，在不影響性能的前提下，實現了更高的速度和能效，助力推動新一代算力芯片在人工智能領域應用。

審稿人對該研究評價稱：“這項工作意義重大，代表著光子計算領域的一個新里程碑，因為它首次實現了基于光學芯片的真正生成式人工智能，而這在此之前尚未實現過。”

近日，相關論文以《大規模智能語義視覺生成全光芯片》（All-optical synthesis chip for large-scale intelligent semantic vision generation）為題發表在 Science[1]。上海交通大學陳一彤助理教授擔任第一作者及通訊作者。

圖丨相關論文（Science）

在傳統的電子芯片中，信息的載體是電子，主要靠晶體管的開關切換完成計算。然而，當規模越來越大，系統會被晶體管開關頻繁翻轉帶來的功耗、延遲、發熱等問題拖累。

光計算芯片的不同之處在于信息被編碼到光上，通過光場的變化完成計算，光場在傳播過程中把大量的運算并行計算出來。可以類比為，電芯片就像是銅線電話傳消息，以電為載體；而光計算芯片則像是光纖寬帶，常具有速度更快、能耗更低的優勢。

圖丨大規模全光生成計算芯片 LightGen（Science）

據悉，早在 2019 年，陳一彤就開始思考如何全光實現生成式模型，并在后來發表了 Science Advances 認證的國際首個全光生成式網絡[2]。思考這個想法時，當前流行的生成式模型尚未大幅度走入公眾視野，也還未引起廣泛的關注度。

當下，生成式模型在全球帶來變革性影響的同時，陳一彤課題組也攻克了百萬級光學神經元全光芯片片上集成、全光維度變換和無真值訓練算法等一系列問題，最終兩股進步力量融合促進了 LightGen 芯片的誕生。

圖丨LightGen 生成的采樣圖像示例（Science）

其中，百萬級神經元為生成任務需要龐大的神經元規模問題提供了方案；全光維度轉換則面向生成式任務對維度變換的需求，解決了模擬光信號維度難以定義更遑論全光超高速轉換的問題；而無預定義真值訓練算法則讓生成式任務沒有標準答案的情況下，光子芯片如何訓練的問題得以解決。

將三者結合，才把光計算從以往主要擅長決策任務推進到可以比肩數字模型的語義生成。

論文指出，LightGen 實現了百萬級光學神經元的集成和大尺寸的輸入輸出，這并非簡單地重復小規模的光子芯片，而是對語義生成至關重要的質的飛躍。

需要了解的是，LightGen 并不是電輔助光做生成，而是讓全光芯片完整實現一種“輸入-理解-操控-生成”的閉環。研究團隊認為，LightGen 有望在內容生產流程中率先實現商業化，如實時預覽、極速出圖等最“吃”算力且又最需要實時反饋的環節。

圖丨陳一彤（陳一彤）

“LightGen 可以讓創作者獲得‘所見即所得’的預覽速度，幫創作者把渲染生成迭代從單次數小時壓縮到數秒甚至亞秒級，提高生產效率。”研究團隊告訴 DeepTech。

未來，LightGen 從實驗室走向可用的技術產品，還需要解決制定標準化工藝流程、量產測試標準等系列工程問題。據悉，研究團隊已與產業方展開密切合作。

參考資料：

1.https://www.science.org/doi/10.1126/science.adv7434

2.https://www.science.org/doi/10.1126/sciadv.adf8437

運營/排版：何晨龍