7 月 5 日消息，AI 聊天機(jī)器人平臺(tái) Character.AI 發(fā)布研究論文和視頻演示，展示了名為 TalkingMachines 的自回歸擴(kuò)散模型，讓 AI 角色互動(dòng)更加逼真。

該模型尚未部署在 Character.AI 平臺(tái)上，根據(jù)研究論文和視頻演示，用戶只需要輸入一張圖片和聲音信號(hào)，該模型就能實(shí)現(xiàn)類似 FaceTime 的通話視覺(jué)互動(dòng)。

該模型基于 Diffusion Transformer（DiT）技術(shù)，本質(zhì)上是一種能夠從隨機(jī)噪聲中創(chuàng)建詳細(xì)圖像的“藝術(shù)家”，并不斷優(yōu)化圖像直至完美。Character.AI 所做的就是讓這一過(guò)程變得極其迅速，達(dá)到實(shí)時(shí)效果。

TalkingMachines 模型采用了流匹配擴(kuò)散（Flow-Matched Diffusion）、音頻驅(qū)動(dòng)的交叉注意力（Audio-Driven Cross Attention）、稀疏因果注意力（Sparse Causal Attention）和不對(duì)稱蒸餾（Asymmetric Distillation）等多種關(guān)鍵技術(shù)。

其中流匹配擴(kuò)散技術(shù)通過(guò)訓(xùn)練大量動(dòng)作，包括細(xì)微的面部表情和更夸張的手勢(shì)，確保 AI 角色動(dòng)作更加自然。音頻驅(qū)動(dòng)的交叉注意力技術(shù)則讓 AI 不僅能聽(tīng)到單詞，還能理解音頻中的節(jié)奏、停頓和語(yǔ)調(diào)，并將其轉(zhuǎn)化為精確的口型、點(diǎn)頭和眨眼。

稀疏因果注意力技術(shù)讓 Character.AI 能夠以更高效的方式處理視頻幀，而不對(duì)稱蒸餾技術(shù)則讓視頻能夠?qū)崟r(shí)生成，營(yíng)造出類似 FaceTime 通話的效果。

Character.AI 強(qiáng)調(diào)，這一研究突破不僅僅是關(guān)于面部動(dòng)畫(huà)的，它是朝向?qū)崟r(shí)互動(dòng)的音頻視覺(jué) AI 角色邁出的一步。該模型支真實(shí)感人類、動(dòng)漫和 3D 虛擬形象等多種風(fēng)格。