剛剛，meta AI FAIR團(tuán)隊(duì)發(fā)布了其在自動(dòng)語(yǔ)音識(shí)別（ASR）領(lǐng)域的最新成果：Omnilingual ASR

這是一個(gè)模型套件，能為超過(guò)1600種語(yǔ)言提供自動(dòng)語(yǔ)音識(shí)別能力，其規(guī)模和質(zhì)量都達(dá)到了新的水平。

值得關(guān)注的是，該框架被設(shè)計(jì)為社區(qū)驅(qū)動(dòng)，世界各地的人們只需提供少量自己的樣本，就能將Omnilingual ASR擴(kuò)展到新的語(yǔ)言

同時(shí)開(kāi)源的，還有一系列相關(guān)：

Omnilingual ASR Corpus：一個(gè)包含350種服務(wù)欠缺語(yǔ)言的轉(zhuǎn)錄語(yǔ)音的大型數(shù)據(jù)集

Omnilingual wav2vec 2.0：一個(gè)擴(kuò)展到70億參數(shù)的、大規(guī)模多語(yǔ)言語(yǔ)音表征模型

語(yǔ)言探索Demo：一個(gè)可供人們探索模型所覆蓋語(yǔ)言的演示

目前，大多數(shù)ASR系統(tǒng)都集中在互聯(lián)網(wǎng)上資源豐富的一小部分語(yǔ)言上，這加劇了低資源語(yǔ)言使用者面臨的數(shù)字鴻溝

meta FAIR團(tuán)隊(duì)推出的Omnilingual ASR，旨在通過(guò)一個(gè)通用轉(zhuǎn)錄系統(tǒng)，讓高質(zhì)量的語(yǔ)音轉(zhuǎn)文本技術(shù)能夠惠及代表性最不足的語(yǔ)言社區(qū)。其最終目標(biāo)是打破語(yǔ)言障礙，實(shí)現(xiàn)跨語(yǔ)言和文化背景的交流

下載：

https://github.com/facebookresearch/omnilingual-asr

語(yǔ)言探索demo：

https://aidemos.atmeta.com/omnilingualasr/language-globe

轉(zhuǎn)錄工具：

https://huggingface.co/spaces/facebook/omniasr-transcriptions

paper：

https://ai.meta.com/research/publications/omnilingual-asr-open-source-multilingual-speech-recognition-for-1600-languages/

前所未有的語(yǔ)言覆蓋范圍與性能

盡管ASR技術(shù)近年來(lái)在許多高資源語(yǔ)言上已接近完美，但擴(kuò)大語(yǔ)言覆蓋范圍一直是一項(xiàng)資源密集型任務(wù)，現(xiàn)有AI架構(gòu)對(duì)數(shù)據(jù)的需求過(guò)高，難以實(shí)現(xiàn)通用擴(kuò)展。

Omnilingual ASR通過(guò)引入兩種架構(gòu)變體來(lái)解決這一研究瓶頸。

首先，團(tuán)隊(duì)首次將其wav2vec 2.0語(yǔ)音編碼器擴(kuò)展到70億參數(shù)，從原始、未轉(zhuǎn)錄的語(yǔ)音數(shù)據(jù)中生成了豐富的、大規(guī)模多語(yǔ)言語(yǔ)義表征。

接著，團(tuán)隊(duì)構(gòu)建了兩種解碼器變體，將這些表征映射到字符序列：

1.一種依賴(lài)傳統(tǒng)的連接主義時(shí)間分類(lèi)（CTC）目標(biāo)。
2.另一種利用了在LLM中常見(jiàn)的傳統(tǒng)Transformer解碼器。

這種被稱(chēng)為LLM-ASR的方法，在ASR性能上實(shí)現(xiàn)了階段性提升，尤其是在長(zhǎng)尾語(yǔ)言上。

結(jié)果顯示，其7B-LLM-ASR系統(tǒng)在超過(guò)1600種語(yǔ)言上達(dá)到了SOTA性能，其中78%的語(yǔ)言字符錯(cuò)誤率（CER）低于10

自帶語(yǔ)言（Bring Your Own Language）

除了擴(kuò)展到1600多種語(yǔ)言外，Omnilingual ASR還改變了引入新語(yǔ)言的范式。

在大多數(shù)現(xiàn)有系統(tǒng)中，添加新語(yǔ)言需要專(zhuān)家驅(qū)動(dòng)的微調(diào)。而Omnilingual ASR引入了首個(gè)能夠僅憑少量上下文示例就擴(kuò)展到全新語(yǔ)言的大規(guī)模ASR框架

這得益于其受LLM啟發(fā)的系統(tǒng)，該系統(tǒng)從大語(yǔ)言模型領(lǐng)域引入了上下文學(xué)習(xí)能力

在實(shí)踐中，這意味著一個(gè)使用不支持語(yǔ)言的用戶(hù)，只需提供少數(shù)幾個(gè)成對(duì)的音頻-文本樣本，就能獲得可用的轉(zhuǎn)錄質(zhì)量——無(wú)需大規(guī)模訓(xùn)練數(shù)據(jù)、專(zhuān)業(yè)知識(shí)或高端計(jì)算資源

一套面向不同用例的模型

此次，meta發(fā)布了一整套模型和一個(gè)數(shù)據(jù)集，為利益相關(guān)者擴(kuò)展和改進(jìn)任何語(yǔ)言的語(yǔ)音技術(shù)提供了所需的一切。

模型家族：提供兩種解碼器變體，從專(zhuān)為低功耗設(shè)備設(shè)計(jì)的輕量級(jí)300M版本，到為各種用例提供頂級(jí)精度的強(qiáng)大7B模型

基礎(chǔ)模型：通用語(yǔ)音基礎(chǔ)模型wav2vec 2.0也提供多種尺寸，可用于ASR之外的其他語(yǔ)音相關(guān)任務(wù)。

所有模型均在許可寬松的Apache 2.0許可下發(fā)布，數(shù)據(jù)則在CC-BY許可下提供。這些資產(chǎn)基于FAIR的開(kāi)源fairseq2框架構(gòu)建

與全球合作伙伴共建

Omnilingual ASR的訓(xùn)練語(yǔ)料庫(kù)在數(shù)量和語(yǔ)言多樣性上都是為ASR組建的最大語(yǔ)料庫(kù)之一，整合了公開(kāi)可用的數(shù)據(jù)集和通過(guò)多個(gè)合作伙伴關(guān)系收集的社區(qū)來(lái)源語(yǔ)音記錄。

為了覆蓋那些幾乎沒(méi)有數(shù)字足跡的語(yǔ)言，團(tuán)隊(duì)與當(dāng)?shù)亟M織合作，招募并補(bǔ)償母語(yǔ)者，通常是在偏遠(yuǎn)或記錄不足的地區(qū)。這部分委托收集的訓(xùn)練語(yǔ)料庫(kù)作為Omnilingual ASR Corpus發(fā)布。迄今為止，這是有史以來(lái)最大的超低資源自然語(yǔ)音ASR數(shù)據(jù)集，覆蓋了數(shù)百種ASR系統(tǒng)前所未見(jiàn)的語(yǔ)言。

此外，通過(guò)語(yǔ)言技術(shù)合作伙伴計(jì)劃，團(tuán)隊(duì)與Mozilla基金會(huì)的Common Voice和Lanfrica/NaijaVoices等組織合作，直接與當(dāng)?shù)厣鐓^(qū)協(xié)作。這些合作關(guān)系為Omnilingual ASR注入了深厚的語(yǔ)言學(xué)知識(shí)和文化理解，確保技術(shù)能滿(mǎn)足當(dāng)?shù)匦枨?/p>

參考：

https://ai.meta.com/blog/omnilingual-asr-advancing-automatic-speech-recognition/?utm_source=twitter&utm_medium=organic_social&utm_content=video&utm_campaign=omnilingual