①M(fèi)eta周二發(fā)布了一個(gè)名為SeamlessM4T的人工智能模型,可以翻譯和轉(zhuǎn)錄近百種語(yǔ)言;
②對(duì)于語(yǔ)音轉(zhuǎn)語(yǔ)音和文本轉(zhuǎn)語(yǔ)音的操作,SeamlessM4T可以識(shí)別100種輸入語(yǔ)言,并將其轉(zhuǎn)換為35種輸出語(yǔ)言。
當(dāng)?shù)貢r(shí)間周二(8月22日),Meta發(fā)布了一個(gè)名為SeamlessM4T的人工智能(AI)模型,可以翻譯和轉(zhuǎn)錄近百種語(yǔ)言。
據(jù)Meta介紹,SeamlessM4T可以翻譯近100種語(yǔ)言的語(yǔ)音到文本和文本到文本。對(duì)于語(yǔ)音轉(zhuǎn)語(yǔ)音和文本轉(zhuǎn)語(yǔ)音的操作,它可以識(shí)別100種輸入語(yǔ)言,并將其轉(zhuǎn)換為35種輸出語(yǔ)言。
SeamlessM4T是根據(jù)知識(shí)共享許可(CC) 協(xié)議4.0發(fā)布的,允許研究人員對(duì)其進(jìn)行迭代。
除了SeamlessM4T,Meta還發(fā)布了其開(kāi)放翻譯數(shù)據(jù)集SeamlessAlign的元數(shù)據(jù)。
Meta表示:“建立一個(gè)通用語(yǔ)言翻譯器,例如像《銀河系漫游指南》中虛構(gòu)的巴別魚(yú)那樣,是具有挑戰(zhàn)性的,因?yàn)楝F(xiàn)有的語(yǔ)音對(duì)語(yǔ)音和語(yǔ)音對(duì)文本系統(tǒng)只覆蓋了世界語(yǔ)言的一小部分!
《銀河系漫游指南》是由英國(guó)作家道格拉斯·亞當(dāng)斯所寫(xiě)的一系列科幻小說(shuō),而巴別魚(yú)是這部作品所創(chuàng)造的一種神奇生物,體型小到足以放進(jìn)人的耳朵,靠接受腦電波為生。如果將巴別魚(yú)放到耳朵里,人們可以理解任何語(yǔ)言。
對(duì)于SeamlessM4T模型,Meta研究人員在一篇研究論文中表示,他們從400萬(wàn)小時(shí)的原始音頻中收集了音頻訓(xùn)練數(shù)據(jù),這些音頻來(lái)自一個(gè)公開(kāi)的抓取網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)庫(kù),但沒(méi)有說(shuō)明是哪個(gè)存儲(chǔ)庫(kù)。
研究報(bào)告稱,文本數(shù)據(jù)來(lái)自去年創(chuàng)建的數(shù)據(jù)集,這些數(shù)據(jù)集從維基百科和相關(guān)網(wǎng)站上提取了內(nèi)容。
Meta表示,SeamlessM4T代表了一個(gè)重大突破,因?yàn)檫@個(gè)模型可以一次性完成整個(gè)翻譯任務(wù),而不像其他大型翻譯模型那樣,將翻譯分成不同的系統(tǒng)。
SeamlessM4T建立在Meta之前的翻譯模型之上。Meta去年發(fā)布了支持200種語(yǔ)言的文本到文本的翻譯模型。它開(kāi)發(fā)了用于多語(yǔ)言語(yǔ)音到語(yǔ)音翻譯的數(shù)據(jù)集,以及用于語(yǔ)音識(shí)別的大規(guī)模多語(yǔ)言語(yǔ)音。Meta去年展示了它的通用語(yǔ)音翻譯器,可將閩南語(yǔ)轉(zhuǎn)化為英語(yǔ)。