Meta推語音對語音翻譯技術 說閩南語直接變英文!

合成示意圖/Meta
合成示意圖/Meta

過去常見語言翻譯系統,多半是建立在有實際語音及對應文字內容,並且透過交叉比對或深度學習方式進行翻譯,而 Meta 稍早宣布推出全球第一款直接以語音對語音方式進行翻譯的技術,藉此讓原本沒有對應標準書寫文字內容的閩南語,可以直接透過口說方式翻譯成英語,甚至支援雙向翻譯。

閩南語在全球使用人口超過 5,000 萬人,主要分布在台灣、中國福建、新加坡、馬來西亞等地,本身並未具備對應文字內容,主要透過口說方式交流、學習,因此若以目前常見的語言翻譯系統運作邏輯來看,閩南語基本上難以被翻譯成其他語言,或是從其他語言翻譯,原因在於沒有足夠文本與聲音內容進行訓練,另一方面也在於可將語言直接翻譯為閩南語的人相對較少,因此很難建立合適的翻譯模型。

在 Meta 提出設計中,最初會將會將沒有文字的語言念音轉為數位資料,並且將這些資料以不同語言對應文字進行標示分類,在此次示範閩南語與英語翻譯過程中,便是將閩南語的念音所轉換數位資料以 5 中文作為中間語言,並且透過機器學習方式進行比對訓練,在後續實際翻譯過程就能順利將閩南語翻譯成英語(亦即將閩南語轉換成中文,再將中文轉換為英語),同時也能反過來將英語翻譯成閩南語,進而透過數位語音方式念出。

若碰到語音內容無法透過第一道流程完成翻譯,系統就會透過第二道流程嘗試透過其他語言轉譯,最終則可將語音內容翻譯成所需語言。

至於為了確保翻譯準確度,Meta 也透過 Taiwanese Across Taiwan 建立長達 300 小時長度的台文語音語料庫,建立第一個閩南語與英語雙向語音翻譯基準資料集,藉此確保翻譯結果正確。

目前 Meta 已經可讓閩南語使用者與英語使用者對話,但現階段仍僅能在每次翻譯單一完整語句,未來預期將會持續讓翻譯成效精進。

而參與此項技術研究、來自台灣的 Meta 軟體工程師陳鵬仁,便以其 70 歲的父親陳聖獎為例,雖然閩南語在許多情況下與中文相關,但其實仍有不少差異,因此長年習慣以台語與人溝通的父親,在必須以中文溝通情況下,往往就會讓說話速度變慢,甚至較難正確表達,因此希望透過人工智慧方式讓父親可以更容易以台語與他人溝通,甚至能夠轉換成英語。

透過名為「S2UT」(speech-to-unit translation)的技術,Meta 更宣布將開放透過名為 LASER 的自然語言處理工具打造的 SpeechMatrix 大型語音對語音訓練模型,讓其他研究人員可以建立更多無法透過文字內容紀錄的語言,藉此讓更多語言也能便利地透過人工智慧方式翻譯成其他語言,藉此讓不同語言使用者能更輕易溝通,並且打破語言隔閡。

不過,跟其他語言會有口音、不同地區用語差異情況一樣,即便同樣都是閩南語,在台灣地區說的台語,跟中國福建、閩南一帶說的閩南語,以及在新加坡、馬來西亞等地區所使用的閩南語多少都會有些不同,因此在後續設計顯然也必須建立更多訓練模型,才能順利對應不同地區的語言互譯。

《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》

猜你喜歡

同類好文

踩到作者底線!日漫畫家作品遭法網友上色而氣炸 雙方論戰多日結局竟鬼轉?

踩到作者底線!日漫畫家作品遭法網友上色而氣炸 雙方論戰多日結局竟鬼轉?

YouTube宣布嚴加打擊第三方擋廣告APP!抓到影片全部不讓你看

YouTube宣布嚴加打擊第三方擋廣告APP!抓到影片全部不讓你看

《戀上換裝娃娃》喜多川海夢「甜甜圈」怪圖引熱議!網友發言令人直呼不對勁

《戀上換裝娃娃》喜多川海夢「甜甜圈」怪圖引熱議!網友發言令人直呼不對勁

紳士漫畫名作《楓與鈴》作者VT出道!繪圖八小時還玩《艾爾登法環》

紳士漫畫名作《楓與鈴》作者VT出道!繪圖八小時還玩《艾爾登法環》

《咒術迴戰》五條悟手勢不存在?《陰陽師0》導演佐藤嗣麻子曝非現實比法

《咒術迴戰》五條悟手勢不存在?《陰陽師0》導演佐藤嗣麻子曝非現實比法

統神沒收入再被YouTube官方鎖臉?頻道爆因違反社群規範慘遭刪除

統神沒收入再被YouTube官方鎖臉?頻道爆因違反社群規範慘遭刪除

史無前例!沙國電競世界盃總獎金高達20億 官方稱為「改變人生的獎金」

史無前例!沙國電競世界盃總獎金高達20億 官方稱為「改變人生的獎金」

LOL/聲音很「香」?FOFO初登LPL主播台獲好評 觀眾剪精華引出大量兄弟

LOL/聲音很「香」?FOFO初登LPL主播台獲好評 觀眾剪精華引出大量兄弟

VTuber三毛貓B站首播開唱!親親告白全都來 想學中文開《原神》直播

VTuber三毛貓B站首播開唱!親親告白全都來 想學中文開《原神》直播

統神風波延燒?網籲抵制《英雄聯盟》部份玩家卻拍手叫好:求之不得

統神風波延燒?網籲抵制《英雄聯盟》部份玩家卻拍手叫好:求之不得

巴哈姆特動畫瘋凌晨故障 留言區卻一片祥和!網:辛苦了、記得檢查機房乖乖

巴哈姆特動畫瘋凌晨故障 留言區卻一片祥和!網:辛苦了、記得檢查機房乖乖

角色化?知名Coser雨波參訪《勝利女神:妮姬》《劍星》開發商Shift Up總部

角色化?知名Coser雨波參訪《勝利女神:妮姬》《劍星》開發商Shift Up總部

LOL/尺哥哭了!JDG季後賽吞敗無緣MSI...Ruler賽後掩面落淚

LOL/尺哥哭了!JDG季後賽吞敗無緣MSI...Ruler賽後掩面落淚

NHK把〈蘿莉神鎮魂曲〉BAN掉?時雨羽衣笑稱:不能提到歌名好像佛地魔

NHK把〈蘿莉神鎮魂曲〉BAN掉?時雨羽衣笑稱:不能提到歌名好像佛地魔

喜多又烙跑?《孤獨搖滾》主角聲優群出遊秀合照 唯獨長谷川育美「沒影子」

喜多又烙跑?《孤獨搖滾》主角聲優群出遊秀合照 唯獨長谷川育美「沒影子」

GO到了極點!《Pokémon GO》在南極也能玩 官方應研究員要求拓展服務

GO到了極點!《Pokémon GO》在南極也能玩 官方應研究員要求拓展服務

艾倫醒不來!《心靈殺手》鐵粉買了4000份初代遊戲序號 結果沒一張能用

艾倫醒不來!《心靈殺手》鐵粉買了4000份初代遊戲序號 結果沒一張能用

風評大逆轉?水瀨祈疑開小帳安撫網友、替粉絲加油 網直呼:頂級寵粉

風評大逆轉?水瀨祈疑開小帳安撫網友、替粉絲加油 網直呼:頂級寵粉

本人現身!水瀨祈自演疑雲風波後首發文 粉絲卻有共識偷改稱呼為「祈醬」?

本人現身!水瀨祈自演疑雲風波後首發文 粉絲卻有共識偷改稱呼為「祈醬」?

為老婆復仇!《電馭叛客2077:自由幻局》有5名玩家教訓「亞當碎骨」超過100次

為老婆復仇!《電馭叛客2077:自由幻局》有5名玩家教訓「亞當碎骨」超過100次

《Re0》雷姆聲優「水瀨祈」自演疑雲 遭猜測會當鄉民跟網友筆戰

《Re0》雷姆聲優「水瀨祈」自演疑雲 遭猜測會當鄉民跟網友筆戰

《聯盟戰棋》神扯裝置「清倉大特賣」終於要拜了?官方發文:真的最後一天

《聯盟戰棋》神扯裝置「清倉大特賣」終於要拜了?官方發文:真的最後一天

米又贏?傳米哈遊當紅遊戲《原神》、《崩壞》系列將推動電影化

米又贏?傳米哈遊當紅遊戲《原神》、《崩壞》系列將推動電影化

黑白妹+1?《勝利女神:妮姬》新角貝伊「無罩」駕駛 橫看成嶺下看成峰

黑白妹+1?《勝利女神:妮姬》新角貝伊「無罩」駕駛 橫看成嶺下看成峰

瑟到改分級?《塵白禁域》1.7版推出觸摸系統 親密互動還能幫女角脫鞋

瑟到改分級?《塵白禁域》1.7版推出觸摸系統 親密互動還能幫女角脫鞋

圖書館想收《柏德之門3》當館藏但無法直接購買 拉瑞安工作室大方斗內

圖書館想收《柏德之門3》當館藏但無法直接購買 拉瑞安工作室大方斗內

女俠饒命!「黑白」紳士名作網友常說的0/9是什麽?作者也發文表示懂了

女俠饒命!「黑白」紳士名作網友常說的0/9是什麽?作者也發文表示懂了

統神被苗博雅感化?從暴怒到「正能量二部曲」發文坦承:為無知道歉

統神被苗博雅感化?從暴怒到「正能量二部曲」發文坦承:為無知道歉

開播即暴死?4月原創賽車番《極速星舞》評價下探1.5分直逼《動物朋友2》

開播即暴死?4月原創賽車番《極速星舞》評價下探1.5分直逼《動物朋友2》

神秘數字?水原一平首次竊取大谷翔平金額為「40010」元 網笑難怪被FBI關切

神秘數字?水原一平首次竊取大谷翔平金額為「40010」元 網笑難怪被FBI關切

火熱排行

踩到作者底線!日漫畫家作品遭法網友上色而氣炸 雙方論戰多日結局竟鬼轉?

踩到作者底線!日漫畫家作品遭法網友上色而氣炸 雙方論戰多日結局竟鬼轉?

YouTube宣布嚴加打擊第三方擋廣告APP!抓到影片全部不讓你看

YouTube宣布嚴加打擊第三方擋廣告APP!抓到影片全部不讓你看

《戀上換裝娃娃》喜多川海夢「甜甜圈」怪圖引熱議!網友發言令人直呼不對勁

《戀上換裝娃娃》喜多川海夢「甜甜圈」怪圖引熱議!網友發言令人直呼不對勁

紳士漫畫名作《楓與鈴》作者VT出道!繪圖八小時還玩《艾爾登法環》

紳士漫畫名作《楓與鈴》作者VT出道!繪圖八小時還玩《艾爾登法環》

《咒術迴戰》五條悟手勢不存在?《陰陽師0》導演佐藤嗣麻子曝非現實比法

《咒術迴戰》五條悟手勢不存在?《陰陽師0》導演佐藤嗣麻子曝非現實比法

統神沒收入再被YouTube官方鎖臉?頻道爆因違反社群規範慘遭刪除

統神沒收入再被YouTube官方鎖臉?頻道爆因違反社群規範慘遭刪除

史無前例!沙國電競世界盃總獎金高達20億 官方稱為「改變人生的獎金」

史無前例!沙國電競世界盃總獎金高達20億 官方稱為「改變人生的獎金」

LOL/聲音很「香」?FOFO初登LPL主播台獲好評 觀眾剪精華引出大量兄弟

LOL/聲音很「香」?FOFO初登LPL主播台獲好評 觀眾剪精華引出大量兄弟

VTuber三毛貓B站首播開唱!親親告白全都來 想學中文開《原神》直播

VTuber三毛貓B站首播開唱!親親告白全都來 想學中文開《原神》直播

統神風波延燒?網籲抵制《英雄聯盟》部份玩家卻拍手叫好:求之不得

統神風波延燒?網籲抵制《英雄聯盟》部份玩家卻拍手叫好:求之不得

巴哈姆特動畫瘋凌晨故障 留言區卻一片祥和!網:辛苦了、記得檢查機房乖乖

巴哈姆特動畫瘋凌晨故障 留言區卻一片祥和!網:辛苦了、記得檢查機房乖乖

角色化?知名Coser雨波參訪《勝利女神:妮姬》《劍星》開發商Shift Up總部

角色化?知名Coser雨波參訪《勝利女神:妮姬》《劍星》開發商Shift Up總部

Steam戀愛紳士《炙熱的島國生活》移居島嶼曹幸福 認識兩個孩子的媽!

Steam戀愛紳士《炙熱的島國生活》移居島嶼曹幸福 認識兩個孩子的媽!

LOL/尺哥哭了!JDG季後賽吞敗無緣MSI...Ruler賽後掩面落淚

LOL/尺哥哭了!JDG季後賽吞敗無緣MSI...Ruler賽後掩面落淚

NHK把〈蘿莉神鎮魂曲〉BAN掉?時雨羽衣笑稱:不能提到歌名好像佛地魔

NHK把〈蘿莉神鎮魂曲〉BAN掉?時雨羽衣笑稱:不能提到歌名好像佛地魔

喜多又烙跑?《孤獨搖滾》主角聲優群出遊秀合照 唯獨長谷川育美「沒影子」

喜多又烙跑?《孤獨搖滾》主角聲優群出遊秀合照 唯獨長谷川育美「沒影子」

紳士漫畫家ALP宣布《例行公事》續集繪製中 揭露一張草稿

紳士漫畫家ALP宣布《例行公事》續集繪製中 揭露一張草稿

GO到了極點!《Pokémon GO》在南極也能玩 官方應研究員要求拓展服務

GO到了極點!《Pokémon GO》在南極也能玩 官方應研究員要求拓展服務

DLsite紳士RPG《クロアxスクランブル》女異能者獨自升級 為了身份甚麼都做

DLsite紳士RPG《クロアxスクランブル》女異能者獨自升級 為了身份甚麼都做

艾倫醒不來!《心靈殺手》鐵粉買了4000份初代遊戲序號 結果沒一張能用

艾倫醒不來!《心靈殺手》鐵粉買了4000份初代遊戲序號 結果沒一張能用

風評大逆轉?水瀨祈疑開小帳安撫網友、替粉絲加油 網直呼:頂級寵粉

風評大逆轉?水瀨祈疑開小帳安撫網友、替粉絲加油 網直呼:頂級寵粉

本人現身!水瀨祈自演疑雲風波後首發文 粉絲卻有共識偷改稱呼為「祈醬」?

本人現身!水瀨祈自演疑雲風波後首發文 粉絲卻有共識偷改稱呼為「祈醬」?

為老婆復仇!《電馭叛客2077:自由幻局》有5名玩家教訓「亞當碎骨」超過100次

為老婆復仇!《電馭叛客2077:自由幻局》有5名玩家教訓「亞當碎骨」超過100次

《Re0》雷姆聲優「水瀨祈」自演疑雲 遭猜測會當鄉民跟網友筆戰

《Re0》雷姆聲優「水瀨祈」自演疑雲 遭猜測會當鄉民跟網友筆戰

《聯盟戰棋》神扯裝置「清倉大特賣」終於要拜了?官方發文:真的最後一天

《聯盟戰棋》神扯裝置「清倉大特賣」終於要拜了?官方發文:真的最後一天

米又贏?傳米哈遊當紅遊戲《原神》、《崩壞》系列將推動電影化

米又贏?傳米哈遊當紅遊戲《原神》、《崩壞》系列將推動電影化

黑白妹+1?《勝利女神:妮姬》新角貝伊「無罩」駕駛 橫看成嶺下看成峰

黑白妹+1?《勝利女神:妮姬》新角貝伊「無罩」駕駛 橫看成嶺下看成峰

瑟到改分級?《塵白禁域》1.7版推出觸摸系統 親密互動還能幫女角脫鞋

瑟到改分級?《塵白禁域》1.7版推出觸摸系統 親密互動還能幫女角脫鞋

圖書館想收《柏德之門3》當館藏但無法直接購買 拉瑞安工作室大方斗內

圖書館想收《柏德之門3》當館藏但無法直接購買 拉瑞安工作室大方斗內

女俠饒命!「黑白」紳士名作網友常說的0/9是什麽?作者也發文表示懂了

女俠饒命!「黑白」紳士名作網友常說的0/9是什麽?作者也發文表示懂了