Meta推語音對語音翻譯技術 說閩南語直接變英文!

合成示意圖/Meta
合成示意圖/Meta

過去常見語言翻譯系統,多半是建立在有實際語音及對應文字內容,並且透過交叉比對或深度學習方式進行翻譯,而 Meta 稍早宣布推出全球第一款直接以語音對語音方式進行翻譯的技術,藉此讓原本沒有對應標準書寫文字內容的閩南語,可以直接透過口說方式翻譯成英語,甚至支援雙向翻譯。

閩南語在全球使用人口超過 5,000 萬人,主要分布在台灣、中國福建、新加坡、馬來西亞等地,本身並未具備對應文字內容,主要透過口說方式交流、學習,因此若以目前常見的語言翻譯系統運作邏輯來看,閩南語基本上難以被翻譯成其他語言,或是從其他語言翻譯,原因在於沒有足夠文本與聲音內容進行訓練,另一方面也在於可將語言直接翻譯為閩南語的人相對較少,因此很難建立合適的翻譯模型。

在 Meta 提出設計中,最初會將會將沒有文字的語言念音轉為數位資料,並且將這些資料以不同語言對應文字進行標示分類,在此次示範閩南語與英語翻譯過程中,便是將閩南語的念音所轉換數位資料以 5 中文作為中間語言,並且透過機器學習方式進行比對訓練,在後續實際翻譯過程就能順利將閩南語翻譯成英語(亦即將閩南語轉換成中文,再將中文轉換為英語),同時也能反過來將英語翻譯成閩南語,進而透過數位語音方式念出。

若碰到語音內容無法透過第一道流程完成翻譯,系統就會透過第二道流程嘗試透過其他語言轉譯,最終則可將語音內容翻譯成所需語言。

至於為了確保翻譯準確度,Meta 也透過 Taiwanese Across Taiwan 建立長達 300 小時長度的台文語音語料庫,建立第一個閩南語與英語雙向語音翻譯基準資料集,藉此確保翻譯結果正確。

目前 Meta 已經可讓閩南語使用者與英語使用者對話,但現階段仍僅能在每次翻譯單一完整語句,未來預期將會持續讓翻譯成效精進。

而參與此項技術研究、來自台灣的 Meta 軟體工程師陳鵬仁,便以其 70 歲的父親陳聖獎為例,雖然閩南語在許多情況下與中文相關,但其實仍有不少差異,因此長年習慣以台語與人溝通的父親,在必須以中文溝通情況下,往往就會讓說話速度變慢,甚至較難正確表達,因此希望透過人工智慧方式讓父親可以更容易以台語與他人溝通,甚至能夠轉換成英語。

透過名為「S2UT」(speech-to-unit translation)的技術,Meta 更宣布將開放透過名為 LASER 的自然語言處理工具打造的 SpeechMatrix 大型語音對語音訓練模型,讓其他研究人員可以建立更多無法透過文字內容紀錄的語言,藉此讓更多語言也能便利地透過人工智慧方式翻譯成其他語言,藉此讓不同語言使用者能更輕易溝通,並且打破語言隔閡。

不過,跟其他語言會有口音、不同地區用語差異情況一樣,即便同樣都是閩南語,在台灣地區說的台語,跟中國福建、閩南一帶說的閩南語,以及在新加坡、馬來西亞等地區所使用的閩南語多少都會有些不同,因此在後續設計顯然也必須建立更多訓練模型,才能順利對應不同地區的語言互譯。

《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》

Meta 更多報導

臉書終於硬起來!測試「倒讚」功能規則曝 還給網友乾淨留言區

臉書終於硬起來!測試「倒讚」功能規則曝 還給網友乾淨留言區

Meta祖克柏連珠炮嗆蘋果 靠賈伯斯吃老本「坐享其成20年」

Meta祖克柏連珠炮嗆蘋果 靠賈伯斯吃老本「坐享其成20年」

VR市場更大了?知名創投公司揭Meta Quest近兩年銷量比Xbox更高

VR市場更大了?知名創投公司揭Meta Quest近兩年銷量比Xbox更高

猜你喜歡

同類好文

AI生成日本異世界輕小說獲得大賞!被抓包後遭撤銷出版、漫畫化資格

AI生成日本異世界輕小說獲得大賞!被抓包後遭撤銷出版、漫畫化資格

台文館「阿龍」抄襲中國繪師...委外廠商蹦世界違反著作權法遭起訴

台文館「阿龍」抄襲中國繪師...委外廠商蹦世界違反著作權法遭起訴

日酸民畫「冷炸雞事件」諷兔田佩克拉外出約會 遭COVER求償150萬日圓

日酸民畫「冷炸雞事件」諷兔田佩克拉外出約會 遭COVER求償150萬日圓

推特Grok「比基尼改圖」騷擾亂象頻傳!Coser怒斥:平台助長了這種行為

推特Grok「比基尼改圖」騷擾亂象頻傳!Coser怒斥:平台助長了這種行為

Steam年初七款免費獨立遊戲整理!多人同樂、單人模擬器小品嚐鮮

Steam年初七款免費獨立遊戲整理!多人同樂、單人模擬器小品嚐鮮

Steam遊戲女角爬梯子出現「四足跪姿」掀議!意外形成紳士良好互動

Steam遊戲女角爬梯子出現「四足跪姿」掀議!意外形成紳士良好互動

羅傑、峰哥一起被告!網友被Threads反串帳號激怒 卻決定提告羅傑本人

羅傑、峰哥一起被告!網友被Threads反串帳號激怒 卻決定提告羅傑本人

《英雄聯盟》前PCS戰隊負責人詐騙熟女800萬 前選手被列共犯起訴

《英雄聯盟》前PCS戰隊負責人詐騙熟女800萬 前選手被列共犯起訴

LOL/上路玩家要不到尾選「秒鎖悠咪」揚言開戳!還在選角就吃到系統懲罰

LOL/上路玩家要不到尾選「秒鎖悠咪」揚言開戳!還在選角就吃到系統懲罰

日本漫畫家以AI「換比基尼」篡改偶像照片 炎上後致歉並終止STU48合作

日本漫畫家以AI「換比基尼」篡改偶像照片 炎上後致歉並終止STU48合作

VTuber花數萬買斷Live2D模型 竟被以300元價格當公用模型盜賣

VTuber花數萬買斷Live2D模型 竟被以300元價格當公用模型盜賣

純愛超甜《我內心的糟糕念頭》漫畫再一冊就完結!粉絲哀鴻遍野

純愛超甜《我內心的糟糕念頭》漫畫再一冊就完結!粉絲哀鴻遍野

《傳說對決》泰國女選手作弊案真相曝光 男友發文坦承代打

《傳說對決》泰國女選手作弊案真相曝光 男友發文坦承代打

《ARC Raiders》玩家遊戲內呼救太大聲 驚動鄰居試圖破門救人

《ARC Raiders》玩家遊戲內呼救太大聲 驚動鄰居試圖破門救人

大逆轉!《棕色塵埃2》緊急撤回造型修正計畫 黎維塔尊爵造型改免費送

大逆轉!《棕色塵埃2》緊急撤回造型修正計畫 黎維塔尊爵造型改免費送

逐漸不妙?《棕色塵埃2》官方收到外部警告 將修正多款造型表現

逐漸不妙?《棕色塵埃2》官方收到外部警告 將修正多款造型表現

韓繪師扮《勝利女神:妮姬》灰姑娘造型!許願「想成為妮姬身材」

韓繪師扮《勝利女神:妮姬》灰姑娘造型!許願「想成為妮姬身材」

VT法庭推理《誰是中之人》1/13正式上市 DEMO版僅有1.6%玩家命中正確

VT法庭推理《誰是中之人》1/13正式上市 DEMO版僅有1.6%玩家命中正確

Razer揭桌上型AI助理「Project AVA」讓Faker、日本OL「SAO」陪你一整天

Razer揭桌上型AI助理「Project AVA」讓Faker、日本OL「SAO」陪你一整天

LOL/夢迴2022?Faker打積分又被LPL選手戳 戰隊懲處卻輕輕放下

LOL/夢迴2022?Faker打積分又被LPL選手戳 戰隊懲處卻輕輕放下

不是人員出走?雨音計劃承認外包中國工作室 未付尾款害VT模型被售出

不是人員出走?雨音計劃承認外包中國工作室 未付尾款害VT模型被售出

Asmongold被亂黑喜歡未成年 Kaise出面闢謠:我25了

Asmongold被亂黑喜歡未成年 Kaise出面闢謠:我25了

超大型《MINECRAFT》企劃1/5冒險展開!百位VT&實況主 Kson也受邀參加

超大型《MINECRAFT》企劃1/5冒險展開!百位VT&實況主 Kson也受邀參加

Coser照片遭用grok改少布料?不雅留言多到申訴不完

Coser照片遭用grok改少布料?不雅留言多到申訴不完

實況主「蟑螂王」Asmongold終於整理房間!沒發現死老鼠 但找到五份「遠古食物」

實況主「蟑螂王」Asmongold終於整理房間!沒發現死老鼠 但找到五份「遠古食物」

實況主Emiru自曝「只泡澡不淋浴」!網:妳很適合和Asmongold交往

實況主Emiru自曝「只泡澡不淋浴」!網:妳很適合和Asmongold交往

Steam桌寵程式《你媽》真讚!多套服裝、姿勢可隨意操弄

Steam桌寵程式《你媽》真讚!多套服裝、姿勢可隨意操弄

LOL/加里歐新造型「神盾機甲」超像自由鋼彈!帥到還沒上架就被吹爆

LOL/加里歐新造型「神盾機甲」超像自由鋼彈!帥到還沒上架就被吹爆

不迎合政治正確...外媒質疑《漫威爭鋒》缺乏酷兒代表 遭開發團隊冷處理

不迎合政治正確...外媒質疑《漫威爭鋒》缺乏酷兒代表 遭開發團隊冷處理

《Minecraft》更新動物寶寶外型 眼睛改為單格像素更可愛

《Minecraft》更新動物寶寶外型 眼睛改為單格像素更可愛

火熱排行

AI生成日本異世界輕小說獲得大賞!被抓包後遭撤銷出版、漫畫化資格

AI生成日本異世界輕小說獲得大賞!被抓包後遭撤銷出版、漫畫化資格

畫得太「逼」真?日本專畫大歐派繪師聲稱遭C107主辦方禁賣新刊

畫得太「逼」真?日本專畫大歐派繪師聲稱遭C107主辦方禁賣新刊

買到賺到!《巫師3》、《電馭叛客2077》任天堂eShop標錯價 CDPR承認失誤

買到賺到!《巫師3》、《電馭叛客2077》任天堂eShop標錯價 CDPR承認失誤

紳士漫《對常來我家的辣妹為所欲為》揭第五集封面、FANZA推出動畫第三集!

紳士漫《對常來我家的辣妹為所欲為》揭第五集封面、FANZA推出動畫第三集!

台文館「阿龍」抄襲中國繪師...委外廠商蹦世界違反著作權法遭起訴

台文館「阿龍」抄襲中國繪師...委外廠商蹦世界違反著作權法遭起訴

《勝利女神:妮姬》愛麗絲繪師再推新作 31歲社畜為錢慘當魔法少女

《勝利女神:妮姬》愛麗絲繪師再推新作 31歲社畜為錢慘當魔法少女

推特Grok「比基尼改圖」騷擾亂象頻傳!Coser怒斥:平台助長了這種行為

推特Grok「比基尼改圖」騷擾亂象頻傳!Coser怒斥:平台助長了這種行為

火力全開!動畫《輝夜姬想讓人告白》片尾白銀圭原畫張數突破天際

火力全開!動畫《輝夜姬想讓人告白》片尾白銀圭原畫張數突破天際

實況主Shroud讚賞《33號遠征隊》很好玩!親口承認「Asmongold是對的」

實況主Shroud讚賞《33號遠征隊》很好玩!親口承認「Asmongold是對的」

日酸民畫「冷炸雞事件」諷兔田佩克拉外出約會 遭COVER求償150萬日圓

日酸民畫「冷炸雞事件」諷兔田佩克拉外出約會 遭COVER求償150萬日圓

Steam年初七款免費獨立遊戲整理!多人同樂、單人模擬器小品嚐鮮

Steam年初七款免費獨立遊戲整理!多人同樂、單人模擬器小品嚐鮮

大還要更大!《碧藍航線》專畫大歐派繪師嘆:第一次被官方說畫太小

大還要更大!《碧藍航線》專畫大歐派繪師嘆:第一次被官方說畫太小

VTuber花數萬買斷Live2D模型 竟被以300元價格當公用模型盜賣

VTuber花數萬買斷Live2D模型 竟被以300元價格當公用模型盜賣

獲得Zeus、Chovy、Keria、Ruler指導!韓高職生奪《英雄聯盟》全國冠軍

獲得Zeus、Chovy、Keria、Ruler指導!韓高職生奪《英雄聯盟》全國冠軍

日本推特掀「紳士版」節奏挑戰!擦邊帳號集體吟聲響應

日本推特掀「紳士版」節奏挑戰!擦邊帳號集體吟聲響應

紳士名作《NTRaholic》Steam終於上市!扮黃毛巨巨房東奪走新婚人妻的幸福

紳士名作《NTRaholic》Steam終於上市!扮黃毛巨巨房東奪走新婚人妻的幸福

Steam遊戲女角爬梯子出現「四足跪姿」掀議!意外形成紳士良好互動

Steam遊戲女角爬梯子出現「四足跪姿」掀議!意外形成紳士良好互動

大到溢出來!《蔚藍檔案》揭五週年視覺圖 調月莉央禮服二創滿天飛

大到溢出來!《蔚藍檔案》揭五週年視覺圖 調月莉央禮服二創滿天飛

羅傑、峰哥一起被告!網友被Threads反串帳號激怒 卻決定提告羅傑本人

羅傑、峰哥一起被告!網友被Threads反串帳號激怒 卻決定提告羅傑本人

熟練得令人心疼...《GTA5》麥可演員又被「假報警」已經和警察變成熟人了

熟練得令人心疼...《GTA5》麥可演員又被「假報警」已經和警察變成熟人了

國王的瑟圖?紳士繪師Hews秀「白色走光圖」反制推特新功能

國王的瑟圖?紳士繪師Hews秀「白色走光圖」反制推特新功能

大物新人台V幽李鈴初配信同接1.2萬!一出道就爆自己「前世」?

大物新人台V幽李鈴初配信同接1.2萬!一出道就爆自己「前世」?

Coser照片遭用grok改少布料?不雅留言多到申訴不完

Coser照片遭用grok改少布料?不雅留言多到申訴不完

超大型《MINECRAFT》企劃1/5冒險展開!百位VT&實況主 Kson也受邀參加

超大型《MINECRAFT》企劃1/5冒險展開!百位VT&實況主 Kson也受邀參加

加藤小夏成PlayStation X 潮牌聯名服飾代言人!貼近實況上自然隨性風格

加藤小夏成PlayStation X 潮牌聯名服飾代言人!貼近實況上自然隨性風格

人妻真香!韓紳士漫《洞洞雜貨店》連載三年151話完結 熟女角色人氣碾壓眾生

人妻真香!韓紳士漫《洞洞雜貨店》連載三年151話完結 熟女角色人氣碾壓眾生

2D動畫視覺小說《鄰家的人妻》Steam商店公開!美艷人妻用身體招待主角

2D動畫視覺小說《鄰家的人妻》Steam商店公開!美艷人妻用身體招待主角

《英雄聯盟》前PCS戰隊負責人詐騙熟女800萬 前選手被列共犯起訴

《英雄聯盟》前PCS戰隊負責人詐騙熟女800萬 前選手被列共犯起訴

實況主騷擾台V超噁對話紀錄曝光!對方不給包養改口要人當「飛○杯」

實況主騷擾台V超噁對話紀錄曝光!對方不給包養改口要人當「飛○杯」

日本漫畫家以AI「換比基尼」篡改偶像照片 炎上後致歉並終止STU48合作

日本漫畫家以AI「換比基尼」篡改偶像照片 炎上後致歉並終止STU48合作