Meta推語音對語音翻譯技術 說閩南語直接變英文!

合成示意圖/Meta
合成示意圖/Meta

過去常見語言翻譯系統,多半是建立在有實際語音及對應文字內容,並且透過交叉比對或深度學習方式進行翻譯,而 Meta 稍早宣布推出全球第一款直接以語音對語音方式進行翻譯的技術,藉此讓原本沒有對應標準書寫文字內容的閩南語,可以直接透過口說方式翻譯成英語,甚至支援雙向翻譯。

閩南語在全球使用人口超過 5,000 萬人,主要分布在台灣、中國福建、新加坡、馬來西亞等地,本身並未具備對應文字內容,主要透過口說方式交流、學習,因此若以目前常見的語言翻譯系統運作邏輯來看,閩南語基本上難以被翻譯成其他語言,或是從其他語言翻譯,原因在於沒有足夠文本與聲音內容進行訓練,另一方面也在於可將語言直接翻譯為閩南語的人相對較少,因此很難建立合適的翻譯模型。

在 Meta 提出設計中,最初會將會將沒有文字的語言念音轉為數位資料,並且將這些資料以不同語言對應文字進行標示分類,在此次示範閩南語與英語翻譯過程中,便是將閩南語的念音所轉換數位資料以 5 中文作為中間語言,並且透過機器學習方式進行比對訓練,在後續實際翻譯過程就能順利將閩南語翻譯成英語(亦即將閩南語轉換成中文,再將中文轉換為英語),同時也能反過來將英語翻譯成閩南語,進而透過數位語音方式念出。

若碰到語音內容無法透過第一道流程完成翻譯,系統就會透過第二道流程嘗試透過其他語言轉譯,最終則可將語音內容翻譯成所需語言。

至於為了確保翻譯準確度,Meta 也透過 Taiwanese Across Taiwan 建立長達 300 小時長度的台文語音語料庫,建立第一個閩南語與英語雙向語音翻譯基準資料集,藉此確保翻譯結果正確。

目前 Meta 已經可讓閩南語使用者與英語使用者對話,但現階段仍僅能在每次翻譯單一完整語句,未來預期將會持續讓翻譯成效精進。

而參與此項技術研究、來自台灣的 Meta 軟體工程師陳鵬仁,便以其 70 歲的父親陳聖獎為例,雖然閩南語在許多情況下與中文相關,但其實仍有不少差異,因此長年習慣以台語與人溝通的父親,在必須以中文溝通情況下,往往就會讓說話速度變慢,甚至較難正確表達,因此希望透過人工智慧方式讓父親可以更容易以台語與他人溝通,甚至能夠轉換成英語。

透過名為「S2UT」(speech-to-unit translation)的技術,Meta 更宣布將開放透過名為 LASER 的自然語言處理工具打造的 SpeechMatrix 大型語音對語音訓練模型,讓其他研究人員可以建立更多無法透過文字內容紀錄的語言,藉此讓更多語言也能便利地透過人工智慧方式翻譯成其他語言,藉此讓不同語言使用者能更輕易溝通,並且打破語言隔閡。

不過,跟其他語言會有口音、不同地區用語差異情況一樣,即便同樣都是閩南語,在台灣地區說的台語,跟中國福建、閩南一帶說的閩南語,以及在新加坡、馬來西亞等地區所使用的閩南語多少都會有些不同,因此在後續設計顯然也必須建立更多訓練模型,才能順利對應不同地區的語言互譯。

《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》

猜你喜歡

同類好文

LOL/史加納重製過程超痛苦!官方曝:牠Carry了整個《英雄聯盟》的程式碼

LOL/史加納重製過程超痛苦!官方曝:牠Carry了整個《英雄聯盟》的程式碼

網議Steam紳士名作RPG完勝《龍族教義2》?都是「無馬遊戲」評價卻不同

網議Steam紳士名作RPG完勝《龍族教義2》?都是「無馬遊戲」評價卻不同

好椰!繪師把《寶可夢》椰蛋樹改造成《咒術迴戰》五條悟 「笑果」十分顯著

好椰!繪師把《寶可夢》椰蛋樹改造成《咒術迴戰》五條悟 「笑果」十分顯著

有挑戰才好玩!玩家指「壓力」是遊戲必要元素 完全去除樂趣就沒了

有挑戰才好玩!玩家指「壓力」是遊戲必要元素 完全去除樂趣就沒了

LOL/「不朽盾弓」跳針迷因爆紅!事件始末一次看 官方不懂梗硬要跟風被抓包

LOL/「不朽盾弓」跳針迷因爆紅!事件始末一次看 官方不懂梗硬要跟風被抓包

Steam極度好評《新幹線0號》車上有「寢取」火車便當 NPC神似高嘉瑜?

Steam極度好評《新幹線0號》車上有「寢取」火車便當 NPC神似高嘉瑜?

棺材白包太超過!網友自辦「已故角色Only」同人展惹議 主辦方:將改進活動

棺材白包太超過!網友自辦「已故角色Only」同人展惹議 主辦方:將改進活動

別急著認乾爹!網友共組「Steam親友團」被騙當兒童 限玩遊戲還無法逃家

別急著認乾爹!網友共組「Steam親友團」被騙當兒童 限玩遊戲還無法逃家

LOL/CFO Rest專訪:沒想到1Jiang賈克斯會出時光之杖 給了我不少壓力

LOL/CFO Rest專訪:沒想到1Jiang賈克斯會出時光之杖 給了我不少壓力

免費二戰射擊《應徵入伍》28日登Steam 整隊菜兵、老將全由你來控!

免費二戰射擊《應徵入伍》28日登Steam 整隊菜兵、老將全由你來控!

全球首座《七龍珠》主題樂園宣布動工!超大70公尺神龍將成「沙國」新地標

全球首座《七龍珠》主題樂園宣布動工!超大70公尺神龍將成「沙國」新地標

好郵喔!春魚VTuber涅默合作「中華郵政」 1200多間郵局油起來

好郵喔!春魚VTuber涅默合作「中華郵政」 1200多間郵局油起來

成人恐怖驚悚《驗屍模擬器》相驗解剖自己動手 人體器官血淋淋呈現

成人恐怖驚悚《驗屍模擬器》相驗解剖自己動手 人體器官血淋淋呈現

無懼《DD2》《浪人崛起》夾擊...DLsite壓倒性好評紳士名作強勢登Steam!

無懼《DD2》《浪人崛起》夾擊...DLsite壓倒性好評紳士名作強勢登Steam!

iPASS一卡通預告合作《葬送的芙莉蓮》 準備施展方便支付的魔法!

iPASS一卡通預告合作《葬送的芙莉蓮》 準備施展方便支付的魔法!

你安心的去吧!《龍族教義2》玩家提出「NPC無痛殺害名單」讓遊戲跑更順

你安心的去吧!《龍族教義2》玩家提出「NPC無痛殺害名單」讓遊戲跑更順

為了學術用途!動漫角色「紳士速通」YT頻道充滿嘈點 還貼心附上繪師出處

為了學術用途!動漫角色「紳士速通」YT頻道充滿嘈點 還貼心附上繪師出處

油蓓爾!泰國知名低成本Coser扮《葬送的芙莉蓮》尤蓓爾 展現腋級魔法使實力

油蓓爾!泰國知名低成本Coser扮《葬送的芙莉蓮》尤蓓爾 展現腋級魔法使實力

二創繪師畫《葬送的芙莉蓮》風格遊戲封面 激發社群瘋畫「電玩的芙莉蓮」

二創繪師畫《葬送的芙莉蓮》風格遊戲封面 激發社群瘋畫「電玩的芙莉蓮」

畫面卡頓不斷循環...彩虹社EN男團Shu&Luca台灣見面會出包 主辦方致歉

畫面卡頓不斷循環...彩虹社EN男團Shu&Luca台灣見面會出包 主辦方致歉

曹賊集合!「人妻only」同人場7月台北登場 曹操們準時妻進妻出一捅天下

曹賊集合!「人妻only」同人場7月台北登場 曹操們準時妻進妻出一捅天下

人氣漫畫《咒術迴戰》最新迷因「我打宿儺」誕生 所有人都能單挑宿儺?

人氣漫畫《咒術迴戰》最新迷因「我打宿儺」誕生 所有人都能單挑宿儺?

動畫《葬送的芙莉蓮》最終回結尾構圖與《孤獨搖滾》一致 標題回收都在第8集

動畫《葬送的芙莉蓮》最終回結尾構圖與《孤獨搖滾》一致 標題回收都在第8集

曹氏一統天下!FANZA年度關鍵字出爐 NTR、人妻奪下冠亞寶座

曹氏一統天下!FANZA年度關鍵字出爐 NTR、人妻奪下冠亞寶座

長照悲歌!繪師畫《葬送的芙莉蓮》為何費倫不想成為賽莉耶徒弟:太可怕

長照悲歌!繪師畫《葬送的芙莉蓮》為何費倫不想成為賽莉耶徒弟:太可怕

LOL/就愛這一味!粉絲在海底撈舉辦Faker出道11周年應援 李哥現身了

LOL/就愛這一味!粉絲在海底撈舉辦Faker出道11周年應援 李哥現身了

單親媽媽VTuber乙夏鈴月底進行首場3D演唱會 鈴果跟著排練萌翻天!

單親媽媽VTuber乙夏鈴月底進行首場3D演唱會 鈴果跟著排練萌翻天!

壽司郎「Gura」立牌宣布再販!3/25起開放加購 再不入手即將絕版

壽司郎「Gura」立牌宣布再販!3/25起開放加購 再不入手即將絕版

MMO版《英雄聯盟》砍掉重練?Riot蠻王:不想只做成套皮遊戲 埋首苦幹中

MMO版《英雄聯盟》砍掉重練?Riot蠻王:不想只做成套皮遊戲 埋首苦幹中

不是禿頭!《蔚藍檔案》動畫「老師」設定圖公開 狼師大驚:原來我這麼帥?

不是禿頭!《蔚藍檔案》動畫「老師」設定圖公開 狼師大驚:原來我這麼帥?

火熱排行

Steam紳士遊戲《異世界卡車運轉手》轉生老司機 為美好的世界獻上舒服!

Steam紳士遊戲《異世界卡車運轉手》轉生老司機 為美好的世界獻上舒服!

LOL/史加納重製過程超痛苦!官方曝:牠Carry了整個《英雄聯盟》的程式碼

LOL/史加納重製過程超痛苦!官方曝:牠Carry了整個《英雄聯盟》的程式碼

網議Steam紳士名作RPG完勝《龍族教義2》?都是「無馬遊戲」評價卻不同

網議Steam紳士名作RPG完勝《龍族教義2》?都是「無馬遊戲」評價卻不同

好椰!繪師把《寶可夢》椰蛋樹改造成《咒術迴戰》五條悟 「笑果」十分顯著

好椰!繪師把《寶可夢》椰蛋樹改造成《咒術迴戰》五條悟 「笑果」十分顯著

有挑戰才好玩!玩家指「壓力」是遊戲必要元素 完全去除樂趣就沒了

有挑戰才好玩!玩家指「壓力」是遊戲必要元素 完全去除樂趣就沒了

LOL/「不朽盾弓」跳針迷因爆紅!事件始末一次看 官方不懂梗硬要跟風被抓包

LOL/「不朽盾弓」跳針迷因爆紅!事件始末一次看 官方不懂梗硬要跟風被抓包

Steam極度好評《新幹線0號》車上有「寢取」火車便當 NPC神似高嘉瑜?

Steam極度好評《新幹線0號》車上有「寢取」火車便當 NPC神似高嘉瑜?

棺材白包太超過!網友自辦「已故角色Only」同人展惹議 主辦方:將改進活動

棺材白包太超過!網友自辦「已故角色Only」同人展惹議 主辦方:將改進活動

有車圖/Steam人妻紳士《神的不在場SEX》劇情曹展開 在純愛跟背德間來回跳躍

有車圖/Steam人妻紳士《神的不在場SEX》劇情曹展開 在純愛跟背德間來回跳躍

別急著認乾爹!網友共組「Steam親友團」被騙當兒童 限玩遊戲還無法逃家

別急著認乾爹!網友共組「Steam親友團」被騙當兒童 限玩遊戲還無法逃家

LOL/CFO Rest專訪:沒想到1Jiang賈克斯會出時光之杖 給了我不少壓力

LOL/CFO Rest專訪:沒想到1Jiang賈克斯會出時光之杖 給了我不少壓力

免費二戰射擊《應徵入伍》28日登Steam 整隊菜兵、老將全由你來控!

免費二戰射擊《應徵入伍》28日登Steam 整隊菜兵、老將全由你來控!

Steam紳士遊戲《深夜24時不來健身嗎?》半夜來揮汗弟弟變強悍!

Steam紳士遊戲《深夜24時不來健身嗎?》半夜來揮汗弟弟變強悍!

有車圖/Steam紳士卡牌《遠星都市27λ》我獨自升空殖來殖往 不管怎麼玩都會被牛

有車圖/Steam紳士卡牌《遠星都市27λ》我獨自升空殖來殖往 不管怎麼玩都會被牛

全球首座《七龍珠》主題樂園宣布動工!超大70公尺神龍將成「沙國」新地標

全球首座《七龍珠》主題樂園宣布動工!超大70公尺神龍將成「沙國」新地標

好郵喔!春魚VTuber涅默合作「中華郵政」 1200多間郵局油起來

好郵喔!春魚VTuber涅默合作「中華郵政」 1200多間郵局油起來

紳士需要療癒!美少女遊戲《兔兔秘密花園》4/18推出 跟兔子訴苦還能團康

紳士需要療癒!美少女遊戲《兔兔秘密花園》4/18推出 跟兔子訴苦還能團康

成人恐怖驚悚《驗屍模擬器》相驗解剖自己動手 人體器官血淋淋呈現

成人恐怖驚悚《驗屍模擬器》相驗解剖自己動手 人體器官血淋淋呈現

無懼《DD2》《浪人崛起》夾擊...DLsite壓倒性好評紳士名作強勢登Steam!

無懼《DD2》《浪人崛起》夾擊...DLsite壓倒性好評紳士名作強勢登Steam!

iPASS一卡通預告合作《葬送的芙莉蓮》 準備施展方便支付的魔法!

iPASS一卡通預告合作《葬送的芙莉蓮》 準備施展方便支付的魔法!

你安心的去吧!《龍族教義2》玩家提出「NPC無痛殺害名單」讓遊戲跑更順

你安心的去吧!《龍族教義2》玩家提出「NPC無痛殺害名單」讓遊戲跑更順

為了學術用途!動漫角色「紳士速通」YT頻道充滿嘈點 還貼心附上繪師出處

為了學術用途!動漫角色「紳士速通」YT頻道充滿嘈點 還貼心附上繪師出處

油蓓爾!泰國知名低成本Coser扮《葬送的芙莉蓮》尤蓓爾 展現腋級魔法使實力

油蓓爾!泰國知名低成本Coser扮《葬送的芙莉蓮》尤蓓爾 展現腋級魔法使實力

二創繪師畫《葬送的芙莉蓮》風格遊戲封面 激發社群瘋畫「電玩的芙莉蓮」

二創繪師畫《葬送的芙莉蓮》風格遊戲封面 激發社群瘋畫「電玩的芙莉蓮」

附懶人包/《聯盟戰棋》S11開季衝分賭陣教學:神話巴德、命定大東

附懶人包/《聯盟戰棋》S11開季衝分賭陣教學:神話巴德、命定大東

DLsite像素紳士《Life with the tribe》船難落海因禍得性福 慰了部落見人就啪!

DLsite像素紳士《Life with the tribe》船難落海因禍得性福 慰了部落見人就啪!

微車圖/Steam紳士解謎《影子任務:露西》幫女怪盜偷偷摸摸 事後「偷偷摸摸」

微車圖/Steam紳士解謎《影子任務:露西》幫女怪盜偷偷摸摸 事後「偷偷摸摸」

畫面卡頓不斷循環...彩虹社EN男團Shu&Luca台灣見面會出包 主辦方致歉

畫面卡頓不斷循環...彩虹社EN男團Shu&Luca台灣見面會出包 主辦方致歉

有車圖/Steam紳士遊戲《異世界卡車運轉手》轉生老司機 為美好的世界獻上舒服!

有車圖/Steam紳士遊戲《異世界卡車運轉手》轉生老司機 為美好的世界獻上舒服!

曹賊集合!「人妻only」同人場7月台北登場 曹操們準時妻進妻出一捅天下

曹賊集合!「人妻only」同人場7月台北登場 曹操們準時妻進妻出一捅天下