AI產物過度激增!研究發現「用AI內容訓練AI」會導致模型崩潰 錯誤不可回溯

圖/gigazine
圖/gigazine

AI(人工智慧)的時代已經來臨,在非營利組織 OpenAI 的聊天機器人 ChatGPT 開放使用 6 個月內,許多跨國頂尖企業已將 AI 相關技術導入工作中,藝術創作者也爭先恐後訓練深度學習模型

本站曾報導 AI繪圖在動漫二創圈的爭議,遊戲公司也開始用 AI 開發新作,然而隨著越來越多人使用 AI 製作媒體內容,電腦作品也在網路上激增,且被後續的使用者拿來訓練自己的 AI。來自英國和加拿大的研究人員發現,這樣會產生「模型崩潰」的現象,成果公開在 arXiv 期刊網站,「我們發現在 AI 訓練過程,使用 AI 生成的內容來訓練模型,結果會導致不可逆轉的缺陷。」

研究人員聚焦「文字訓練文字」「圖像到圖像」兩類 AI 生成模型,得出結論:「若深度學習的資料來源是其他模型的生成內容,會導致訓練中的模型崩潰、進入退化的過程,隨著時間進展,訓練中的 AI 會忘記原初的基層資料設置……整個過程不可逆,即使就近乎理想的長期學習條件來看也是如此。」

簡單來說,長期下來,用 AI 產物訓練 AI,原本資料當中的錯誤成分會重複合併,導致深度學習模型進一步透過「錯誤的」方式感知現實,該論文的主要作者之一 Ilia Shumailov 表示,「我們驚訝地觀察到,模型崩潰發生的速度有多快,可以迅速忘記他們最初學習的大部分原始資料。」

該論文的另一位作者,劍橋大學與愛丁堡大學安全工程學系教授 Ross Anderson,在一篇討論該研究的部落格文章寫到,「就如同人類散佈在海洋中的塑膠垃圾,或是大氣中的二氧化碳,我們用『廢話』(blah)填滿網際網路,這使得那些透過網路抓取資料,訓練新模型的過程更加困難。」

他還提醒,這個現象會成為那些投入訓練 AI 的先行公司,或掌控大規模人機互動機會(如 ChatGPT)的企業的優勢,因為它們能掌控用來訓練或輸出的資料庫,「事實上,我們已經看到 AI 新創公司在 Internet Archive 尋找訓練資料庫。」

該論文研究者 Ilia Shumailov 表示,人們去感受及體驗世界所產生的原生內容,可能多少與現實世界有所差異(本質上的偏差),但 AI 更誇張,「電腦生成模型往往過度學習(overfit)流行資料(大宗的數據),時常誤解或扭曲較少的資料。」

他向外媒 VentureBeat 解釋,舉機器學習模型在 100 隻貓的圖庫進行訓練的案例,「其中 10 隻貓是藍毛,90 隻貓是黃毛,該模型意識到黃貓更普遍,但也理解成藍貓比實際上更黃,當被要求產出新內容時,結果就會提供一些綠貓來。」

「長時間下來,藍毛貓的原始特徵會在連續的訓練週期中逐漸消失,從藍色變成綠色,最後變成黃色。這種漸進的扭曲,和較為少數的數據特徵丟失,就是一種模型崩潰。為防止這種情況發生,重點是要確保少數群體在資料庫中的公平性與代表性,無論是在數量上,還是針對獨特特徵的準確描述。」

當 AI 模型生成的內容,最終污染了後續模型的訓練庫時,發生模型崩潰的情況,這聽起來滿合理的,但還會有更嚴重的影響,例如基於性別、種族或其他敏感屬性的歧視,AI 會逐步丟失之前學的到資料,根據它們強化的「信念」來曲解現實。

研究人員還發現,即使訓練模型的過程中,以「減少訓練週期的多次迭代」來避免這種情況,模型崩潰仍然會發生,因為 AI 開始產生錯誤反應,以避免資料頻繁訓練。

作為對策,該論文指出,「保留原始資料庫或人類生成資料的副本,並根據這些資料定期重新訓練,以避免與 AI 生成內容混淆。」或者,從頭開始用原始數據刷新 AI 的腦袋。

為防止 AI 模型崩潰,Shumailov 補充關鍵做法:保證 AI 訓練時準確描述出原始資料的特徵,在資料庫中區隔少數樣本並強調其代表性,「即使用 10% 的人類原生數據來訓練後面產出的模型(subsequent generations),模型崩潰仍然會發生,只是不會那麼快。」

模型 更多報導

我大灰寶!Hobby Sakura《勝利女神:妮姬》灰姑娘1/4比例模型開賣

我大灰寶!Hobby Sakura《勝利女神:妮姬》灰姑娘1/4比例模型開賣

APEX-TOYS《原神》八重神子1/7模型公開!大巫女衣袖輕揚神色狐魅

APEX-TOYS《原神》八重神子1/7模型公開!大巫女衣袖輕揚神色狐魅

《勝利女神:妮姬》二創迷因「Doro」確認模型化

《勝利女神:妮姬》二創迷因「Doro」確認模型化

⏰最後限時!iPhone 16 豪禮就是你的⚡

猜你喜歡

同類好文

就是本人!《劍星》伊芙體模申才恩Cosplay「海之女僕」造型

就是本人!《劍星》伊芙體模申才恩Cosplay「海之女僕」造型

台V真理果愚人節聯動YTR阿滴 線下見面認證果果中之人「真的不是滴妹」

台V真理果愚人節聯動YTR阿滴 線下見面認證果果中之人「真的不是滴妹」

VT時雨羽衣拿到台灣合作Cafe腳本 台詞垃圾、人渣連發:台灣人不太妙...

VT時雨羽衣拿到台灣合作Cafe腳本 台詞垃圾、人渣連發:台灣人不太妙...

自己的流量自己賺!角落小編「橘攸奈」兼職VTuber出道 114514初配信

自己的流量自己賺!角落小編「橘攸奈」兼職VTuber出道 114514初配信

好狐是狐!hololive推全新周邊「holoAnimArt」 首波Gamers全員擬真化

好狐是狐!hololive推全新周邊「holoAnimArt」 首波Gamers全員擬真化

羽衣媽媽來了?時雨羽衣台灣合作CAFE出現本人簽名

羽衣媽媽來了?時雨羽衣台灣合作CAFE出現本人簽名

「冰水洗臉黑人」是什麼?健身網紅炫富行為超荒謬 遭歐美網友迷因化

「冰水洗臉黑人」是什麼?健身網紅炫富行為超荒謬 遭歐美網友迷因化

超美麗3D今日限定?holo夏色祭上傳愚人節真人Coser頭貼

超美麗3D今日限定?holo夏色祭上傳愚人節真人Coser頭貼

就是本人!日繪師自拍分享「繪圖參考資料」絕對領域完全還原

就是本人!日繪師自拍分享「繪圖參考資料」絕對領域完全還原

車速過快!《碧藍航線》醫院主題造型全員「戰力膨脹」 網笑:是治病還是出人命?

車速過快!《碧藍航線》醫院主題造型全員「戰力膨脹」 網笑:是治病還是出人命?

藏梗一整季!《Ave Mujica》聲優佐佐木李子每週推文偷藏重大暴雷

藏梗一整季!《Ave Mujica》聲優佐佐木李子每週推文偷藏重大暴雷

是直播機器人?hololive兔田佩克拉詭異短片出現吉爾神秘剪影

是直播機器人?hololive兔田佩克拉詭異短片出現吉爾神秘剪影

《蔚藍檔案》中國Coser對甲亢哥當面發表歧視言論...網友還嫁禍給日本Coser

《蔚藍檔案》中國Coser對甲亢哥當面發表歧視言論...網友還嫁禍給日本Coser

還有這好事?第二屆人妻主題同人創作交流會7月開跑 準時妻進妻出一「捅」天下

還有這好事?第二屆人妻主題同人創作交流會7月開跑 準時妻進妻出一「捅」天下

「書本夾歐派」是什麼?一張圖掀起X大量二創、曬身材熱潮

「書本夾歐派」是什麼?一張圖掀起X大量二創、曬身材熱潮

有虎牙!Neuro邪惡妹妹Evil也滿兩歲了 新版本L2D模型可歪嘴厭世感加倍

有虎牙!Neuro邪惡妹妹Evil也滿兩歲了 新版本L2D模型可歪嘴厭世感加倍

hololiveEN承諾組Nanashi Mumei宣布4/28畢業 原因是長期慢性病

hololiveEN承諾組Nanashi Mumei宣布4/28畢業 原因是長期慢性病

可以養幽靈!《Minecraft》玩家可培育「快樂幽靈」 支援4人騎乘飛行

可以養幽靈!《Minecraft》玩家可培育「快樂幽靈」 支援4人騎乘飛行

你誰?《蠟筆小新》衍生作《野原廣志 午餐流派》動畫10月開播

你誰?《蠟筆小新》衍生作《野原廣志 午餐流派》動畫10月開播

《FINAL FANTASY XIV》繁中版公開營運規劃:7.0版本開始、早鳥價399元

《FINAL FANTASY XIV》繁中版公開營運規劃:7.0版本開始、早鳥價399元

MyGO廚註冊「看邦邦看的.com」網域 直連至「拉邦結派姛俱樂部」

MyGO廚註冊「看邦邦看的.com」網域 直連至「拉邦結派姛俱樂部」

要出動修女了嗎...逆流而上系VTuber「鮭魚鮭魚子」形象配大姊姊音真香

要出動修女了嗎...逆流而上系VTuber「鮭魚鮭魚子」形象配大姊姊音真香

馬斯克稱《刺客教條:暗影者》很爛 卻遭小編公然回嗆:幫你代練《流亡黯道2》的人說的?

馬斯克稱《刺客教條:暗影者》很爛 卻遭小編公然回嗆:幫你代練《流亡黯道2》的人說的?

超鬧!《棕色塵埃2》官方愚人節直播玩妮姬、鐵道、絕區零、少女前線 近18小時才關台

超鬧!《棕色塵埃2》官方愚人節直播玩妮姬、鐵道、絕區零、少女前線 近18小時才關台

「吉卜力風」圖像生成延燒!偽造官方聲明流傳中

「吉卜力風」圖像生成延燒!偽造官方聲明流傳中

傳《霍格華茲的傳承》DLC遭取消!受《自殺突擊隊:戰勝正義聯盟》失利影響

傳《霍格華茲的傳承》DLC遭取消!受《自殺突擊隊:戰勝正義聯盟》失利影響

Ubisoft與騰訊合作成立子公司!將《刺客教條》、《極地戰嚎》、《虹彩六號》從母公司分離

Ubisoft與騰訊合作成立子公司!將《刺客教條》、《極地戰嚎》、《虹彩六號》從母公司分離

神谷英樹稱《刺客教條:暗影者》遭過度批評 認為大多數玩家不太在乎

神谷英樹稱《刺客教條:暗影者》遭過度批評 認為大多數玩家不太在乎

狠起來連自己都騙?holo天音彼方Boing Boing雙胞胎妹妹愚人節初配信

狠起來連自己都騙?holo天音彼方Boing Boing雙胞胎妹妹愚人節初配信

畢業快一年還在簽?holo阿夸親簽尚未全數完成、可能延遲出貨

畢業快一年還在簽?holo阿夸親簽尚未全數完成、可能延遲出貨

火熱排行

「書本夾歐派」是什麼?一張圖掀起X大量二創、曬身材熱潮

「書本夾歐派」是什麼?一張圖掀起X大量二創、曬身材熱潮

VT時雨羽衣拿到台灣合作Cafe腳本 台詞垃圾、人渣連發:台灣人不太妙...

VT時雨羽衣拿到台灣合作Cafe腳本 台詞垃圾、人渣連發:台灣人不太妙...

ALP紳士《例行性活動》動畫推出!與臭臉同學每天早上瘋狂晨跑

ALP紳士《例行性活動》動畫推出!與臭臉同學每天早上瘋狂晨跑

日調查千名玩家去年最愛遊戲:前20名幾乎都是日本IP 唯一例外是《原神》

日調查千名玩家去年最愛遊戲:前20名幾乎都是日本IP 唯一例外是《原神》

組一輩子團!國外玩家笑談《龍與地下城》跑團50年心路歷程

組一輩子團!國外玩家笑談《龍與地下城》跑團50年心路歷程

就是本人!日繪師自拍分享「繪圖參考資料」絕對領域完全還原

就是本人!日繪師自拍分享「繪圖參考資料」絕對領域完全還原

就是本人!《劍星》伊芙體模申才恩Cosplay「海之女僕」造型

就是本人!《劍星》伊芙體模申才恩Cosplay「海之女僕」造型

恐怖慎入!《沉默之丘f》最新預告釋出 實體版限定鐵盒女主角面目全非

恐怖慎入!《沉默之丘f》最新預告釋出 實體版限定鐵盒女主角面目全非

強調「原廠唯一授權」!樂意宣布重新代理《SF Online》3月上市

強調「原廠唯一授權」!樂意宣布重新代理《SF Online》3月上市

粉隨偶像!holo粉絲以Towa應援毛巾為傷者止血 天使行為讓推本人留言讚賞

粉隨偶像!holo粉絲以Towa應援毛巾為傷者止血 天使行為讓推本人留言讚賞

前卡普空概念美術抱怨沒出現在《魔物獵人荒野》製作名單裡!本人事後刪文

前卡普空概念美術抱怨沒出現在《魔物獵人荒野》製作名單裡!本人事後刪文

疑男性用變聲器?爭議VTuber猫宮るな初配信 時不時傳不自然電子音

疑男性用變聲器?爭議VTuber猫宮るな初配信 時不時傳不自然電子音

Steam體感紳士《地味人妻是能幹的阿姨喔!》和主婦做菜曹瘋狂

Steam體感紳士《地味人妻是能幹的阿姨喔!》和主婦做菜曹瘋狂

holo雙子Mococo首次單獨開台 Fuwawa短暫現身僅能以氣音Bau Bau

holo雙子Mococo首次單獨開台 Fuwawa短暫現身僅能以氣音Bau Bau

DLsite好評紳士《怪物黑市》繁中步兵版發售!瑟瑟魔物產業鏈...受孕販賣一條龍

DLsite好評紳士《怪物黑市》繁中步兵版發售!瑟瑟魔物產業鏈...受孕販賣一條龍

台灣野兔holo大拜拜協助救護掀海內外熱議 助人善舉Kiara、Iofi都留言感謝

台灣野兔holo大拜拜協助救護掀海內外熱議 助人善舉Kiara、Iofi都留言感謝

VTuber視訊鏡頭露手遭羞辱為「怪物」 本人高EQ回應意外圈粉

VTuber視訊鏡頭露手遭羞辱為「怪物」 本人高EQ回應意外圈粉

不是亂叫?實況主小明劍魔學凱能E、R叫聲唯妙唯肖 網笑:熟練地令人心疼

不是亂叫?實況主小明劍魔學凱能E、R叫聲唯妙唯肖 網笑:熟練地令人心疼

台V盜圖道歉影片還開鏡頭?直播曝是上層指示炎上商法:黑粉也是粉

台V盜圖道歉影片還開鏡頭?直播曝是上層指示炎上商法:黑粉也是粉

台V真理果愚人節聯動YTR阿滴 線下見面認證果果中之人「真的不是滴妹」

台V真理果愚人節聯動YTR阿滴 線下見面認證果果中之人「真的不是滴妹」

網紅黃小潔正式撕膜「羽衣媽媽痛車」 打造影片之收益將以抖內形式歸還

網紅黃小潔正式撕膜「羽衣媽媽痛車」 打造影片之收益將以抖內形式歸還

有警告但不多...《刺客教條:暗影者》首遇鳥居系統提示:不攀爬以示尊敬

有警告但不多...《刺客教條:暗影者》首遇鳥居系統提示:不攀爬以示尊敬

Steam 97%極好評《彌助模擬器》上市!百元有找一小時可全破

Steam 97%極好評《彌助模擬器》上市!百元有找一小時可全破

抖肉!卡牌紳士《胖次卡片》繁中步兵版推出 現在輪到吾去脫她衣

抖肉!卡牌紳士《胖次卡片》繁中步兵版推出 現在輪到吾去脫她衣

樂意代理《SF Online》正式開服但帳號無法轉移!拉美特發聲明回擊立場

樂意代理《SF Online》正式開服但帳號無法轉移!拉美特發聲明回擊立場

似曾相識?holo Kiara玩《inZOI》捏臉驚呼:感覺自己像真人實況主

似曾相識?holo Kiara玩《inZOI》捏臉驚呼:感覺自己像真人實況主

紳士韓漫《遊戲不能這樣玩》121話完結!在社團裡玩的比遊戲還刺激

紳士韓漫《遊戲不能這樣玩》121話完結!在社團裡玩的比遊戲還刺激

遭惡意撞名還被攻擊...出道四年VT猫宮るな:痛苦且身心俱疲

遭惡意撞名還被攻擊...出道四年VT猫宮るな:痛苦且身心俱疲

台網紅黃小潔針對「羽衣媽媽痛車」發布聲明 日方盼避免使用

台網紅黃小潔針對「羽衣媽媽痛車」發布聲明 日方盼避免使用

職業傷害?VTuber時雨羽衣3D動捕站姿引熱議 「駝背羽衣」掀二創潮

職業傷害?VTuber時雨羽衣3D動捕站姿引熱議 「駝背羽衣」掀二創潮