AI產物過度激增!研究發現「用AI內容訓練AI」會導致模型崩潰 錯誤不可回溯

AI(人工智慧)的時代已經來臨,在非營利組織 OpenAI 的聊天機器人 ChatGPT 開放使用 6 個月內,許多跨國頂尖企業已將 AI 相關技術導入工作中,藝術創作者也爭先恐後訓練深度學習模型。
本站曾報導 AI繪圖在動漫二創圈的爭議,遊戲公司也開始用 AI 開發新作,然而隨著越來越多人使用 AI 製作媒體內容,電腦作品也在網路上激增,且被後續的使用者拿來訓練自己的 AI。來自英國和加拿大的研究人員發現,這樣會產生「模型崩潰」的現象,成果公開在 arXiv 期刊網站,「我們發現在 AI 訓練過程,使用 AI 生成的內容來訓練模型,結果會導致不可逆轉的缺陷。」
研究人員聚焦「文字訓練文字」「圖像到圖像」兩類 AI 生成模型,得出結論:「若深度學習的資料來源是其他模型的生成內容,會導致訓練中的模型崩潰、進入退化的過程,隨著時間進展,訓練中的 AI 會忘記原初的基層資料設置……整個過程不可逆,即使就近乎理想的長期學習條件來看也是如此。」
簡單來說,長期下來,用 AI 產物訓練 AI,原本資料當中的錯誤成分會重複合併,導致深度學習模型進一步透過「錯誤的」方式感知現實,該論文的主要作者之一 Ilia Shumailov 表示,「我們驚訝地觀察到,模型崩潰發生的速度有多快,可以迅速忘記他們最初學習的大部分原始資料。」
該論文的另一位作者,劍橋大學與愛丁堡大學安全工程學系教授 Ross Anderson,在一篇討論該研究的部落格文章寫到,「就如同人類散佈在海洋中的塑膠垃圾,或是大氣中的二氧化碳,我們用『廢話』(blah)填滿網際網路,這使得那些透過網路抓取資料,訓練新模型的過程更加困難。」
他還提醒,這個現象會成為那些投入訓練 AI 的先行公司,或掌控大規模人機互動機會(如 ChatGPT)的企業的優勢,因為它們能掌控用來訓練或輸出的資料庫,「事實上,我們已經看到 AI 新創公司在 Internet Archive 尋找訓練資料庫。」
該論文研究者 Ilia Shumailov 表示,人們去感受及體驗世界所產生的原生內容,可能多少與現實世界有所差異(本質上的偏差),但 AI 更誇張,「電腦生成模型往往過度學習(overfit)流行資料(大宗的數據),時常誤解或扭曲較少的資料。」
他向外媒 VentureBeat 解釋,舉機器學習模型在 100 隻貓的圖庫進行訓練的案例,「其中 10 隻貓是藍毛,90 隻貓是黃毛,該模型意識到黃貓更普遍,但也理解成藍貓比實際上更黃,當被要求產出新內容時,結果就會提供一些綠貓來。」
「長時間下來,藍毛貓的原始特徵會在連續的訓練週期中逐漸消失,從藍色變成綠色,最後變成黃色。這種漸進的扭曲,和較為少數的數據特徵丟失,就是一種模型崩潰。為防止這種情況發生,重點是要確保少數群體在資料庫中的公平性與代表性,無論是在數量上,還是針對獨特特徵的準確描述。」
當 AI 模型生成的內容,最終污染了後續模型的訓練庫時,發生模型崩潰的情況,這聽起來滿合理的,但還會有更嚴重的影響,例如基於性別、種族或其他敏感屬性的歧視,AI 會逐步丟失之前學的到資料,根據它們強化的「信念」來曲解現實。
研究人員還發現,即使訓練模型的過程中,以「減少訓練週期的多次迭代」來避免這種情況,模型崩潰仍然會發生,因為 AI 開始產生錯誤反應,以避免資料頻繁訓練。
作為對策,該論文指出,「保留原始資料庫或人類生成資料的副本,並根據這些資料定期重新訓練,以避免與 AI 生成內容混淆。」或者,從頭開始用原始數據刷新 AI 的腦袋。
為防止 AI 模型崩潰,Shumailov 補充關鍵做法:保證 AI 訓練時準確描述出原始資料的特徵,在資料庫中區隔少數樣本並強調其代表性,「即使用 10% 的人類原生數據來訓練後面產出的模型(subsequent generations),模型崩潰仍然會發生,只是不會那麼快。」
模型 更多報導
猜你喜歡
同類好文

就是本人!《劍星》伊芙體模申才恩Cosplay「海之女僕」造型

台V真理果愚人節聯動YTR阿滴 線下見面認證果果中之人「真的不是滴妹」

VT時雨羽衣拿到台灣合作Cafe腳本 台詞垃圾、人渣連發:台灣人不太妙...

自己的流量自己賺!角落小編「橘攸奈」兼職VTuber出道 114514初配信

好狐是狐!hololive推全新周邊「holoAnimArt」 首波Gamers全員擬真化

羽衣媽媽來了?時雨羽衣台灣合作CAFE出現本人簽名

「冰水洗臉黑人」是什麼?健身網紅炫富行為超荒謬 遭歐美網友迷因化

超美麗3D今日限定?holo夏色祭上傳愚人節真人Coser頭貼

就是本人!日繪師自拍分享「繪圖參考資料」絕對領域完全還原

車速過快!《碧藍航線》醫院主題造型全員「戰力膨脹」 網笑:是治病還是出人命?

藏梗一整季!《Ave Mujica》聲優佐佐木李子每週推文偷藏重大暴雷

是直播機器人?hololive兔田佩克拉詭異短片出現吉爾神秘剪影

《蔚藍檔案》中國Coser對甲亢哥當面發表歧視言論...網友還嫁禍給日本Coser

還有這好事?第二屆人妻主題同人創作交流會7月開跑 準時妻進妻出一「捅」天下

「書本夾歐派」是什麼?一張圖掀起X大量二創、曬身材熱潮

有虎牙!Neuro邪惡妹妹Evil也滿兩歲了 新版本L2D模型可歪嘴厭世感加倍

hololiveEN承諾組Nanashi Mumei宣布4/28畢業 原因是長期慢性病

可以養幽靈!《Minecraft》玩家可培育「快樂幽靈」 支援4人騎乘飛行

你誰?《蠟筆小新》衍生作《野原廣志 午餐流派》動畫10月開播

《FINAL FANTASY XIV》繁中版公開營運規劃:7.0版本開始、早鳥價399元

MyGO廚註冊「看邦邦看的.com」網域 直連至「拉邦結派姛俱樂部」

要出動修女了嗎...逆流而上系VTuber「鮭魚鮭魚子」形象配大姊姊音真香

馬斯克稱《刺客教條:暗影者》很爛 卻遭小編公然回嗆:幫你代練《流亡黯道2》的人說的?

超鬧!《棕色塵埃2》官方愚人節直播玩妮姬、鐵道、絕區零、少女前線 近18小時才關台

「吉卜力風」圖像生成延燒!偽造官方聲明流傳中

傳《霍格華茲的傳承》DLC遭取消!受《自殺突擊隊:戰勝正義聯盟》失利影響

Ubisoft與騰訊合作成立子公司!將《刺客教條》、《極地戰嚎》、《虹彩六號》從母公司分離

神谷英樹稱《刺客教條:暗影者》遭過度批評 認為大多數玩家不太在乎

狠起來連自己都騙?holo天音彼方Boing Boing雙胞胎妹妹愚人節初配信

畢業快一年還在簽?holo阿夸親簽尚未全數完成、可能延遲出貨
火熱排行

「書本夾歐派」是什麼?一張圖掀起X大量二創、曬身材熱潮

VT時雨羽衣拿到台灣合作Cafe腳本 台詞垃圾、人渣連發:台灣人不太妙...

ALP紳士《例行性活動》動畫推出!與臭臉同學每天早上瘋狂晨跑

日調查千名玩家去年最愛遊戲:前20名幾乎都是日本IP 唯一例外是《原神》

組一輩子團!國外玩家笑談《龍與地下城》跑團50年心路歷程

就是本人!日繪師自拍分享「繪圖參考資料」絕對領域完全還原

就是本人!《劍星》伊芙體模申才恩Cosplay「海之女僕」造型

恐怖慎入!《沉默之丘f》最新預告釋出 實體版限定鐵盒女主角面目全非

強調「原廠唯一授權」!樂意宣布重新代理《SF Online》3月上市

粉隨偶像!holo粉絲以Towa應援毛巾為傷者止血 天使行為讓推本人留言讚賞

前卡普空概念美術抱怨沒出現在《魔物獵人荒野》製作名單裡!本人事後刪文

疑男性用變聲器?爭議VTuber猫宮るな初配信 時不時傳不自然電子音

Steam體感紳士《地味人妻是能幹的阿姨喔!》和主婦做菜曹瘋狂

holo雙子Mococo首次單獨開台 Fuwawa短暫現身僅能以氣音Bau Bau

DLsite好評紳士《怪物黑市》繁中步兵版發售!瑟瑟魔物產業鏈...受孕販賣一條龍

台灣野兔holo大拜拜協助救護掀海內外熱議 助人善舉Kiara、Iofi都留言感謝

VTuber視訊鏡頭露手遭羞辱為「怪物」 本人高EQ回應意外圈粉

不是亂叫?實況主小明劍魔學凱能E、R叫聲唯妙唯肖 網笑:熟練地令人心疼

台V盜圖道歉影片還開鏡頭?直播曝是上層指示炎上商法:黑粉也是粉

台V真理果愚人節聯動YTR阿滴 線下見面認證果果中之人「真的不是滴妹」

網紅黃小潔正式撕膜「羽衣媽媽痛車」 打造影片之收益將以抖內形式歸還

有警告但不多...《刺客教條:暗影者》首遇鳥居系統提示:不攀爬以示尊敬

Steam 97%極好評《彌助模擬器》上市!百元有找一小時可全破

抖肉!卡牌紳士《胖次卡片》繁中步兵版推出 現在輪到吾去脫她衣

樂意代理《SF Online》正式開服但帳號無法轉移!拉美特發聲明回擊立場

似曾相識?holo Kiara玩《inZOI》捏臉驚呼:感覺自己像真人實況主

紳士韓漫《遊戲不能這樣玩》121話完結!在社團裡玩的比遊戲還刺激

遭惡意撞名還被攻擊...出道四年VT猫宮るな:痛苦且身心俱疲

台網紅黃小潔針對「羽衣媽媽痛車」發布聲明 日方盼避免使用
