OpenAI以7萬小時電玩影片訓練AI玩Minecraft

圖片來源: 

微軟

以創新方法來訓練其AI模型,可望省去標註大量資料的訓練過程。

傳統上要訓練AI模型,像是OpenAI的語言模型GPT,需要先以人力在大量訓練資料集上標註再送入神經網路,相當耗時。為此,OpenAI實驗了一種名為影片預訓練(Video Pretraining,VPT)的方法,僅使用少量由約聘人員標註的資料,再經過以模仿學習及增強學習法二次微調,就在大量未標註的遊戲影片上訓練神經網路,使它學會玩《Minecraft》這個知名電玩。

《Minecraft》提供多種模式,玩家可利用方塊進行建立一個虛擬世界。像是在生存模式中,玩家必須開採資源求取生存,在創造模式中,玩家擁有無限的資源並可自由創造建築。其他玩家也可以透過公開的網路影片觀摩這些過程。但是影片無法精確展示作者怎麼做到的,例如看不到作者的滑鼠動作及按了哪些按鍵。如果要以建立語言模型GPT的方法來建立打造虛擬世界的AI模型,就會碰到缺乏行為(action)資料標籤的問題。

這項計畫中,OpenAI使用了半監督式模仿學習方法,稱為影像預訓練(video pretraining,VPT)。OpenAI一開始先蒐集約聘人員的一小筆(2,000小時)的錄影資料,包括影像及他們的按鍵、滑鼠動作。研究小組先訓練了反向動態模型(inverse dynamics model,IDM),這模型已可以預測影片中玩家的每一動作,然後,研究人員再以這IDM來標籤7萬小時的《Minecraft》網路影片資料集,希望建立一個行為複製(behavioral cloning,BC)模型。

圖片來源/

測試專家告訴你如何好好使用示波器

示波器主要由電源系統、同步系統、水平偏向系統、垂直偏向系統、延遲掃描系統、顯示系統和標準訊號源等部封包成。

一般貨櫃標準尺寸?

金誠貨櫃尺寸種類分別為,20呎櫃、20呎高櫃、40呎櫃、40呎高櫃、20呎冷凍櫃、400呎冷凍櫃。

總是為了廚餘煩惱嗎?

雅高環保提供最適用的廚餘機,滿足多樣需求。

買不起高檔茶葉,精緻包裝茶葉罐,也能撐場面!

紫砂茶葉罐是多孔性材料製成,透氣性非常好,因為罐子多微小氣孔,用來存放茶葉,不僅能保鮮鮮,還能消除茶葉中的異雜味。 但也是因為多孔,所以紫砂茶葉罐容易吸收茶葉的香味。

前述的影片是研究小組從網路蒐來、玩家分享他們玩《Minecraft》時的影片。這些影像由IDM加註標籤,最後建立出一個模型,稱為VPT基礎模型(VPT foundation model)。這模型完成了增強學習幾乎不可能從頭完成的任務;它會砍樹、蒐集木材,將木材劈成木板,再把木板做成桌子。光是這個過程,嫻熟《Minecraft》的人類玩家都得要花上50秒,或是1,000個連續動作。

此外,VPT模型還能執行其他複雜技能,像是游泳、獵捕動物、進食,甚至學會了《Minecraft》裏玩家常見利用方塊在大樓之間跳來跳去的動作。

研究人員之後對這VPT模型,以2種方法微調。首先,透過行為複製(behavioral cloning)方法,研究人員以約聘人員玩《Minecraft》蓋房子的新影片來訓練VPT基礎模型,影片只有10分鐘。經過微調,VPT基礎模型技能可因此再深化,能使用木柴,還能使用石材,甚至從其他村莊取得物資。

其次,OpenAI用增強式學習來進行第2次模型微調。OpenAI利用增強學習方法,訓練VPT基礎模型蒐集鑽石鶴嘴鋤,若使用Minecraft原生介面,又是難上加上的任務。研究人員發現,VPT模型經過這種方法微調後,不但學會打造鑽石鶴嘴鋤,而且能蒐集所有必要材料。這個實驗中,OpenAI首次讓電腦模型完成了人類平均20多分鐘才完成(24,000個動作)的任務。

OpenAI研究人員結論,以公開網路影片這種沒有標籤的資料來訓練AI的探索行為(像是打Game、學習電腦)是可能的。透過建立初步模型,再以模仿學習及增強學習方法微調,就能使AI模型學習高難度技能,這也讓無標籤資料訓練變得可能。OpenAI只實驗了《Minecraft》,但研究團隊相信,這種少量樣本訓練方式也可以用在其他領域,像是電腦使用,因為兩者是開放式結局,介面也相似(都是鍵盤、滑鼠)。

OpenAI也將約聘人員的資料、《Minecraft》環境、模型程式碼及模型權重等資料都公開出來。,祭出獎金邀請玩家加入協助微調其VPT模型。

https://www.ithome.com.tw/news/154487

找工作! 想知道堆高機駕駛日薪是多少嗎? 哪裡有職缺?幫你快速媒合

堆高機,又稱叉架起貨機或叉式起重車,香港稱為鏟車,中國大陸稱為叉車,台灣國語稱為堆高機,台語俗稱豬哥(ti-ko),是指工廠、倉儲等地方對成件托盤貨物進行裝卸、堆垛和短距離運輸作業的各種輪式搬運車輛。國際標準化組織ISO/TC110稱為工業車輛。堆高機的發展於1920年代,今天在生產和倉儲運營過程中它已成為不可或缺的設備。

攻戰消費者第一視覺,包裝設計很重要!

包裝設計是指對包裝的形狀、大小、構造及包裝材料等方面進行創造或選擇並以適當方式吸引消費者的注意力,進而增加購買率,以及對使用者友善之特性。

隨時健康喝好水,高品質飲水機,優質安全有把關

飲水機的問題主要有三個方面,一是水沸騰溫度不足,絕大多數的飲水機最高溫度是95度,再沸騰溫度是90度,泡茶殺菌的溫度不夠

CCD外觀檢查包裝機

品質優益穩定,效率高成本低,並已獲得國內外大廠承認使用,品質合乎EIA國際標準, 此外也針對客戶端的需要代客Tape and Reel封裝服務。