為了讓 AI 不斷打怪升級,DeepMind 打造「宇宙」
作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |
DeepMind 又給我們小驚喜。我們都知道,強化學習苦於類化能力差,經常只能針對單個任務從頭學習。
DeepMind之前開發的AlphaZero,儘管可以玩圍棋、西洋棋和日本將棋,但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處,就在藉鑑之前經驗迅速適應新環境。
但類化能力不是一蹴而就,就像玩遊戲,也是先做簡單任務,逐步升級到複雜任務。《空洞騎士》(Hollow Knight)一開始只需要隨意走動揮刀砍怪,但噩夢級難度的「苦痛之路」關,沒有前面累積的技巧,只能玩寂寞。
多任務宇宙
DeepMind此次採用「課程學習」,讓智慧體於不斷擴展升級的開放世界學習。也就是說,AI新任務(訓練資料)是基於舊任務不斷生成。智慧體可盡情鍛鍊自己,簡單的如「靠近紫色立方體」,複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」,甚至和其他智慧體玩耍,如捉迷藏──「找到對方,且不要被對方發現」。
每個小遊戲存在世界小角落,千千萬萬個小角落拼成龐大的物理模擬世界,如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成,即任務=遊戲+世界+玩家,並根據三要素關係,決定任務的複雜度。
複雜度的判斷有四個維度:競爭性、平衡性、可選項、探索難度。
比如「搶方塊」遊戲,藍色智慧體需要把黃色方塊放到白色區域,紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾,因此競爭性較強;同時雙方條件對等,平衡性比較高;因目標簡單,所以可選項少;DeepMind把探索難度評為中上,可能是因定位區域算較複雜的場景。
再如「球球喜歡和方塊一起玩」遊戲,藍色和紅色智慧體有共同目標,讓相同顏色的球體和方塊放在相近位置。
這時競爭性自然很低,平衡性毋庸置疑很高的;可選項比上面遊戲高很多;探索難度沒有定位區域,智慧體隨便把球體和方塊放哪都行,難度就變小了。
基於這四個維度,DeepMind打造超大規模「宇宙」任務空間,幾何「地球」也只是這宇宙的小角落,是四維任務空間的一點。DeepMind將「宇宙」命名為XLand,包含數十億個任務。
來看XLand的全貌,由一系列遊戲組成,每個遊戲在許多模擬世界進行,這些世界的拓樸和特徵平滑變化。
終生學習
數據有了,接下來得找到合適的算法。 DeepMind發現,目標注意代理(GOAT)可學習更通用的策略。
具體來說,智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後,生成中間輸出,傳遞給GOAT模組,會根據智慧體目前目標處理中間輸出的特定部分,邏輯分析目標。
邏輯分析是指,每個遊戲可藉由一些方法,構建另一個遊戲,並限制策略的價值函數的最優值上限或下限。
DeepMind提出一個問題:對每個智慧體,什麼樣的任務是最好的?換句話說,打怪升級時,什麼樣的關卡設置才讓玩家順利升級為「真」高手,而不是一刀9999?
DeepMind的答案是,每個新任務都基於舊任務生成,「不會太難,也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。
訓練開始時,太難或太容易的任務可能會鼓勵早期學習,但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀,而是鼓勵終身學習,即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法,在新任務和舊任務之間彈性連接。
怎麼不讓智慧體做新任務時不適應而「暴死」?進化學習就提供很好的靈活性。總體來說,新任務和舊任務同時進行,且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體,會選拔到新任務繼續學習。
新任務中,舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製,參與新一輪「競爭」。除了舊任務的優秀智慧體,還有很多新人參與,這就引進隨機性、創新性、靈活性,不用擔心「暴死」問題。
當然,因任務不斷生成、動態變化,一個任務可訓練不同長處的智慧體,並往不同方向演化(隨著智慧體相對性能和強健性進行)。最終每個智慧體都會形成擅長任務的集合,就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小,簡直是模擬地球。
DeepMind表示,「這種組合學習系統的特性是,不最佳化有界性能指標,而是更新定義的通用能力範圍,這使智慧體開放式學習,僅受環境空間和智慧體的神經網路表達能力的限制。」
智慧初現
最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種?DeepMind說,智慧體有很明顯的零樣本學習能力,比如使用工具、合圍、數數、合作+競爭等。
來看具體例子。首先智慧體學會臨機應變。目標有三個:
黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板
AI一開始找到一個黑色金字塔,想拿到橙色地板(目標3),但搬運過程瞄見黃色球體,瞬間改變主意,「我可以實現目標1啦」,將黑色金字塔放到黃色球體旁邊。
第二個例子是,不會跳高,怎麼拿到高台上的紫色金字塔?智慧體需要想辦法突破障礙,取得高台上的紫色金字塔,高台周邊並沒有類似階梯、斜坡的路。
因不會跳高,所以智慧體「掀桌子」,把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊,「等等,這不就是我要的階梯嗎?」這過程是否體現了慧體的智慧,還無法肯定,可能只是一時幸運。關鍵還是,要看統計數據。
經過5代訓練,智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲,涉及340萬個獨立任務,最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務,除了少數即使人類也無法完成的任務。
DeepMind的研究,或許一定程度體現「密集學習」重要性。也就是說,不僅資料量要大,任務量也要大。這也使得智慧體在類化能力有很好表現,如資料顯示,只需對一些新複雜任務進行30分鐘集中訓練,智慧體就可快速適應,而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。
往後我們也期待這「宇宙」更複雜和生機勃勃,AI經過不斷演化,不斷給我們帶來驚喜(細思極恐)的體驗。
資料來源:https://technews.tw/2021/07/30/deepmind_xland/
同時也有65部Youtube影片,追蹤數超過13萬的網紅Sky game,也在其Youtube影片中提到,我是想當天堂製作人啦,幫我把祝福武士刀點到+10就好 哈囉,我是SKY,歡迎來到我的頻道,是個愛分享的實況主,這裡會有我的實況、影片剪輯,會呈現各種不同的主題給大家。只要新遊戲的推出,一定會先超前部屬,預習並補足這款遊戲的前導資訊給大家,玩後也會出《實際遊玩的心得》給大家,避免各位踩到雷,要是遊戲...
「空洞騎士 2」的推薦目錄:
- 關於空洞騎士 2 在 台灣物聯網實驗室 IOT Labs Facebook 的最佳貼文
- 關於空洞騎士 2 在 HashTECH 科技玩物 Facebook 的最佳貼文
- 關於空洞騎士 2 在 U Joy Diary Facebook 的最佳貼文
- 關於空洞騎士 2 在 Sky game Youtube 的最讚貼文
- 關於空洞騎士 2 在 死佬 Youtube 的最佳貼文
- 關於空洞騎士 2 在 LS遊戲工作室 Youtube 的最佳解答
- 關於空洞騎士 2 在 [心得] 空洞騎士真的是讓人中毒的神作- 看板PlayStation 的評價
- 關於空洞騎士 2 在 [問題] 空洞騎士續作Silksong 有消息嗎? - NSwitch - PTT生活 ... 的評價
- 關於空洞騎士 2 在 [實況] 空洞騎士#2 - c_chat | PTT動漫區 的評價
- 關於空洞騎士 2 在 马来虾综合游戏频道- 《空洞骑士:丝绸之歌》 新Boss 的評價
- 關於空洞騎士 2 在 空洞騎士二段跳完成方法詳細介紹 - PTT新聞 的評價
- 關於空洞騎士 2 在 Re: [問題] 請推薦類似英雄無敵的遊戲 - PTT 問答 的評價
空洞騎士 2 在 HashTECH 科技玩物 Facebook 的最佳貼文
【#Steam聖誕冬季特賣大量遊戲半價低至3折😍】#返校、#SleepingDogs 食個老麥都無咗🤤仲有超多Indie平台Games #Ori、#DeadCells 同 #HollowKnight 賣大包~🤩
►睇全文:https://bit.ly/3nNRdRE
#Steam減價 #Steam聖誕優惠 #Steam冬季特價 #PCGame #尼爾自動人形 #NieRAutomata #Dentention #空洞騎士 #Borderland3 #死亡細胞 #龍珠Z格古洛 #死亡擱淺 #DeathStranding #打機 #遊戲動漫 #遊戲促銷 #著數 #hashTech #科技玩物 #香港01
---------------------------------
👾 PS5\Switch\Xbox遊戲情報及攻略
► https://bit.ly/313oUV1
😎 iPhone 12 SE2最新消息\功能合集
► https://bit.ly/33cAJe4
📱 手機教學合集\一鍵清機\實用好App
► https://bit.ly/2PbRdek
---------------------------------
❤️ Subscribe埋我哋YouTube Channel 📺
► https://bit.ly/2DcMN23
---------------------------------
下載《香港01》App即睇最貼心數碼生活資訊💪
►立即下載 → https://hk01.app.link/cDzRrmV2vO
空洞騎士 2 在 U Joy Diary Facebook 的最佳貼文
沒什麼文案所以我流水帳一下
x
#UJoydiary: 我今天很棒做了很多事
///
1.打了半小時的空洞騎士就乖乖關機
2.拍了兩篇業配
3.拍了四套穿搭
4.寫了兩篇文章
5.回覆了不知道幾個客戶
6.修了一組寵物寫真
7.整理了客廳
8.還不想好好整理行李
9.還不想洗澡
10.睡醒後吐了一波
11.一一回覆各位我沒有懷孕
12.還在等消夜回家
(恩,今天做了好多事喔!有時候覺得自己好像又渾渾噩噩過了一天的時候我就會這樣列舉自己一天的行程,就會發現其實還不賴嘛~)
#Ujoy穿搭日記 ///
我真的很喜歡這樣小姊姊的lady look耶♥♥♥ 最有小姐姐感的單品我首推針織外套啦! 這件罩衫、單穿兩相宜的針織,是柔柔嫩嫩的粉色,搭配格紋窄裙就是最無害的那種姊姊阿 (會溫柔笑著聽大家的煩惱的那種) 這樣穿我覺得也很適合去吃喜酒呢!
@polylulu_tw
🔎V領簍空織紋針織外套 L
🔎格紋後鬆緊開衩中長裙 L
#joy愛穿搭 #大尺碼穿搭 #棉花糖女孩 #棉花糖女孩穿搭 #pilussizefachiom #mybodymyshapemyrules #plussizemodel #厚片女孩穿搭 #中大尺碼穿搭 #polylulugirls
#管我什麼碼的 #我穿的是自信 #PolyLulu #Plussize #PolyLulugirls #ootd #喜酒穿搭
空洞騎士 2 在 Sky game Youtube 的最讚貼文
我是想當天堂製作人啦,幫我把祝福武士刀點到+10就好
哈囉,我是SKY,歡迎來到我的頻道,是個愛分享的實況主,這裡會有我的實況、影片剪輯,會呈現各種不同的主題給大家。只要新遊戲的推出,一定會先超前部屬,預習並補足這款遊戲的前導資訊給大家,玩後也會出《實際遊玩的心得》給大家,避免各位踩到雷,要是遊戲更有延展性,也會推出攻略出來。你要是喜歡,歡迎各位可以加入我的頻道,必定會繼續努力下去!
喜歡我,可以訂閱SKY頻道!
►https://goo.gl/XnqAYp
關於工商/合作請洽詢:
►fritgc0204@gmail.com
►cathy@ninedr.com
讓SKY不用愁每個月的飯錢所在:
►Youtube 加入頻道會員 : https://pse.is/QP9GH
►paybal(適用國外) : https://streamlabs.com/skyy204
►歐付寶(適用國內) :https://goo.gl/RNzQeW
►歐付寶(直播時使用,會覆誦你的留言) : https://goo.gl/G9oYuE
關於Sky所有經營 :
►Sky Game頻道 : https://www.youtube.com/c/Skygame204
►Sky facebook專頁 : https://www.facebook.com/sky204/
►Sky Discord : https://discord.gg/9Tpxh8F
►Sky IG : https://www.instagram.com/sky_game204/?hl=zh-tw
-----------------------------------------------------------------------------------
分享請使用本影片
1.禁止轉載營利之使用.
2.禁止放置自身頻道之使用.
#sky #銀斧 #台灣遊戲
空洞騎士 2 在 死佬 Youtube 的最佳貼文
Hollow Knight ALL BOSSES + END
00:00 Intro
01:47 Boss 1: Gruz Mother - 格魯茲之母
02:34 Boss 2: False Knight - 假騎士
04:42 Boss 3: Hornet - 大黃蜂
06:38 Boss 4: Mantis Lords - 螳螂領主
10:26 Boss 5: Xero - 澤若
12:18 Boss 6: Crystal Guardian - 水晶守衛
14:16 Boss 7: Soul Master - 靈魂大師
17:03 Boss 8: Soul Tyrant - 靈魂暴君
22:29 Boss 9: Flukemarm - 吸蟲之母
24:28 Boss 10: Dung Defender - 糞蟲防御者
27:29 Boss 11: Broken Vessel - 殘破容器
29:58 Boss 12: Lost Kin - 失落近親
33:17 Boss 13: Watcher Knights - 守望者騎士
37:07 Boss 14: Crystal Guardian (Round Two) - 暴怒守衛
38:11 Boss 15: Hornet (Round Two) - 崗哨大黃蜂
41:36 Boss 16: Nosk - 諾斯克
43:50 Boss 17: Galien - 加利安
44:36 Boss 18: Brooding Mawlek - 躁鬱的毛里克
45:19 Boss 19: Uumuu - 烏姆
47:42 Boss 20: Marmu - 馬爾穆
48:33 Final Boss 21: The Hollow Knight - 空洞騎士
53:35 Boss 22: Gorb - 戈布
54:38 Boss 23: The Collector - 收藏家
57:27 Boss 24: Grimm - 格林
01:02:08 Boss 25: Failed Champion - 失敗冠軍
01:03:53 Boss 26: God Tamer - 神之馴服者
01:06:10 Boss 27: Hive Knight - 蜂巢騎士
01:08:10 Boss 28: Traitor Lord - 叛徒領主
01:10:02 Boss 31: Nightmare King Grimm - 夢魘之王:格林
01:14:02 Boss 32: Markoth - 馬科斯
01:16:06 Boss 33: White Defender - 白色防御者
01:19:07 Boss 34: Elder Hu - 胡長老
01:20:10 Boss 35: No Eyes - 無眼
01:21:54 Boss 36: Zote - 左特
01:22:42 Boss 37: Grey Prince Zote - 灰色王子左特
01:26:18 True Final Boss 38: Radiance - 輻光
53:01 END 1 : The Hollow Knight
01:24:35 END 2 : Sealed Siblings
01:30:22 END 3 : Dream No More
======================================================
生活channel :
◆ https://goo.gl/vt57iA
Facebook :
◆ http://goo.gl/ybt1Js
======================================================
#粵語 #廣東話
空洞騎士 2 在 LS遊戲工作室 Youtube 的最佳解答
空洞騎士 2 在 [問題] 空洞騎士續作Silksong 有消息嗎? - NSwitch - PTT生活 ... 的美食出口停車場
看起來都有一定完成度結果2年過去了2021年好像都沒甚麼消息出來不知道Team Cherry有沒有打算推出這膾炙人口的續作有人知道現在最新進度是怎樣嗎? ... <看更多>
空洞騎士 2 在 [實況] 空洞騎士#2 - c_chat | PTT動漫區 的美食出口停車場
[實況] 空洞騎士#2 ... 找路騎士每拿到一個東西就要地毯式搜索一次昨天好像到了真菌荒原吧今天繼續迷路實況網址: https://www.twitch.tv/utsuho ... ... <看更多>
空洞騎士 2 在 [心得] 空洞騎士真的是讓人中毒的神作- 看板PlayStation 的美食出口停車場
本來想說等這款遊戲的實體片,但後來說不出了,就買數位版
https://youtu.be/kbJhF448gsg
普通的遊戲只會想說:好無聊,玩個遊戲殺時間好了
這款遊戲會讓人上班時也想:可惡,想趕快回家玩空洞騎士
必須要說這款遊戲有讓人中毒的幾個要素
1.魔王戰很有挑戰性,讓人想不斷挑戰直到勝利,考驗你的反應神經,贏了很有成就感
主角後面學會衝刺,跳牆,法術,二段跳,蓄力斬,衝刺斬等等技能動作性更豐富
之前有玩鹽與聖所,不過魔王滿弱的,沒什麼挑戰性
2.看攻略到處收集升級武器的礦石
更強的法術,
提升生命跟靈魂最大值的碎片
各種護符,護符槽
讓主角慢慢變強很有趣
(魔王你別囂張,等我機體變強再來砍爆你)
3.各種護符自由搭配
看是要玩召喚流
或是降低法術消耗,增加法術傷害的法師
或是受傷後無敵時間長,攻速快的戰士
或是一次補血補兩滴的聖騎士
或是血超多的肉盾都任你搭配
可以參考這裡
https://goo.gl/fAjbfn
4.挑戰性高的地形挑戰,避開各種尖刺,考驗你的操作
目前看到似乎都是支線才要挑戰
到新的地方,如果沒買地圖容易迷路
如果不喜歡迷路也可以開網路上的地圖擋一下
趕快去綠色三角形的地圖商人買地圖
我是設在手機的首頁
https://reurl.cc/ga27Q
另外美術跟音樂也讓人沈浸在遊戲的世界中
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.21.76
※ 文章網址: https://www.ptt.cc/bbs/PlayStation/M.1551630594.A.E21.html
※ 編輯: froglilibon (49.216.21.76), 03/04/2019 00:35:10
※ 編輯: froglilibon (49.216.21.76), 03/04/2019 01:07:19
※ 編輯: froglilibon (49.216.21.76), 03/04/2019 01:12:15
※ 編輯: froglilibon (49.216.21.76), 03/04/2019 01:14:44
... <看更多>