為了讓 AI 不斷打怪升級,DeepMind 打造「宇宙」
作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |
DeepMind 又給我們小驚喜。我們都知道,強化學習苦於類化能力差,經常只能針對單個任務從頭學習。
DeepMind之前開發的AlphaZero,儘管可以玩圍棋、西洋棋和日本將棋,但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處,就在藉鑑之前經驗迅速適應新環境。
但類化能力不是一蹴而就,就像玩遊戲,也是先做簡單任務,逐步升級到複雜任務。《空洞騎士》(Hollow Knight)一開始只需要隨意走動揮刀砍怪,但噩夢級難度的「苦痛之路」關,沒有前面累積的技巧,只能玩寂寞。
多任務宇宙
DeepMind此次採用「課程學習」,讓智慧體於不斷擴展升級的開放世界學習。也就是說,AI新任務(訓練資料)是基於舊任務不斷生成。智慧體可盡情鍛鍊自己,簡單的如「靠近紫色立方體」,複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」,甚至和其他智慧體玩耍,如捉迷藏──「找到對方,且不要被對方發現」。
每個小遊戲存在世界小角落,千千萬萬個小角落拼成龐大的物理模擬世界,如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成,即任務=遊戲+世界+玩家,並根據三要素關係,決定任務的複雜度。
複雜度的判斷有四個維度:競爭性、平衡性、可選項、探索難度。
比如「搶方塊」遊戲,藍色智慧體需要把黃色方塊放到白色區域,紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾,因此競爭性較強;同時雙方條件對等,平衡性比較高;因目標簡單,所以可選項少;DeepMind把探索難度評為中上,可能是因定位區域算較複雜的場景。
再如「球球喜歡和方塊一起玩」遊戲,藍色和紅色智慧體有共同目標,讓相同顏色的球體和方塊放在相近位置。
這時競爭性自然很低,平衡性毋庸置疑很高的;可選項比上面遊戲高很多;探索難度沒有定位區域,智慧體隨便把球體和方塊放哪都行,難度就變小了。
基於這四個維度,DeepMind打造超大規模「宇宙」任務空間,幾何「地球」也只是這宇宙的小角落,是四維任務空間的一點。DeepMind將「宇宙」命名為XLand,包含數十億個任務。
來看XLand的全貌,由一系列遊戲組成,每個遊戲在許多模擬世界進行,這些世界的拓樸和特徵平滑變化。
終生學習
數據有了,接下來得找到合適的算法。 DeepMind發現,目標注意代理(GOAT)可學習更通用的策略。
具體來說,智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後,生成中間輸出,傳遞給GOAT模組,會根據智慧體目前目標處理中間輸出的特定部分,邏輯分析目標。
邏輯分析是指,每個遊戲可藉由一些方法,構建另一個遊戲,並限制策略的價值函數的最優值上限或下限。
DeepMind提出一個問題:對每個智慧體,什麼樣的任務是最好的?換句話說,打怪升級時,什麼樣的關卡設置才讓玩家順利升級為「真」高手,而不是一刀9999?
DeepMind的答案是,每個新任務都基於舊任務生成,「不會太難,也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。
訓練開始時,太難或太容易的任務可能會鼓勵早期學習,但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀,而是鼓勵終身學習,即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法,在新任務和舊任務之間彈性連接。
怎麼不讓智慧體做新任務時不適應而「暴死」?進化學習就提供很好的靈活性。總體來說,新任務和舊任務同時進行,且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體,會選拔到新任務繼續學習。
新任務中,舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製,參與新一輪「競爭」。除了舊任務的優秀智慧體,還有很多新人參與,這就引進隨機性、創新性、靈活性,不用擔心「暴死」問題。
當然,因任務不斷生成、動態變化,一個任務可訓練不同長處的智慧體,並往不同方向演化(隨著智慧體相對性能和強健性進行)。最終每個智慧體都會形成擅長任務的集合,就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小,簡直是模擬地球。
DeepMind表示,「這種組合學習系統的特性是,不最佳化有界性能指標,而是更新定義的通用能力範圍,這使智慧體開放式學習,僅受環境空間和智慧體的神經網路表達能力的限制。」
智慧初現
最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種?DeepMind說,智慧體有很明顯的零樣本學習能力,比如使用工具、合圍、數數、合作+競爭等。
來看具體例子。首先智慧體學會臨機應變。目標有三個:
黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板
AI一開始找到一個黑色金字塔,想拿到橙色地板(目標3),但搬運過程瞄見黃色球體,瞬間改變主意,「我可以實現目標1啦」,將黑色金字塔放到黃色球體旁邊。
第二個例子是,不會跳高,怎麼拿到高台上的紫色金字塔?智慧體需要想辦法突破障礙,取得高台上的紫色金字塔,高台周邊並沒有類似階梯、斜坡的路。
因不會跳高,所以智慧體「掀桌子」,把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊,「等等,這不就是我要的階梯嗎?」這過程是否體現了慧體的智慧,還無法肯定,可能只是一時幸運。關鍵還是,要看統計數據。
經過5代訓練,智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲,涉及340萬個獨立任務,最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務,除了少數即使人類也無法完成的任務。
DeepMind的研究,或許一定程度體現「密集學習」重要性。也就是說,不僅資料量要大,任務量也要大。這也使得智慧體在類化能力有很好表現,如資料顯示,只需對一些新複雜任務進行30分鐘集中訓練,智慧體就可快速適應,而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。
往後我們也期待這「宇宙」更複雜和生機勃勃,AI經過不斷演化,不斷給我們帶來驚喜(細思極恐)的體驗。
資料來源:https://technews.tw/2021/07/30/deepmind_xland/
同時也有41部Youtube影片,追蹤數超過5,860的網紅跟著領隊玩,也在其Youtube影片中提到,由 NEXON 發行,「天堂 2」、「TERA」知名製作人「朴永現」所打造的最新力作《V4:跨界戰》,於今日起正式上市開站。官方指出,《V4:跨界戰》除了利用 Unreal 4 引擎打造出細緻角色與遊戲環境外,本次也同步推出了手機雙平台與 PC 的連動版本,以更便利的遊戲性及 PC 高畫質的雙重享受...
「hollow knight難度」的推薦目錄:
- 關於hollow knight難度 在 台灣物聯網實驗室 IOT Labs Facebook 的最佳貼文
- 關於hollow knight難度 在 歐小憲 Facebook 的最佳貼文
- 關於hollow knight難度 在 黑貓老師 Facebook 的最佳貼文
- 關於hollow knight難度 在 跟著領隊玩 Youtube 的最讚貼文
- 關於hollow knight難度 在 真電玩宅速配 Youtube 的最佳貼文
- 關於hollow knight難度 在 ガチョック Youtube 的精選貼文
- 關於hollow knight難度 在 [問題] hollow knight! 難度問題- 看板NSwitch - 批踢踢實業坊 的評價
- 關於hollow knight難度 在 [閒聊] 為什麼hollow knight這麼難- steam - PTT遊戲區 的評價
- 關於hollow knight難度 在 分享#Steam夏日遊戲大賞#空洞騎士Hollow Knight - Dcard 的評價
- 關於hollow knight難度 在 [閒聊] "空洞騎士" 的難度 - PTT 的評價
- 關於hollow knight難度 在 一款音樂優美、難度適中、必玩捲軸動作冒險類游戲-來來LeiLei ... 的評價
- 關於hollow knight難度 在 [閒聊] 為什麼hollow knight這麼難- 看板Steam - PTT網頁版 的評價
- 關於hollow knight難度 在 [心得] Ori and the Will of the Wisps 無雷- 看板Steam 的評價
- 關於hollow knight難度 在 Re: [閒聊] 空洞騎士算高難遊戲嗎? - 看板C_Chat - PTT 動漫區 的評價
- 關於hollow knight難度 在 [心得] 空洞騎士Hollow Knight 無傷五門 - PTT評價 的評價
- 關於hollow knight難度 在 [閒聊] 空洞騎士沒打過5門的人多嗎? PTT推薦- C_Chat 的評價
- 關於hollow knight難度 在 [心得] Hollow Knight 有雷心得- 看板Steam - PTT遊戲區 的評價
- 關於hollow knight難度 在 Steam - [閒聊] 為什麼hollow knight這麼難 - PTT生活政治八卦 的評價
- 關於hollow knight難度 在 [徵文] Hollow Knight 忘卻悲劇,只憶奇蹟 - PTT Uncovered 的評價
hollow knight難度 在 歐小憲 Facebook 的最佳貼文
好久沒開PS4來玩了
剛好11月的PS PLUS有這款可以免費下載...(賺)
只是難度好像跟黑魂一樣,之前看人玩都會死很大XD
hollow knight難度 在 黑貓老師 Facebook 的最佳貼文
STEAM夏日特賣快結束了啊各位!
遊戲買幾款了啊?
之前有同學問我「老師,有沒有推薦的遊戲呀?」
有,當然有!
我本來想說做一支影片傳到youtube。
(但欠稿太多寫不完,所以就用打的吧 (´;ω;`))
以下就是十款我推薦的STEAM特價遊戲
如果各位還在觀望的話,可以參考一下
-
#第一推:《Refunct》
第一人稱跑酷
玩法很簡單,就只要WSAD + 空白鍵。
跑來跑去、跳來跳去、踩開關,然後就破關了。
遊戲時間大概30分。
但可以讓人很放鬆的玩,非常療癒。
適合壓力爆表又對人生迷惘的你我 QQ
現在特價19元,超划算 (-71%)
-
#接著推《Ori and the blind forest》
現在特價116元 (-75%)
這款介於類銀河戰士惡魔城與跑酷遊戲之間,全破大概需要15小時左右。
雖然有點吃操作,但遊戲、解謎、畫面、劇情跟音樂都超棒的。
另外,這款前陣子才出了二代:《Ori and the Will of the Wisps》,現在350元 (-20%)
我前幾天才破關,一樣全方面的非常優秀 (不過相較一代簡單了不少)
-
#第三推薦:《Princess Maker 2 Refine》
美少女夢工廠二,這款是很老的遊戲了。
是養成遊戲的始祖,經典中的經典!
遊戲就是給你一個女兒養到18歲。
你這現成老爸負責安排每一個月的行程。
最後看你把女兒培育出來的數值會導向不同的結局。
神作!
我就是玩了這款,現在才成為一位頂天立地的男子漢的。
現在159元 (-50%)
雖然有點翻譯上的小問題
(也沒有神秘商店的密技可以用)
但沒玩過的同學建議一定要試一試。
-
#第四推:《Hollow Knight》
虛空騎士,或翻空洞騎士。
一樣是類銀河戰士惡魔城,全破時間介於10小時到100小時。
流暢的戰鬥、多變的技能、巨大的迷宮、深度的劇情、華麗的音樂。
神作!
不過氛圍、色調與劇情稍嫌灰暗,難度也高。
較適合斗M玩家。
然後沒有手把的話建議是不要玩,手會受傷的。
現在199元 (-50%)
-
#第五推:《Monster Hunter: World》
鼎鼎大名的《魔物獵人:世界》
MW是動作遊戲中的頂尖之作,全系列賣破6000萬套。
光《世界》跟《冰原》加起來就接近2000萬套,真的很猛。
玩過才會知道猛在哪裡。
這遊戲可以自己單挑爆幹大隻的恐龍。
也可以找朋友一起來圍毆爆幹大隻的恐龍。
收藏要素多到數不清!
時間全部被偷光光!
「再,再獵一隻就好 ......」
然後太陽就出來了,很恐怖。
(雖然破關不用20小時,但實際上,隨便玩都會超過200小時)
(然後玩200小時還只能算剛出新手村的菜逼巴)
現在特價-34%中,一片607元
CP值高到滿出來。
p.s.:
連資料片冰原《ICEBORNE》一起買1154元 (-25%)
-
#第六推《DARK SOULS 3》
鼎鼎大名的黑暗靈魂。
本來分類是動作遊戲,但因為玩法太難太靠北,所以獨樹一格的黑暗靈魂直接變成一種全新遊戲分類:「類魂遊戲」
三代可以說是體驗宮崎英高善意的最佳入門作
(一代有點久遠了,畫面跟操作......現代玩家可能會玩得有點痛苦,而且現在沒特價)
適合斗M中的斗M
>_o)b
心理素質不夠堅強、技術不好的人要三思。
現在322元 (-75%)
-
#第七推:隻狼
GOTY,神作中的神作,貨真價實的10/10
英高哥哥與魂系列的集大成顛峰。
這次打完折是1033元 (-35%)
我玩過這麼多遊戲。
沒有任何一款有辦法跟隻狼一樣讓人感到挫敗。
但也沒有任何一款有辦法跟隻狼一樣這麼刺激!
跟BOSS兩小時不斷地以命相搏後取勝,那種成就感,那種雙手不住發抖的爽感,真的只有隻狼才有。
適合斗M中的斗M。
喜歡挑戰的玩家一定要買來玩!
-
#第八推:《Half Life 2》
戰慄時空2
要說我玩過最好玩的單機FPS,我心中只會有《戰慄時空2》跟《使命招喚4:現代戰爭》
(甚至在曠野之息出來前,我心中的總排名第一名就是戰慄時空二)
明明是第一人稱視角射擊,卻可以有這麼多玩法,著實令我驚艷。
雖然過了這麼多年了
也許有很多更好玩的遊戲超越了它
但37元(-80%)的價錢應該就沒辦法超越了吧
ps.
一代、一代REMASTER版也有特賣,一樣37元
一代之後還出了全新重製版《black mesa》現在206元(-35%),不過我還沒破 QQ
-
#第九推:《Resident Evil 2》
惡靈古堡二重製版
恐怖遊戲系列中,最有名也最受歡迎的作品重製。
也是近年來公認最香的冷飯,完整度高,誠意滿滿。
以前從三代開始,一直到六代,因為加入太多動作與技巧的成分,導致恐怖感越來越低,甚至變得有點在玩三國無雙的感覺 ...
但這次重製後,重回恐怖遊戲初衷。
重新給予玩家極大的無力感跟壓迫感。
劇情也沒有亂改。
如果喜歡玩恐怖遊戲的話,實在找不到不玩的理由。
現在五折,一片655 (-50%)
p.s.
猶豫的話,可以先抓試玩版Resident Evil 2 "R.P.D. Demo"來玩玩看。
-
#第十推:《Stardew Valley》
星露谷物語
一言以蔽之,就是像素風格的牧場物語。
但玩起來其實也不輸牧場物語。
謎之療癒 + 時間小偷
有完整的中文包可以抓,而且MOD很豐富
極度適合休閒型玩家
現在238元 (-40%)
-
#特別推:UNDERTALE
現在94元 (-66%)
這款是獨立製作的RPG中,並譽為「神作中的神作」
STEAM總排名第13名,97%的壓倒性好評
難以想像這幾乎是一個人做出來的遊戲
唯一可惜的是沒有繁體中文,要另外找漢化包
會放在特別推薦區,是因為我買了還沒玩
但每個實況主都推薦我玩,聽到我沒玩都露出不可置信的表情。
好啦,我玩完小魔女諾貝塔就玩這個!
有空的同學記得來陪我玩! (゚∀゚)/
twitch傳送門:
https://www.twitch.tv/kurtsunx
hollow knight難度 在 跟著領隊玩 Youtube 的最讚貼文
由 NEXON 發行,「天堂 2」、「TERA」知名製作人「朴永現」所打造的最新力作《V4:跨界戰》,於今日起正式上市開站。官方指出,《V4:跨界戰》除了利用 Unreal 4 引擎打造出細緻角色與遊戲環境外,本次也同步推出了手機雙平台與 PC 的連動版本,以更便利的遊戲性及 PC 高畫質的雙重享受下,嘗試帶給玩家不同感受的跨服戰爭。
如影似幻的矯捷身手,以行雲流水的劍術自在穿梭在敵陣間的劍士,善使雙劍來擾亂敵人視線並趁機給予弱點致命一擊!同時擅長使用各種異常狀態攻擊與「衝刺技能」,瞬間取走敵人性命的恐怖「殺手」。
如果是想要挑戰高難度操作跟爽快連招的,可以考慮「法師或劍士」,法師跟劍士的技能都是一招接一招,環環相扣的觸發,控場能力也不錯、輸出傷害也不錯。
hollow knight難度 在 真電玩宅速配 Youtube 的最佳貼文
由澳洲獨立研發團隊 Team Cherry 自製研發,於 2017 年在 PC 平台上推出的《Hollow Knight》,是一部主打橫向卷軸類型的2D動作遊戲,在台灣又名為《窟窿騎士》以及《骸骨騎士》,作品當時還在集資階段就已備受關注,遊戲推出後也是大獲好評,如今即將要推出的續作,不意外的也是受到眾多玩家們的期待;
在這次遊戲內,除了將會有超過 150 種以上的新敵人登場之外,整體動作表現以及各方面,也都將會比前作更加豐富多變,玩家們將要扮演在前作中亦敵亦友的角色「Hornet」,在全新的地圖場所內進行探索冒險,與各式各樣的敵人進行戰鬥,並設法解開未知的謎團;
遊戲內同時也準備了高難度的「Silk Soul Mode」來讓玩家們進行挑戰,只要將遊戲一輪全破之後,便可解鎖這個模式,想挑戰操作極限的玩家們可千萬別錯過囉,目前遊戲尚未宣布正式發售的時間,如果對這款作品有興趣的話,不妨可以多多留意後續遊戲的相關報導唷。
(C) Team Cherry
「電玩宅速配」粉絲團:https://www.facebook.com/tvgamexpress
「美女愛玩Game」節目:http://bit.ly/1Qwt7S3
休閒平台:http://myfun.gamedb.com.tw
遊戲庫粉絲團:http://www.facebook.com/Gamedbfans
hollow knight難度 在 ガチョック Youtube 的精選貼文
セールで衝動買いしたHOLLOW KNIGHT(ホロウナイト)で遊びます!
クリア後?の要素に挑戦!
集中していてゲームに関係ないコメントなどを聞き逃すことが多々ありますので、あらかじめご了承ください
良ければチャンネル登録お願いいたします!
ツイッター
https://twitter.com/gachok_place
こちらで放送や動画を告知しています。
hollow knight難度 在 [閒聊] 為什麼hollow knight這麼難- steam - PTT遊戲區 的美食出口停車場
如題黑魂3都可以滾到過節奏遊戲麻再不行看人玩抓boss行動模式可是hollow knight真的好難特別是是那個夢世界的boss 靠背喔超級吃反應也沒什麼地方能外 ... ... <看更多>
hollow knight難度 在 分享#Steam夏日遊戲大賞#空洞騎士Hollow Knight - Dcard 的美食出口停車場
遊戲:Hollow Knight,遊戲類型:類銀河戰士惡魔城,類魂系列平台, ... 其中也帶有魂系的要素,即較高的難度和碎片化的敘事風格, 之前大火的艾爾登 ... ... <看更多>
hollow knight難度 在 [問題] hollow knight! 難度問題- 看板NSwitch - 批踢踢實業坊 的美食出口停車場