為了讓 AI 不斷打怪升級，DeepMind 打造「宇宙」
作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |
DeepMind 又給我們小驚喜。我們都知道，強化學習苦於類化能力差，經常只能針對單個任務從頭學習。
DeepMind之前開發的AlphaZero，儘管可以玩圍棋、西洋棋和日本將棋，但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處，就在藉鑑之前經驗迅速適應新環境。
但類化能力不是一蹴而就，就像玩遊戲，也是先做簡單任務，逐步升級到複雜任務。《空洞騎士》（Hollow Knight）一開始只需要隨意走動揮刀砍怪，但噩夢級難度的「苦痛之路」關，沒有前面累積的技巧，只能玩寂寞。
多任務宇宙
DeepMind此次採用「課程學習」，讓智慧體於不斷擴展升級的開放世界學習。也就是說，AI新任務（訓練資料）是基於舊任務不斷生成。智慧體可盡情鍛鍊自己，簡單的如「靠近紫色立方體」，複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」，甚至和其他智慧體玩耍，如捉迷藏──「找到對方，且不要被對方發現」。
每個小遊戲存在世界小角落，千千萬萬個小角落拼成龐大的物理模擬世界，如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成，即任務＝遊戲＋世界＋玩家，並根據三要素關係，決定任務的複雜度。
複雜度的判斷有四個維度：競爭性、平衡性、可選項、探索難度。
比如「搶方塊」遊戲，藍色智慧體需要把黃色方塊放到白色區域，紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾，因此競爭性較強；同時雙方條件對等，平衡性比較高；因目標簡單，所以可選項少；DeepMind把探索難度評為中上，可能是因定位區域算較複雜的場景。
再如「球球喜歡和方塊一起玩」遊戲，藍色和紅色智慧體有共同目標，讓相同顏色的球體和方塊放在相近位置。
這時競爭性自然很低，平衡性毋庸置疑很高的；可選項比上面遊戲高很多；探索難度沒有定位區域，智慧體隨便把球體和方塊放哪都行，難度就變小了。
基於這四個維度，DeepMind打造超大規模「宇宙」任務空間，幾何「地球」也只是這宇宙的小角落，是四維任務空間的一點。DeepMind將「宇宙」命名為XLand，包含數十億個任務。
來看XLand的全貌，由一系列遊戲組成，每個遊戲在許多模擬世界進行，這些世界的拓樸和特徵平滑變化。
終生學習
數據有了，接下來得找到合適的算法。 DeepMind發現，目標注意代理（GOAT）可學習更通用的策略。
具體來說，智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後，生成中間輸出，傳遞給GOAT模組，會根據智慧體目前目標處理中間輸出的特定部分，邏輯分析目標。
邏輯分析是指，每個遊戲可藉由一些方法，構建另一個遊戲，並限制策略的價值函數的最優值上限或下限。
DeepMind提出一個問題：對每個智慧體，什麼樣的任務是最好的？換句話說，打怪升級時，什麼樣的關卡設置才讓玩家順利升級為「真」高手，而不是一刀9999？
DeepMind的答案是，每個新任務都基於舊任務生成，「不會太難，也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。
訓練開始時，太難或太容易的任務可能會鼓勵早期學習，但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀，而是鼓勵終身學習，即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法，在新任務和舊任務之間彈性連接。
怎麼不讓智慧體做新任務時不適應而「暴死」？進化學習就提供很好的靈活性。總體來說，新任務和舊任務同時進行，且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體，會選拔到新任務繼續學習。
新任務中，舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製，參與新一輪「競爭」。除了舊任務的優秀智慧體，還有很多新人參與，這就引進隨機性、創新性、靈活性，不用擔心「暴死」問題。
當然，因任務不斷生成、動態變化，一個任務可訓練不同長處的智慧體，並往不同方向演化（隨著智慧體相對性能和強健性進行）。最終每個智慧體都會形成擅長任務的集合，就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小，簡直是模擬地球。
DeepMind表示，「這種組合學習系統的特性是，不最佳化有界性能指標，而是更新定義的通用能力範圍，這使智慧體開放式學習，僅受環境空間和智慧體的神經網路表達能力的限制。」
智慧初現
最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種？DeepMind說，智慧體有很明顯的零樣本學習能力，比如使用工具、合圍、數數、合作＋競爭等。
來看具體例子。首先智慧體學會臨機應變。目標有三個：
黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板
AI一開始找到一個黑色金字塔，想拿到橙色地板（目標3），但搬運過程瞄見黃色球體，瞬間改變主意，「我可以實現目標1啦」，將黑色金字塔放到黃色球體旁邊。
第二個例子是，不會跳高，怎麼拿到高台上的紫色金字塔？智慧體需要想辦法突破障礙，取得高台上的紫色金字塔，高台周邊並沒有類似階梯、斜坡的路。
因不會跳高，所以智慧體「掀桌子」，把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊，「等等，這不就是我要的階梯嗎？」這過程是否體現了慧體的智慧，還無法肯定，可能只是一時幸運。關鍵還是，要看統計數據。
經過5代訓練，智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲，涉及340萬個獨立任務，最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務，除了少數即使人類也無法完成的任務。
DeepMind的研究，或許一定程度體現「密集學習」重要性。也就是說，不僅資料量要大，任務量也要大。這也使得智慧體在類化能力有很好表現，如資料顯示，只需對一些新複雜任務進行30分鐘集中訓練，智慧體就可快速適應，而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。
往後我們也期待這「宇宙」更複雜和生機勃勃，AI經過不斷演化，不斷給我們帶來驚喜（細思極恐）的體驗。
資料來源：https://technews.tw/2021/07/30/deepmind_xland/
物理化學開放式課程 在 [心得] 化學所上榜心得- 看板graduate - 批踢踢實業坊 的美食出口停車場
成績
104 台大化學所化學組
有機無機 63
物化分析 61 英文B 70 (50%門檻:50)
------
124 (最低錄取：118)
希望我的分享，可以鼓勵曾經對自己目標有所遲疑的人
不管有什麼困難，只要下定決心之後，就沒有什麼事是困難的
#邊工作邊準備 #跨領域 #沒補習
（以下文長）
--
背景
112徐州校區
修課狀況：
有機：3+3=6學分
無機：沒修過
物化(熱力＋量化)：3+3=6學分
分析：2+2=4學分
前言
原本的狀況是有推甄上系上的研究所(R02) 準備就讀
但還是一直無法忘記當初大三開始出現想報考化學所的念頭
想著如果現在碩班唸下去，應該也沒機會了吧？
就算邊讀碩班邊準備，也必定是無比艱辛(對老闆也難交代= =)
或許有人會說 「既然沒有很想念系上的研究所,何必推甄佔名額？」
我只能說 當下實在欠一個勇敢，不敢果決跨領域
況且有些化學所的考科(像是無機和物化的動力學部分) 我也沒碰過
所以就順其自然的選擇最簡單、好走的路
but
碩一上剛開始沒多久，因為一些事情，所以我辦了休學然後工作去
那時大概9月、10月，而這個突如其來的轉折也讓我燃起
「衝一發化學所,再不衝就沒機會」的念頭
but
休學之後不用當兵嗎？ 當然要！ （我現在還是役男,所以考上後會先當兵）
礙於這中間又是另一段充滿波折的故事,這邊就不提了
由於我只有報台大一間（上班日考試要請假啊QQ）
也只有看台大的考古題（汗
所以大家就加減看吧 下面會依時間來區分跟大家分享
--
102.11 ～ 103.2
原以為我會續約兩年學生,結果突然變朝九晚五的上班族
開始工作之後,個人覺得比在碩班邊念邊準備來的單純
（邊念碩班邊準備其他研所的感覺很像在搞外遇= =）
應該說比較好劃分時間
像是下班之後就是自己的時間,不會被教授或是實驗追殺
這段時間算是身份轉換的調適期吧 也順便熟悉一下工作內容
另外,此時我也認真考慮是否要補習(尤其有些課根本沒修過...)
但是當我知道有一些線上課程可以看之後,就慢慢打消補習的念頭
很高興台大、交大提供這些資源 讓我可以利用自修的方式學習
下面也會一一跟大家做介紹
103.3 ～103.6
我大概從去年3月開始慢慢準備
由於無機很吃量化和群論,所以我去找了這兩門課兩看
台大開放式課程 量子化學 鄭原忠老師
交大開放式課程 化學應用群論 朱超原老師
之前的分享文很常提到鄭原忠老師的量化課
雖然之前大四有上過量化,但是當時也只是第一次完整聽到薛丁葛格、海森堡寶...等
（大一普化有提到一些,當時只覺得wavefunction是波動拳的函數嗎...= =）
修完後過沒多久就忘得差不多...
而我在聽了鄭老師的課程之後,對於量子力學有了一番全新感受
真的教得很好！(老師不愧是MIT的！)
另外交大朱超元老師的群論課,起先有點無法適應他的聲音,但聽久了也習慣
（朱老師是四川大學畢業的,講話有點腔調XD）
我覺得群論這部分可以自己過濾一些重點出來
像是交大這門群論課,教得非常詳細（都叫化學應用群論了當然詳細）
所以可以先去台大網站瀏覽一下考古題
看完之後 會發現其實題目不會考很細
大概就是character table怎麼用怎麼看、對稱操作...之類基本的內容
除了這兩門課之外,台大還有一門也很不錯
台大開放式課程 化學鍵 王瑜、陳竹亭、鄭原忠合開
這門課好像是化學系大一大二的選修課程,感覺像是為之後的量化、無機打基礎
物化的熱力學和動力學部分
交大開放式課程 物理化學（一） 李遠鵬老師
交大開放式課程 物理化學（三） 朱超原老師
無機由於沒有線上課程可以看,
則是去借了化學版上普遍認為“淺顯易懂”的Miessler來看
雖然大家是這樣說,但在我念的過程中一直感受不到啊...QQ
只能一字一字慢慢看,自己做整理、重複翻閱,才慢慢豁然開朗
尋找免費的教材資源時,一直期盼哪個學校有出無機化學的線上課程（清大也找過了）
可惜最後還是沒有 (交大只有放講義而已QQ)
這幾個月大概就是在線上課程中度過
103.7 ～103.9
這段時間開始把以前修有機時的課本（Solomons）拿出來重頭念
幸好以前上課算認真,讀起來還ok
幫每一章節做一些反應或是觀念的整理
不然念到最後很容易搞混,無法有效整合
也把整理的筆記帶在身邊,上班日利用午休或空閒時間加減看
另外也開始念物化課本（Silbey）一邊配著：
李遠鵬 熱力講義
鄭原忠 量化筆記
朱超原 動力講義
就這樣念到9月,開始念分析課本（Skoog）
念的時候想起版上很多人說「『放分析,拚三科』的說法根本暗黑」
現在想想,覺得說得很有道理,真的是暗黑
平平都佔50分,憑什麼要放棄？
而且0分進步到50分,一定比95分進步到100分來得容易！
--
慶幸當初許多課在學校都有修過
雖然早就把之前修過的課程內容忘得差不多
但是只要稍稍念過之後,印象就會慢慢出來
而這比起從「沒看過」起步而言,應該算是有利許多
--
10月中左右把考古題解答弄到手後,就開始寫考古題
我的想法是
先全部寫過,錯多錯少沒差,至少可以知道題目的走向以及慢慢培養要考試的感覺
103.10 ～ 103.11
這段時間就是一邊寫考古題,一邊把課本進度看完
我覺得這個時期是功力大增的時期
開始大量寫題目,錯了翻課本訂正,然後做筆記整理
（一開始寫題目時 很快就寫完了 因為很多都不會寫... ）
103.12 ～ 104.1
課本和考古題進度都差不多之後
再把考古題重頭開始寫,並模擬考試的感覺（計時）
我覺得計時是必要的,因為這樣才能知道自己的答題速度
心裡有個底,才能掌握自己可以花費多少時間在一題上
可能有些人會覺得考古題寫第二次、第三次或更多次的效果應該不大吧
就我自己的感覺,我認為效果很好
像是考古題,不可能把所有題目都記下來
每一題都要練到能寫出說服自己接受的答案（可以說出完整思路）
而不是因為寫過就開始憑印象想這題答案好像是A或B...
相同觀念,可以衍生出10道不同題目
而這10道不同題目只要你懂了那個觀念,等於解開這10道題目
想起大二教有機的老師常常出那種班平均50分（滿分100）的考卷
然後檢討時笑道：「吾道,一以貫之。」
當時覺得很哭腰,現在總算有點體會她那句話了
以我而言,我是從89年寫到102年,寫完102之後再回89年寫
開始寫第二次時,根本是全新的題卷,因為距上次寫這個年份已經過一段時間了
第一次和這次的差別在於我對課本的內容更熟悉了
要相信每次寫考古題的感覺一定會越來越好
反正寫錯沒差,趕快訂正補強
現在被電一電,上考場時換你電別人XD
104.1月底 ～ 考前
考前煩躁期,課本內容看過了,實在看不下去
就隨機翻幾年的考古題開始再寫
確認假如又出這種題目,我可以百分之百全拿
尤其像台大的題目,有些根本一模一樣
像是今年物化有一題給一張不同路徑的P-V圖,問你Cp和Cv的差別,
這題12分 （跟101年是一模一樣的題目!!!）
--
考試當天,考完第一節英文後,覺得應該會過門檻
開始慶幸台大有篩英文前50%,至少可以篩掉一些英文不好的強者XD
--
最後END
講了那麼多,其實我的主要策略就是
確保課本的每一章節都有“讀過”,不必到倒背如流,但起碼要知道有這東西存在
然後開始寫考古題,用題目來補強自己哪邊沒讀熟,自己做筆記整理（這很重要!）
或許一開始會寫得零零落落,但之後一定會越來越好
--
#邊工作邊準備？
一般下午五點到六點左右下班,有時會晚一點
吃晚餐、摸魚...盡量最晚七點要讓自己坐定位開始唸
念到大概晚上十二點～一點左右再去睡覺
中間扣掉休息時間＋偷懶,至少也會有四個小時可以念（不要太誇張的話）
假日就比較隨性,湊一湊應該也至少要念六個小時
以上是從7月之後的時間規劃
所以邊工作邊準備的時間還是擠得出來的,就跟乳溝一樣(?
#跨領域？
其實依照我的修課狀況,應該只能算“跨半隻腳領域”
跟純文科跨理工的強者相比,實在也稱不上是跨領域= =
#沒補習？
真的真的很推薦大家利用線上開放式課程(或是其他網路資源ex wiki)
既然學校敢把課程放上網,代表那門課絕對不會是爛課
雖然沒有像補習班那樣「傳便便」,什麼都安排好好的
但是只要自己花一點功夫、做一點功課,就可以省下一大筆銀彈！
--
每當念到有點煩悶時,都會看看版上許多前輩的錄取心得文
每個人的背景歷程不完全相同,但可以從不同的歷程中體會到不同的事物
讓自己在無數個夜晚繼續撐下去
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.129.133.80
※ 文章網址: https://www.ptt.cc/bbs/graduate/M.1426333254.A.100.html
... <看更多>