由谷哥大腦與deepmind攜手推出新論文,透過基於進化算法來搜索出可以兼具將標準化以及活化函數功能的新的神經網路層,這個被找出來的新結構稱之為EvoNorm,論文中做了多種視覺任務的測試都呈現出更高的精確度以及模型泛用性。
Evolving Normalization-Activation Layers
https://arxiv.org/pdf/2004.02967.pdf
為了確認這個EvoNorm是否該納入經常性的使用,因此我做了一下簡單的測試,我原本用了mnist數據集,總共做了(1)只有卷積、活化函數與全連接層(2)加入batch normalization (3)加入batch normalization與dropout(4)使用EvaNormB0
以上皆是卷積層3層,卷積核皆為(3,3),第一層strides為1其餘為2,活化函數為leaky_relu,在優化器為adam,學習速率1e-3,批次大小128,跑了2000個批次的結果。
從圖上看來,EvoNorm前段比較普普,後段在四種架構中的確是損失最低評價最高。若是利用center loss圖來觀察這幾個模型的決策空間(每個顏色是指0~9數字在特徵空間的分佈,顏色交疊意味著分類錯誤),EvoNorm的中心點比較空洞,這表示分類案例重疊誤判的狀況是最輕微的。
同時也有10000部Youtube影片,追蹤數超過2,910的網紅コバにゃんチャンネル,也在其Youtube影片中提到,...
「activation函數」的推薦目錄:
- 關於activation函數 在 DeepBelief.ai 深度學習 Facebook 的最讚貼文
- 關於activation函數 在 コバにゃんチャンネル Youtube 的最佳解答
- 關於activation函數 在 大象中醫 Youtube 的精選貼文
- 關於activation函數 在 大象中醫 Youtube 的精選貼文
- 關於activation函數 在 python-深度學習4-神經網路常見問題-激活函數怎麼選 - YouTube 的評價
- 關於activation函數 在 Mr. Opengate - 簡單介紹使用激勵函數的目的及如何選擇^^ p.s.... 的評價
- 關於activation函數 在 網路上關於Activation ReLU-在PTT/MOBILE01/Dcard上的升學 ... 的評價
- 關於activation函數 在 網路上關於Activation ReLU-在PTT/MOBILE01/Dcard上的升學 ... 的評價
- 關於activation函數 在 網路上關於Activation ReLU-在PTT/MOBILE01/Dcard上的升學 ... 的評價
activation函數 在 コバにゃんチャンネル Youtube 的最佳解答
activation函數 在 大象中醫 Youtube 的精選貼文
activation函數 在 大象中醫 Youtube 的精選貼文
activation函數 在 Mr. Opengate - 簡單介紹使用激勵函數的目的及如何選擇^^ p.s.... 的美食出口停車場
深度學習:使用激勵函數的目的、如何選擇激勵函數Deep Learning : the role of the activation function. 關於資訊科學、軟體開發、旅遊、經濟金融、當代思潮等有趣 ... ... <看更多>
activation函數 在 網路上關於Activation ReLU-在PTT/MOBILE01/Dcard上的升學 ... 的美食出口停車場
2022Activation ReLU討論資訊,在PTT/MOBILE01/Dcard上的升學考試資訊整理,找relu函數,Activation ReLU,激活函數sigmoid在Instagram影片與照片(Facebook/Youtube)熱門 ... ... <看更多>
activation函數 在 python-深度學習4-神經網路常見問題-激活函數怎麼選 - YouTube 的美食出口停車場
python-深度學習4-神經網路常見問題-激活 函數 怎麼選-演算法怎麼挑(how to choose activation & optimizer in neural network). Watch later. ... <看更多>