本文延續前篇效能校正的經驗談，上篇文章探討了關於應用程式本身可以最佳化的部分，包含了應用程式以及框架兩個部分。本篇文章將繼續剩下最佳化步驟的探討。
Speculative Execution Mitigations
接下來探討這個最佳化步驟對於效能有顯著的提升，但是本身卻是一個非常具有爭議性的步驟，因為其涉及到整個系統的安全性問題。
如果大家對前幾年非常著名的安全性漏洞 Spectre/Meltdown 還有印象的話，本次這個最佳化要做的就是關閉這類型安全性漏洞的處理方法。
標題的名稱 Speculative Execution Migitations 主要跟這漏洞的執行概念與 Pipeline 有關，有興趣理解這兩種漏洞的可以自行研究。
作者提到，大部分情況下這類型的防護能力都應該打開，不應該關閉。不過作者認為開關與否應該是一個可以討論的空間，特別是如果已經確認某些特別情境下，關閉防護能力帶來的效能如果更好，其實也是一個可以考慮的方向。
舉例來說，假設今天你運行了基於 Linux 使用者權限控管與 namespaces 等機制來建立安全防護的多使用者系統，那這類型的防護能力就不能關閉，必須要打開來防護確保整體的 Security Boundary 是完整的。 但是如果今天透過 AWS EC2 運行一個單純的 API Server，假設整個機器不會運行任何不被信任的程式碼，同時使用 AWS Nitro Enclaves 來保護任何的機密資訊，那這種情況下是否有機會可以關閉這類型的檢查?
作者根據 AWS 對於安全性的一系列說明認為 AWS 本身針對記憶體的部分有很強烈的保護，包含使用者之間沒有辦法存取 Hyperviosr 或是彼此 instance 的 Memory。
總之針對這個議題，有很多的空間去討論是否要關閉，以下就單純針對關閉防護能力帶來的效能提升。
作者總共關閉針對四種攻擊相關的處理能力，分別是
Spectre V1 + SWAPGS
Spectre V2
Spectre V3/Meltdown
MDS/Zombieload, TSX Anynchronous Abort
與此同時也保留剩下四個，如 iTLB multihit, SRBDS 等
這種設定下，整體的運作效能再次提升了 28% 左右，從 347k req/s 提升到 446k req/s。
註: 任何安全性的問題都不要盲從亂遵循，都一定要評估判斷過
Syscall Auditing/Blocking
大部分的情況下，Linux/Docker 處理關於系統呼叫 Auditing/Blocking 兩方面所帶來的效能影響幾乎微乎其微，不過當系統每秒執行數百萬個系統呼叫時，這些額外的效能負擔則不能忽視，如果仔細觀看前述的火焰圖的話就會發線 audit/seccomp 等數量也不少。
Linux Kernel Audit 子系統提供了一個機制來收集與紀錄任何跟安全性有關的事件，譬如存取敏感的機密檔案或是呼叫系統呼叫。透過這些內容可以幫助使用者去除錯任何不被預期的行為。
Audit 子系統於 Amazon Linux2 的環境下預設是開啟，但是本身並沒有被設定會去紀錄系統呼叫的資訊。
即使 Audit 子系統沒有真的去紀錄系統呼叫的資訊，該子系統還是會對每次的系統呼叫產生一點點的額外處理，所以作者透過 auditctl -a never,task 這個方式來將整體關閉。
註: 根據 Redhat bugzilla issue #1117953, Fedora 預設是關閉這個行為的
Docker/Container 透過一連串 Linux Kernel 的機制來隔離與控管 Container 的執行權限，譬如 namespace, Linux capabilities., cgroups 以及 seccomp。
Seccomp 則是用來限制這些 Container 能夠執行的系統呼叫類型
大部分的容器化應用程式即使沒有開啟 Seccomp 都能夠順利的執行，執行 docker 的時候可以透過 --security-opt seccomp=unconfined 這些參數告訴系統運行 Container 的時候不要套用任何 seccomp 的 profile.
將這兩個機制關閉後，系統帶來的效能提升了 11%，從 446k req/s 提升到 495k req/s。
從火焰圖來看，關閉這兩個設定後，syscall_trace_enter 以及 syscall_slow_exit_work 這兩個系統呼叫也從火焰圖中消失，此外作者發現 Amazon Linux2 預設似乎沒有啟動 Apparmor 的防護，因為不論有沒有關閉效能都沒有特別影響。
Disabling iptables/netfilter
再來的最佳化則是跟網路有關，大名鼎鼎的 netfilter 子系統，其中非常著名的應用 iptables 可以提供如防火牆與 NAT 相關功能。根據前述的火焰圖可以觀察到，netfilter 的進入 function nf_hook_slow 佔據了大概 18% 的時間。
將 iptables 關閉相較於安全性來說比較沒有爭議，反而是功能面會不會有應用程式因為 iptables 關閉而不能使用。預設情況下 docker 會透過 iptables 來執行 SNAT與 DNAT(有-p的話)。
作者認為現在環境大部分都將 Firewall 的功能移到外部 Cloud 來處理，譬如 AWS Security Group 了，所以 Firewall 的需求已經減少，至於 SNAT/DNAT 這類型的處理可以讓容器與節點共享網路來處理，也就是運行的時候給予 “–network=host” 的模式來避免需要 SNAT/DNAT 的情境。
作者透過修改腳本讓開機不會去預設載入相關的 Kernel Module 來達到移除的效果，測試起來整體的效能提升了 22%，從 495k req/s 提升到 603k req/s
註: 這個議題需要想清楚是否真的不需要，否則可能很多應用都會壞掉
作者還特別測試了一下如果使用 iptables 的下一代框架 nftables 的效能，發現 nftables 的效能好非常多。載入 nftables 的kernel module 並且沒有規則的情況下，效能幾乎不被影響(iptables 則相反，沒有規則也是會影響速度)。作者認為採用 nftables 似乎是個更好的選擇，能夠有效能的提升同時也保有能力的處理。
不過 nftables 的支援相較於 iptables 來說還是比較差，不論是從 OS 本身的支援到相關第三方工具的支援都還沒有這麼完善。就作者目前的認知， Debian 10, Fedora 32 以及 RHEL 8 都已經轉換到使用 nftables 做為預設的處理機制，同時使用 iptables-nft 這一個中介層的轉換者，讓所有 user-space 的規則都會偷偷的轉換為底層的 nftables。
Ubuntu 似乎要到 20.04/20.10 的正式版本才有嘗試轉移到的動作，而 Amazon Linux 2 依然使用 iptables 來處理封包。
下篇文章會繼續從剩下的五個最佳化策略繼續介紹
https://talawah.io/blog/extreme-http-performance-tuning-one-point-two-million/
中介效果舉例 在 Re: [問題] 中介或調節效果？ - 看板Statistics - 批踢踢實業坊 的美食出口停車場
自曝其短，先說說我對中介和調節的理解
看是不是有錯誤
這樣才比較知道問題點在哪裡XDD
我的理解是：
1.中介(Me)
(a)
X ..........> Y
(b) (c)
X ........> Me.......> Y
.....................>
(c')
檢證步驟：
(1) X和Y的關係顯著(a)
(2) X和Me的關係顯著(b)
(3) Me和Y的關係顯著(c)
(4) X和Me對Y的關係顯著，c'值小於a
目前有的學者認為即使(a)不顯著，X和Y也可能存在中介效應
有可能是因為(b)(c)的方向與(a)相反，才讓(a)不顯著
有些人甚至認為，只要X....>Me Me......>Y這兩段有顯著
中介效果就可以成立
2.調節（干擾）(Mo)
(a)
X ............> Y
(b)
Mo............> Y
(c)
X*Mo..........> Y
當(c)顯著時，表示有調節效果存在
調節的意思就是，Mo會改變X與Y的關係，讓強度和方向出現轉變
我的研究設計是：
（自變項）病情嚴重程度（連續）(X)
（依變項）體重是否變瘦（二分，變瘦1/沒瘦0) (Y)
用Logistic迴歸分析後
現在知道：X和Y的直接相關性不顯著
（-2LL=13.938 Cox and Snell R平方=.043 Nagelkerke R平方=.059
卡方1.729(.189) B= -.087(.492)(不顯著) Wals=.472 ExpB=.916）
之後又參考理論，找出另一個可能影響的因素：吃東西的量（連續）(M)
檢測之後，X和M有顯著的負相關
（R=.364 R平方=.132 adjR平方=.112 F=6.550*
B= -.222* SE=.087 Beta= -.364）
M和Y有顯著的負相關
（-2LL=51.876 Cox and Snell R平方=.159 Nagelkerke R平方=.216
卡方=7.791** B= -.295* Wals=6.011 ExpB=.745）
所以現在知道，X.....>M, M......>Y這兩段關係顯著
X................>Y不顯著
但我不確定「吃東西的量」到底屬於 中介變項(Me)或調節變項(Mo)？
所以兩種檢證方式都有用spss跑
1.如果是 中介(Me)：
我使用二元Logistic迴歸分析，把X和M一起放入共變量欄位
方法用 Enter法
跑出來的結果和單獨只放X的來比：
(1) 自變數只放 X
-2LL=13.938 Cox and Snell R平方=.043 Nagelkerke R平方=.059
卡方1.729(.189)（不顯著）
X的 B= -.087(.492)(不顯著) Wals=.472 ExpB=.916
(2) 自變數放入 X和M
-2LL=43.398 Cox and Snell R^2=.303 Nagelkerke R^2=.413
卡方=16.269***
X的 B= -.173* Wals=6.379 ExpB=.841
M的 B= -.502** Wals=9.103 ExpB=.605
可以發現：
X的顯著程度提高，從 不顯著 變成 顯著
X的B值增加，從-.087變成-.173
M的B值大於X(-.502)
R^2值變大
這樣我可以說M是中介變項嗎？？
（可是X的B值增加，而不是減少）
另外，如果它是中介變數，那要怎麼詮釋？
(1)因為X....>M(負相關)，M.......>Y(負相關)
表示：病情越嚴重，吃的東西越少，進而會讓體重變瘦
病情嚴重程度和體重變瘦成 正相關
(2)但把X和M一起放進去時，X...>Y 卻呈現負相關
代表 病情嚴重程度 和 體重變瘦與否成 負相關
應該用哪一部分來做解釋？因為(1)和(2)似乎是相反的
2. 如果是 調節
使用 二元Logistic回歸
先放入 X，其次是M，第三是X*M
使用Enter法
跑出的結果是：
-2LL=30,256 Cox and Snell R^2=.480 Nagelkerke R^2=.653
卡方=13.142***
Hosmer與Lemeshow檢定：卡方=21.046**
（似乎表示模型不佳）
X的 B= -.689** Wals=8.530 ExpB= .502
M的 B= -1.730** Wals=7.224 ExpB= .177
X*M的 B= .108** Wals=6.915 ExpB=1.115
交互作用也有顯著，這樣表示M是調節變項？？
那要怎麼詮釋 X*M的B值是正的，X和M的B值是負的？
另外，一個變項可以同時是 中介＋調節嗎？
我可以說：病情的嚴重程度(X)可能會讓 體重變瘦(Y)
但必須視吃東西的多寡(Mo)而定
病越重，吃很多，體重不會瘦
越健康，吃很少，體重會變瘦......可以這樣詮釋嗎??
或是說：M的加入可以讓X和Y之間關係強度增強，使其出現顯著？
又是落落長一篇
希望版友們能有耐心看完
萬分感謝大家的回覆!!
※ 引述《winchin (撼動宇宙的第一小步)》之銘言：
: 最近遇到一個問題，翻了許多資料後還是沒啥頭緒
: 所以上來請教有經驗的板友
: 我的問題和中介效果、調節效果有關
: 內容有點長，裡面的故事也都是另外舉例的，還望大家能有耐心看完..
: 首先，簡單說明一下我的主題
: 一開始我想檢驗「身體的健康程度」(X)和「體重是否變瘦」(Y)兩者間的相關性
: X是連續變數，0非常健康-------->20病情嚴重，病越重，分數越高
: Y是二分的變數（變瘦1／沒變瘦0）
: 傳統論點認為：健康越不佳，體重就會變瘦
: 所以檢證的假設是：X和Y之間是 正相關
: 但跑了Logistic迴歸之後卻發現，X和Y之間的相關性 不顯著 且是 負相關
: 所以接下來我就想找看看有無其他的因素會影響X和Y間的關係
: 從過去理論文獻當中
: 學者們提到「吃進去的食物性質與數量」(M)會影響「體重變瘦與否」(Y)
: 因此我就列出三種食物（澱粉類M1、水果類M2、茶類M3）（連續變數）
: 檢驗他們的相關性
: 結果呈現出：
: 一，「健康程度」(X)和 澱粉類M1、水果類M2、茶類M3 都有顯著的 負相關
: （病越重，吃得越少）
: 二，只有 澱粉類M1 和 「體重變瘦」(Y) 之間有顯著的 負相關
: 至於M2 M3都未顯著
: （澱粉類的熱量高，吃越少，越會變瘦；吃越多，越會發胖）
: 所以我就知道 澱粉類M1 可能會影響X和Y的關係
: 為了確定M1確實有影響
: 因此我把 M1當成 控制變數，和X一起再跑一次 Logistic迴歸
: 結果顯示：
: X對Y的關聯程度提升，而且負相關達到顯著水準
: 我現在的問題點是：
: 一，請問我把M1當成控制變數的做法
: 能不能用來判定 M1的確有著中介或調節的效果？
: （我不需要知道效果的強度，或完全中介與部分中介
: 只需要知道是不是有中介效果即可）
: 二，我查到的資料在進行中介或調解效果分析時
: 依變項(Y)都是連續變項，或者分成三份以上的變項（用虛擬變項去跑）
: 但我的依變項卻是二分，0和1的變項
: 好像沒辦法用這種方式去檢驗？那有沒有其他合適的方法？
: 三，大家常說的中介效果成立都是符合：
: (a) X------->Y 顯著
: (b) X------->M1 顯著
: (c) X*M1---->Y
: 但我的情況是：
: (a)X------->Y 就已經不顯著
: 但是
: (b)X------->M1 顯著
: (c)M1------>Y 顯著
: 那這樣 X----> M1-----> Y 之間還有中介或調節的關係嗎？
: 四，在這樣的情況之下，該怎麼替 M1 定名？
: 它是 中介變數？調節變數（干擾變數）？還是......？
: 五，該怎麼詮釋統計結果比較妥當？
: 目前比較確定的是：
: 1. X和Y沒有顯著的直接相關（身體的健康程度不會直接讓體重變瘦）
: 2. M1和Y有顯著的負相關（澱粉類吃越多，體重越胖0
: 吃越少，體重越瘦1）
: 3. X和M1有顯著的負相關（病得越重，吃東西的量越少）
: 4. 把M1當成控制變項後，X和Y之間出現 顯著負相關
: （病得越重，體重越胖0，身體越健康，體重越瘦1）
: 如果只就2和3（X--->M1，M1---->Y）這兩段來解釋，是合乎理論預期
: （病得越重，澱粉類吃越少，澱粉類吃越少，則體重越瘦
: 所以病情越重 與 體重變瘦 之間有著正相關）
: 但M1的角色是甚麼？可以把它稱為中介變項嗎？
: 另外，要怎麼解讀 4 這一點？
: 它雖然凸顯出M1的影響力，可是卻和理論預期相反
: 而且也和結合2,3兩段後的解釋相反
: 在控制M1以後，X和Y呈現出顯著的負相關
: （病越重，體重越胖？？？）
: 我目前的解釋方法是：
: 病情的嚴重程度(X)在某種情況之下的確可能使得 體重變瘦(Y)
: 但體重變瘦與否 必須視 澱粉類M1 吃的數量多寡而定
: M1是很重要的干擾或中介變項
: 倘若病情很嚴重，同時澱粉類吃很多，那麼體重變瘦的機率會增加
: 如果病情嚴重，但澱粉類吃很少，則變瘦的機率會下降
: 如果身體很健康，但澱粉類吃很多，會提高變胖的機會
: 如果很健康，但澱粉吃很少，會降低變胖的機會
: 請問這樣的解釋妥當嗎？？
: 懇請版友們提供建議，萬分感謝!!
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 112.105.52.213
※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1397730001.A.8DE.html
※ 編輯: winchin (112.105.52.213), 04/17/2014 20:14:11
... <看更多>