ref: https://medium.com/100-days-of-linux/how-to-deal-with-too-many-open-files-log-storm-c617ba84143b
本文是一個經驗分享文,作者分享其 HTTP Server 遇到 599: Network Connection Timed out Error 錯誤時的除錯經驗。
作者發現到該錯時,趕緊檢查 Server 的錯誤訊息然後得到了下列內容
HTTP: Accept error: accept tcp [::]:
這個錯誤訊息非常明確,告知該 Server 開啟太多檔案了,導致沒有辦法繼續處理後續的網路請求。
不過對於不熟悉 Linux 系統設計的使用者來說這個錯誤訊息就不夠明顯,實際上 Linux 系統內所有的網路 Socket 底層都是一個又一個檔案結構(FD),所以該錯誤訊息也可以解釋為該 Server 開啟了過多的 Socket ,已經超過系統設定上限。
作者使用下列指令來找到當前開啟的 Socket(FD) 數量
lsof -u
為了解決這個問題,作者認為有兩個方向可以去嘗試
1. 提高整個 Server 能夠開啟的 Socket 數量上限
2. 確保 Server 將所有卡住沒使用的 Socket 都清除收回
後半部分文章作者介紹如何使用 ulimit 這個指令來觀察系統當前的設定,包含soft limit 以及 hard limit 兩種類型的差別,如何針對 socket 的部分來調高設定。
對於這方面有興趣的讀者可以閱讀一下,本篇文章滿短的,很快就可以消化完畢
同時也有17部Youtube影片,追蹤數超過44萬的網紅MakeLearningFun,也在其Youtube影片中提到,Programming become more and more important nowadays. Some people may think it is different to learn, but actually it is not! With the right tools and ...
user linux 在 矽谷牛的耕田筆記 Facebook 的精選貼文
本文延續前篇效能校正的經驗談,上篇文章探討了關於應用程式本身可以最佳化的部分,包含了應用程式以及框架兩個部分。本篇文章將繼續剩下最佳化步驟的探討。
Speculative Execution Mitigations
接下來探討這個最佳化步驟對於效能有顯著的提升,但是本身卻是一個非常具有爭議性的步驟,因為其涉及到整個系統的安全性問題。
如果大家對前幾年非常著名的安全性漏洞 Spectre/Meltdown 還有印象的話,本次這個最佳化要做的就是關閉這類型安全性漏洞的處理方法。
標題的名稱 Speculative Execution Migitations 主要跟這漏洞的執行概念與 Pipeline 有關,有興趣理解這兩種漏洞的可以自行研究。
作者提到,大部分情況下這類型的防護能力都應該打開,不應該關閉。不過作者認為開關與否應該是一個可以討論的空間,特別是如果已經確認某些特別情境下,關閉防護能力帶來的效能如果更好,其實也是一個可以考慮的方向。
舉例來說,假設今天你運行了基於 Linux 使用者權限控管與 namespaces 等機制來建立安全防護的多使用者系統,那這類型的防護能力就不能關閉,必須要打開來防護確保整體的 Security Boundary 是完整的。 但是如果今天透過 AWS EC2 運行一個單純的 API Server,假設整個機器不會運行任何不被信任的程式碼,同時使用 AWS Nitro Enclaves 來保護任何的機密資訊,那這種情況下是否有機會可以關閉這類型的檢查?
作者根據 AWS 對於安全性的一系列說明認為 AWS 本身針對記憶體的部分有很強烈的保護,包含使用者之間沒有辦法存取 Hyperviosr 或是彼此 instance 的 Memory。
總之針對這個議題,有很多的空間去討論是否要關閉,以下就單純針對關閉防護能力帶來的效能提升。
作者總共關閉針對四種攻擊相關的處理能力,分別是
Spectre V1 + SWAPGS
Spectre V2
Spectre V3/Meltdown
MDS/Zombieload, TSX Anynchronous Abort
與此同時也保留剩下四個,如 iTLB multihit, SRBDS 等
這種設定下,整體的運作效能再次提升了 28% 左右,從 347k req/s 提升到 446k req/s。
註: 任何安全性的問題都不要盲從亂遵循,都一定要評估判斷過
Syscall Auditing/Blocking
大部分的情況下,Linux/Docker 處理關於系統呼叫 Auditing/Blocking 兩方面所帶來的效能影響幾乎微乎其微,不過當系統每秒執行數百萬個系統呼叫時,這些額外的效能負擔則不能忽視,如果仔細觀看前述的火焰圖的話就會發線 audit/seccomp 等數量也不少。
Linux Kernel Audit 子系統提供了一個機制來收集與紀錄任何跟安全性有關的事件,譬如存取敏感的機密檔案或是呼叫系統呼叫。透過這些內容可以幫助使用者去除錯任何不被預期的行為。
Audit 子系統於 Amazon Linux2 的環境下預設是開啟,但是本身並沒有被設定會去紀錄系統呼叫的資訊。
即使 Audit 子系統沒有真的去紀錄系統呼叫的資訊,該子系統還是會對每次的系統呼叫產生一點點的額外處理,所以作者透過 auditctl -a never,task 這個方式來將整體關閉。
註: 根據 Redhat bugzilla issue #1117953, Fedora 預設是關閉這個行為的
Docker/Container 透過一連串 Linux Kernel 的機制來隔離與控管 Container 的執行權限,譬如 namespace, Linux capabilities., cgroups 以及 seccomp。
Seccomp 則是用來限制這些 Container 能夠執行的系統呼叫類型
大部分的容器化應用程式即使沒有開啟 Seccomp 都能夠順利的執行,執行 docker 的時候可以透過 --security-opt seccomp=unconfined 這些參數告訴系統運行 Container 的時候不要套用任何 seccomp 的 profile.
將這兩個機制關閉後,系統帶來的效能提升了 11%,從 446k req/s 提升到 495k req/s。
從火焰圖來看,關閉這兩個設定後,syscall_trace_enter 以及 syscall_slow_exit_work 這兩個系統呼叫也從火焰圖中消失,此外作者發現 Amazon Linux2 預設似乎沒有啟動 Apparmor 的防護,因為不論有沒有關閉效能都沒有特別影響。
Disabling iptables/netfilter
再來的最佳化則是跟網路有關,大名鼎鼎的 netfilter 子系統,其中非常著名的應用 iptables 可以提供如防火牆與 NAT 相關功能。根據前述的火焰圖可以觀察到,netfilter 的進入 function nf_hook_slow 佔據了大概 18% 的時間。
將 iptables 關閉相較於安全性來說比較沒有爭議,反而是功能面會不會有應用程式因為 iptables 關閉而不能使用。預設情況下 docker 會透過 iptables 來執行 SNAT與 DNAT(有-p的話)。
作者認為現在環境大部分都將 Firewall 的功能移到外部 Cloud 來處理,譬如 AWS Security Group 了,所以 Firewall 的需求已經減少,至於 SNAT/DNAT 這類型的處理可以讓容器與節點共享網路來處理,也就是運行的時候給予 “–network=host” 的模式來避免需要 SNAT/DNAT 的情境。
作者透過修改腳本讓開機不會去預設載入相關的 Kernel Module 來達到移除的效果,測試起來整體的效能提升了 22%,從 495k req/s 提升到 603k req/s
註: 這個議題需要想清楚是否真的不需要,否則可能很多應用都會壞掉
作者還特別測試了一下如果使用 iptables 的下一代框架 nftables 的效能,發現 nftables 的效能好非常多。載入 nftables 的kernel module 並且沒有規則的情況下,效能幾乎不被影響(iptables 則相反,沒有規則也是會影響速度)。作者認為採用 nftables 似乎是個更好的選擇,能夠有效能的提升同時也保有能力的處理。
不過 nftables 的支援相較於 iptables 來說還是比較差,不論是從 OS 本身的支援到相關第三方工具的支援都還沒有這麼完善。就作者目前的認知, Debian 10, Fedora 32 以及 RHEL 8 都已經轉換到使用 nftables 做為預設的處理機制,同時使用 iptables-nft 這一個中介層的轉換者,讓所有 user-space 的規則都會偷偷的轉換為底層的 nftables。
Ubuntu 似乎要到 20.04/20.10 的正式版本才有嘗試轉移到的動作,而 Amazon Linux 2 依然使用 iptables 來處理封包。
下篇文章會繼續從剩下的五個最佳化策略繼續介紹
https://talawah.io/blog/extreme-http-performance-tuning-one-point-two-million/
user linux 在 BorntoDev Facebook 的最讚貼文
😁 สวัสดีจ้า วันนี้แอดจะพาเพื่อนๆ มาทำความรู้จักกับ SSH มันคืออะไร? มีความสำคัญยังไงกันนะ ? มาหาคำตอบได้ในโพสต์นี้เลยจ้า !!
.
🔥SSH หรือ Secure Shell เป็นโปรโตคอลสื่อสารที่ทำให้เครื่องคอมพิวเตอร์ 2 เครื่อง สามารถสื่อสารในระยะทางไกลพร้อมกันได้ สร้างขึ้นมาแทน Telnet ที่ไม่มีการเข้ารหัส ซึ่งเจ้า SSH จะมีการเข้ารหัสทำให้สามารถสื่อสารได้อย่างปลอดภัยมากขึ้น
.
📑 การใช้งาน
หากเพื่อนๆ ใช้ Linux หรือ Mac จะใช้ SSH ได้ง่ายมาก ซึ่งจะมีคำสั่ง ดังนี้
.
👉 ssh {user}@{host}
.
คำสั่งนี้จะเป็นการขอเปิดการเชื่อมต่อ Secure Shell ในเครื่องที่ต้องการ โดยที่ {user} คือบัญชีที่ต้องการเข้าถึง และ {host} คือคอมพิวเตอร์ที่ต้องการเข้าถึง เช่น IP Address (244.235.23.19) หรือ ชื่อโดเมน (www.google.com)
.
และเมื่อกด Enter จะได้รับการแจ้งให้ป้อนรหัสผ่านสำหรับบัญชีที่ทำการ Request แล้วรหัสนั้นจะถูกส่งไปยังเครื่องที่เราจะต้องการเชื่อมต่อ หากรหัสถูกต้องก็จะเป็นการเชื่อมต่อสำเร็จ
.
🌈 การเข้ารหัสของ SSH มี 3 แบบ นั่นคือออ
.
🌟 1) Symmetrical encryption - เป็นการใช้ Symmetric keys เข้ารหัสข้อความส่งไปยังฝ่ายตรงข้าม และสามารถใช้เพื่อถอดรหัสข้อความที่ได้รับ SSH จะใช้ Symmetric keys เพื่อเข้ารหัสการเชื่อมต่อทั้งหมด ซึ่งจะช่วยในเรื่อง Authentication และสามารถป้องกันการสอดแนมได้นั่นเอง
.
🌟 2) Asymmetrical encryption - จะใช้ 2 Key ที่แตกต่างกัน คือ Public Key และ Private Key เพื่อเข้ารหัสซึ่ง Public Key SSH ใช้ Asymmetrical encryption เพื่อรักษาความปลอดภัยในการสื่อสารระหว่างฝั่ง Client และ Server
.
🌟 3) Hashing - ใน SSH จะใช้ Hashing เพื่อตรวจสอบความสมบูรณ์ของข้อมูล และเพื่อตรวจสอบความถูกต้องของการสื่อสาร ใช้งานใน Message Authentication Code (MAC) และ Hashed Message Authentication Code (HMAC) เพื่อตรวจสอบให้แน่ใจว่าข้อมูลที่ได้รับไม่มีความเสียหาย และไม่มีการแก้ไขนั่นเอง!
.
เป็นยังไงกันบ้าง พอจะเข้าใจ SSH กันมาบ้างแล้วเนอะ แอดหวังว่าจะเป็นประโยชน์กับเพื่อนๆ นะคะ ถ้าใครมีอะไรเพิ่มเติมสามารถคอมเมนต์ไว้ด้านล่างได้เลยน้า ❤️
.
borntoDev - 🦖 สร้างการเรียนรู้ที่ดีสำหรับสายไอทีในทุกวัน
user linux 在 MakeLearningFun Youtube 的最佳解答
Programming become more and more important nowadays. Some people may think it is different to learn, but actually it is not! With the right tools and resources, we believe every one can learn programming!
Linux is a popular operating system which is widely used in the world. It is free and open source, we develop our first c++ hello world program on top of it. Linux become user friendly in recent years, but here is a lot of people asking how to learn, hence we address some linux fundamental here as well.
In this video, we briefly talk about the fundamental of linux, terminal, shell commands and process id's concept, it is for beginner level, hope you will enjoy it.
If you want to watch more video from us, please
-do subscribe us!
-like the video and share to you friend who have kid on the facebook, tweeter, google+....etc
how to learn math
https://www.youtube.com/playlist?list...
stem projects
https://www.youtube.com/playlist?list...
Anpanman Educational Toys
https://www.youtube.com/playlist?list...
Learn Shapes for kids
https://www.youtube.com/playlist?list...
Learn letter A to Z
https://www.youtube.com/playlist?list...
Learn names of fruits and vegetables
https://www.youtube.com/playlist?list...
Learning street vehicles names and vehicle sounds
https://www.youtube.com/playlist?list...
Learn names of animal with animal sound
https://www.youtube.com/playlist?list...
user linux 在 Yokohama Base TV Youtube 的精選貼文
■(^^)/Subscribe !! 登録お願いします!
https://www.youtube.com/c/yokohamabase?sub_confirmation=1
■内容:Linuxで遊んでみたw(世界で証明できるLPICの資格をっとてませんか?!)
ITエンジニアを目指すなら、ここからスタートです。
勉強のイメージがつくように少しつくってみました!
インフラエンジニア、システム管理者、情報システム部、開発者、プログラマーに興味あるかたチェケラッチョ!
LINUXを本気で勉強したいなら、LPIです。
LPIC Essentialsからがおすすめです!
↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓
https://www.udemy.com/course/lpi-linux-essentials-k/?referralCode=F58389F1422E1EE9F6C1
↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑↑
Linux学習の登竜門です!
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
LPI-Japan
https://www.youtube.com/user/LPIJapan
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
【SNS】
■twitter:@Hiro_K_jp_
https://twitter.com/Hiro_K_jp_
■instagram:@hiro.k.jp
https://www.instagram.com/hiro.k.jp/
■face book:@hiro.k.japan
https://www.facebook.com/hiro.k.japan/
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
連絡先(コラボ・お仕事の依頼など)
[email protected]
ーーーーーーーーーーーーーーーーーーーーーーーーーーーーー
URL:http://www.japan-lab.com/
presented by Funky HERO
#横浜ベース #YokohamaBase #ファンキーひろ #FunkyHiro #FunkyHERO
---------------------------------------------------------------------
楽曲提供:Production Music by http://www.epidemicsound.com
素材提供:PIXTA
---------------------------------------------------------------------
user linux 在 Tokyo Ramen Guy(Gadget & Music) Youtube 的最佳解答
開始10分で目標達成!約2400万調達したiPhoneでも使える10万円台のレーザー加工機『beamo』が近未来感凄すぎた!【ビーモ,超最速レビュー】
__________________________________________
【商品購入ページ】
コンパクトで30W―コスパに優れたシンプルなCO2レーザー加工機『beamo』
https://bit.ly/2wHXVmc
__________________________________________
【関連商品】
↓↓↓Amazon MUSIC HD試し聴き↓↓↓
https://amzn.to/2v4OdKb
↓↓↓Amazon1000ポイントエントリー↓↓↓
https://amzn.to/37Toao6
↓↓↓Audible (オーディブル) 会員登録はコチラ↓↓↓
https://amzn.to/2TcItaL
__________________________________________
【SGRT3rdメンバーシップ Segotify】
⬇︎⬇︎⬇︎ご登録はコチラ⬇︎⬇︎⬇︎
https://bit.ly/2uGH3vQ
__________________________________________
【オープニングムービー】
きむらえいじゅん
https://twitter.com/kuro_40
https://www.youtube.com/user/EijunKimura
__________________________________________
【使用機材一式】
Osmo Action https://bit.ly/2Subs9L
GoPro HERO7 https://amzn.to/2XcxkWo
iMac:APPLE iMac Retina 5K Display 27 http://amzn.to/2iARqYr
マイク:Rode NT1A Anniversary Vocal Condenser Microphone http://amzn.to/2AEnRxf
オーディオインターフェイス:RME Babyface Pro http://amzn.to/2iyRbNa
ギター:GRETSCH G6119-1962HTL Chet Atkins Tennessee Rose http://amzn.to/2AEoLK9
シールド :MONSTER CABLE ROCK2 21 SS モンスター ケーブル ロック http://amzn.to/2iyEzFT
カメラ:Panasonic ミラーレス一眼カメラ ルミックス GH5 ボディ ブラック DC-GH5-K https://amzn.to/2O3jQfC
レンズ:OLYMPUS 超広角ズームレンズ M.ZUIKO DIGITAL ED 7-14mm F2.8 PRO https://amzn.to/2zP5RS5
ヘッドフォン:AKG プロフェッショナルスタジオモニターK240MK2 http://amzn.to/2ixgq2s
モニター:BenQ 高画質ゲーミングモニター EX2780Q https://amzn.to/387gFc7
DAW:Logic Pro X https://itunes.apple.com/jp/app/logic-pro-x/id634148309?mt=12
__________________________________________
【Twitter】
https://twitter.com/SGRT_the_3rd
【Facebook】
http://on.fb.me/19XokLu
【Instagram】
https://www.instagram.com/sgrt3rd/
__________________________________________
BGM:DOVA-SYNDROMEさん
http://dova-s.jp
※各製品リンクURLはアソシエイトプログラムを使用しています
#beamo #レーザー加工機 #最速レビュー