本篇文章作為一個經驗談，探討於 AWS EKS 的環境中要如何避免 IP 發放完畢。
對於 Kubernetes 來說，CNI 負責的功能主要有兩個，分別是 IPAM 以及 Network Connectivity.
公有雲管理的 Kubernetes 為了讓整體操作環境可以與其雲端內的其他元件有更好的整合，通常都會開發屬於自己的 CNI 系統，譬如 Azure, AWS, Google 都有這方面的設計。
這種設計的最大好處就是可以將 Pod 使用的 IP地址透過本來 VPC 內的設計去管理，而本文要討論的就是 AWS EKS 環境中可能會遇到的 IP 地址分配問題。
EKS 預設會使用 AWS VPC CNI 來提供相關服務，其底層實作主要牽扯到底層 ENI 的配置與設定，主要會影響到底還有多少個 IP 地址可以用來分配給新的 Pod 使用。
從 Cluster 的角度來看，要先注意的 VPC 內的網段設定，如果一開始分割的子網段是/28，這情況下你整個叢集內只能有30個左右的 IP 地址可以發放，這數量根本完全不太夠使用。
從單一節點的角度來看，要注意每個節點上可以配置多少個 ENI 以及每個 ENI 能夠配置多少網卡
該 CNI 分配 IP 時會先想辦法把現有網卡上面能夠分配的 IP 填滿，一旦填滿就會創立新的網卡，接者繼續分配 IP，當運行的 Pod 數量超過節點上現時就沒有辦法繼續分配 IP。
官方針對這種情況提供了一個公式去計算
(Number of network interfaces for the instance type × (the number of IP addressess per network interface - 1)) + 2
對於一個 m5.large 的機器來說，支援三張 ENI，且每個都有 10 個 IP 可以分配，因此根據上述公式
(3*(10-1))+2 = 29, 意味 m5.large 的機器上最多只能運行29個不使用 hostnetwork:true 的 Pod。
為了解決這些問題，作者提出了兩個想法，分別是
1. Adding additional IPv4 CIDR blocks to VPC
2. Change VPC CNI to Calico CNI
對這兩個想法有興趣的可以參考原文囉
https://matiaszilli.medium.com/avoiding-ip-consumption-in-amazon-eks-32fc7320253d
number公式 在 [軟體] number試算要如何使用四捨五入？ - 看板MAC - 批踢踢 ... 的美食出口停車場
正在計算一些數值，但計算結果都會有小數點，請問我要如何計算至小數點
後一位數讓他四捨五入？
另外在問無條件捨去要如何使用？
在無條件捨去方面我知道窗戶的試算是選取rounddown，
在number中我也如法炮製，但是工作列出現ROUNDDOWN(要四捨五入的數字,數字位數)
請問這要如何使用？因為我條數字也不對，填上表格也不對><
有煩大大們解答
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 1.164.80.72
... <看更多>