本篇文章作為一個經驗談，探討於 AWS EKS 的環境中要如何避免 IP 發放完畢。
對於 Kubernetes 來說，CNI 負責的功能主要有兩個，分別是 IPAM 以及 Network Connectivity.
公有雲管理的 Kubernetes 為了讓整體操作環境可以與其雲端內的其他元件有更好的整合，通常都會開發屬於自己的 CNI 系統，譬如 Azure, AWS, Google 都有這方面的設計。
這種設計的最大好處就是可以將 Pod 使用的 IP地址透過本來 VPC 內的設計去管理，而本文要討論的就是 AWS EKS 環境中可能會遇到的 IP 地址分配問題。
EKS 預設會使用 AWS VPC CNI 來提供相關服務，其底層實作主要牽扯到底層 ENI 的配置與設定，主要會影響到底還有多少個 IP 地址可以用來分配給新的 Pod 使用。
從 Cluster 的角度來看，要先注意的 VPC 內的網段設定，如果一開始分割的子網段是/28，這情況下你整個叢集內只能有30個左右的 IP 地址可以發放，這數量根本完全不太夠使用。
從單一節點的角度來看，要注意每個節點上可以配置多少個 ENI 以及每個 ENI 能夠配置多少網卡
該 CNI 分配 IP 時會先想辦法把現有網卡上面能夠分配的 IP 填滿，一旦填滿就會創立新的網卡，接者繼續分配 IP，當運行的 Pod 數量超過節點上現時就沒有辦法繼續分配 IP。
官方針對這種情況提供了一個公式去計算
(Number of network interfaces for the instance type × (the number of IP addressess per network interface - 1)) + 2
對於一個 m5.large 的機器來說，支援三張 ENI，且每個都有 10 個 IP 可以分配，因此根據上述公式
(3*(10-1))+2 = 29, 意味 m5.large 的機器上最多只能運行29個不使用 hostnetwork:true 的 Pod。
為了解決這些問題，作者提出了兩個想法，分別是
1. Adding additional IPv4 CIDR blocks to VPC
2. Change VPC CNI to Calico CNI
對這兩個想法有興趣的可以參考原文囉
https://matiaszilli.medium.com/avoiding-ip-consumption-in-amazon-eks-32fc7320253d
cidr計算 在 Re: [問題] CIDR計算IP位址及遮罩問題- 精華區Network - 批踢踢 ... 的美食出口停車場
※ 引述《stator (別急著吃棉花糖)》之銘言：
: 經過與w大討論過後
: 我把答案自己補上。若有錯還請各位前輩指導
: 第一網段ip範圍:210.70.125.0~63 mask:255.255.255.192
: 第二網段ip範圍:210.70.125.64~127 mask:255.255.255.192
: 第三網段ip範圍:210.70.125.128~255 mask:255.255.255.128
這樣沒錯啊！所以說你會嘛？對自己有信心點囉～
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 122.116.251.157
... <看更多>