Apache Kafka 3.0.0正式發布,更新重點是API變更以及對KRaft的改進,而KRaft是Apache Kafka新的內建共識機制,將會取代分散式系統協調服務Apache ZooKeeper
#看更多 https://www.ithome.com.tw/news/146866
zookeeper kafka 在 BorntoDev Facebook 的最讚貼文
เพื่อนๆ เคยปวดหัวกับ Request เยอะๆ จนทำให้ระบบล่มกันมั้ย? หากเคยเป็นแบบนี้แอดขอแนะนำให้รู้จัก Kafka 👏
.
📚 Kafka เป็น Distributed message queue สร้างขึ้นโดย LinkedIn เป็น Open Source ซึ่งเป็น ลองนึกภาพตามง่ายๆ หากระบบของเรามีผู้เข้าใช้งาน 1,000,000 คนภายในไม่กี่นาทีมันก็จะทำให้เกิดปัญหาตามมามากมาย ไม่ว่าจะเป็น Data lost บ้าง ระบบล่มบ้าง ทำให้แตกกันไปข้างนึงเลยจ้ะพี่จ๋า555
.
✨ Kafka ก็จะมาช่วยแก้ปัญหาตรงนี้ ด้วยการจัดการ queue ให้เข้ามาทีละ request และเมื่อพร้อมก็ค่อยเรียกใช้งานแบบ asynchronous การใช้งานจริงๆ มันจะทำเรื่องนี้ได้ไวมากๆ เลยนะ ทีนี้จะกี่ request ก็ไม่มีดราม่า...เพราะเรามี Kafka นั่นเอง!!
.
📍 การทำงานของ Kafka มีดังนี้
.
✏️1) Producer - จะทำการส่ง Message ไปหา Kafka Server ในรูปแบบของ Array โดยทีละ record
.
✏️2) Consumer - จะทำการรับ Message จาก Kafka Server ที่ Producer ส่งมาและนำไปประมวลผลต่อ
.
✏️3) Kafka Server หรือ Broker เป็นตัวกลางในการ Exchange message โดยจะมี Zookeeper เป็นผู้ควบคุม
.
✏️4) Cluster เป็นกลุ่มของคอมพิวเตอร์ที่ทำงานร่วมกัน หรือ Multiple Broker ในเมื่อ Producer มีหลายอัน ก็ต้องมีหลายๆ Broker ด้วยนะ เวลารับ-ส่ง Message จะได้ไม่ติดขัด
.
✏️5) Topic เป็นที่เก็บชื่อ หรือ Key ทำให้ Kafka Server รู้ว่า Message ด้านในคืออะไร
.
✏️6) Partitions เนื่องจากเวลารับส่งข้อมูล อาจจะมีข้อมูลที่ใหญ่มาก Partitions ก็จะทำการแบ่งข้อมูลเป็นส่วนๆ เพื่อให้ Server รับไหว
.
✏️7) Offset เป็น Sequence id ของ Partitions เมื่อรับ-ส่งข้อมูลจะได้รู้ว่าข้อมูลไหนมาถึงก่อน
.
✏️8) Consumer Groups ก็คือกลุ่มของ Consumer นั่นแหละซึ่งจะช่วยกันทำงานรับข้อมูลจากหลายๆ Producer มาประมวลผลต่อก่อนจะส่งให้ Data Center
.
💥 เพื่อนๆ คนไหนอยากลองใช้งาน Kafka สามารถกดลิงค์นี้ไปลองใช้งานได้เลย >> https://docs.confluent.io/clients-confluent-kafka-python/current/overview.html
.
borntoDev - 🦖 สร้างการเรียนรู้ที่ดีสำหรับสายไอทีในทุกวัน
zookeeper kafka 在 iThome Facebook 的精選貼文
Apache Kafka終於擺脫ZooKeeper,取而代之的是內部執行的Quorum控制器,這樣的改進使得整體系統更輕巧,並且支援更龐大的分割數
https://www.ithome.com.tw/news/143569
-----------------------------------------------
◤ 最具指標年度盛事.CYBERSEC 2021 臺灣資安大會 ◢
2,300+ 家企業指定造訪、臺灣唯一超規格資安展會
掌握趨勢、諮詢專家,尋求資安解方的第一首選!
🔴 馬上報名 https://r.itho.me/register
🟢 邀請好友抽 AirPods Pro https://r.itho.me/share
★ 全方位主題論壇 200+ 場專業演說 👑
★ 破 200+ 品牌參展 歷年最大資安展覽 ⛹
★ 佳評如潮 CyberLAB 實機攻防演練 🏆
★ 獨門 CYBERSEC Playground 資安體驗區 🃏
★ 臺灣資安館 看見 MIT 自主研發實力 👊
★ CyberTalent Connect 資安新鮮人才專區 🙋
★ 票選最受歡迎 Tech Demo Award 拿大獎 📣
… and more!
🔵 鎖定大會動態 https://r.itho.me/CYBERSEC_2021
🔴 免費參加 https://r.itho.me/signup
________________________________
CYBERSEC 2021 臺灣資安大會
時間:5 月 4 - 6 日
地點:臺北南港展覽二館
#TRUST_redefined #信任重構
#CYBERSEC2021 #2021臺灣資安大會
#CYBERSECEXPO #臺灣資安大展 #資安 #iThomeSecurity