Search
NT 530 特價中
在這門課程中，你將學習如何利用 Node.js Request、 Cheerio、 NightmareJs 和 Puppeteer 在真實網站上爬取內容。 課程還會使用帶有 async/await 的最新 JavaScript ES7語法。
講師還將向你展示一個實用的真實網站，你甚至可以在建立網頁爬蟲時避免浪費時間，通過對網站逆向工程，並找到它們隱藏的 API！
您還將學習如何在連線不良或甚至你的網路連線不良的情況下爬取伺服器上的資料。
您甚至可以學習如何將結果儲存到 CSV 檔案和 MongoDB 中！
如何設計一個適合使用網頁爬蟲和 API 的架構，以便從中獲取結果？ 課程也會讓你們看到這一點。
最後講師也會告訴你如何只使用 Request 爬取 Facebook ！
https://softnshare.com/web-scraping-in-nodejs/
九月線上研討會精彩大爆發，周周提供如何適應數位轉型的關鍵議題!免費報名．精彩任你看！
2021/9/9 l 14:40 l數位轉型攻略 III：IT 即戰力-第十二堂
精選議題：「開源能量，Azure 釋放」使用 MongoDB Atlas 在 Microsoft Azure 上構建現代微服務應用程序
講師陣容：張冠群 Caspar Chang / MongoDB 北亞區高級解決方案架構師
內容摘要：微服務架構可以提供靈活性、交付速度和可維護性，許多組織現在圍繞微服務架構建立應用程式。在此演講中，我們將介紹微服務背後的概念，如何使用 MongoDB 和 Microsoft 微服務架構產品/服務實現微服務架構， 幫助組織可以更輕鬆地開發和部署基於微服務的應用程式，從而在滿足當今苛刻的開發和交付挑戰的同時實現更快的創新。
了解更多：https://webinar.ithome.com.tw/
上線好禮：每日準時上線連續超過 45 分鐘，前 150 名即可獲得【7-11 $45元拿鐵咖啡購物金】
What Are Snowflake IDs?
Credit by: Wei-Yu Chen (感謝分享)
本文介紹了 Universal Unique Identifiers（UUIDs）的用途及其重要性，UUID 以固定且標準的方式為每個物件產生出獨立的 ID，且 產生出來的 ID 幾乎不可能會重複導致發生碰撞。
通常 UUID 由幾個部分組合而成，像是以時間、執行節點的 MAC address，或以 MD5 hash 來生成。UUID 以 128 bits 的數字組成，為了更方便識別及操作，通常都會以十六進制來表示，總長度為 36 個字（加上連字符號 -）。也因用來產生 UUID 的亂數種子包含了時間、節點資訊等參數，所以 UUID 也具有獨特性，在分散式系統執行也不容易發生碰撞。
而為了避免在你的 apps 裡實作 UUID 的產生機制，常見會使用兩種作法，分別是：Persistence Layer Generated ID 和 ID Servers。一種使用 Database 自動產生出來的序號來作為識別物件的 ID（如 MongoDB 的 ObjectID、MySQL 的 AUTO_INCREMENT ... 等），另一種是使用獨立的 ID server 來產生物件的 ID。
以 Database 來作為序號產生器會碰到一個問題，當你在每次建立新物件時，都會需要向資料庫讀取這個物件的「自動產生 ID」，假設應用程式的規模一大，效能勢必會大受影響。
而使用 ID server（也就是本文主要介紹的 Snowflake IDs）去產生 UUID 的話，就可利用架構於 app 以外的第三方序號產生器。以 Twitter 來說，平均每秒鐘有九千個推文，在高峰期間更甚至會出現一秒 143199 則推文的流量，他們所需要的 UUID 不僅要能夠支援龐大的架構，也需要在以非常快的速度產生出 ID，這也是 Snowflake 專案的由來。
因此，Twitter 以這幾個參數來組成 UUID：
- 保留不使用的位元，固定為 0 - 共 1 位
- Timestamp（以毫秒為單位） - 共 41 位
- 機器 ID - 共 10 位
- 序列號 - 從 0 ~ 4095 依序重複使用 - 共 12 位
雖然說以 ID servers 來產生 UUID 之後，效能還是會被這種架構拖累（必須在建立物件就去向 ID server 發送請求，並等待產生出來的 ID），但這種作法和資料庫系統相比起來已經讓效能降低的問題變得更輕微。
在本文當中介紹了三種常見的 ID 產生方式：在 local app 端產生 ID、在資料庫產生 ID、集中式的 ID server 產生 ID，這些策略的選擇也根據你的使用情境而定，畢竟沒有一種一套打天下的解決方案，在選擇時仍須衡量每個專案的需求。
https://betterprogramming.pub/uuid-generation-snowflake-identifiers-unique-2aed8b1771bc
mongodb架構 在 11 MongoDB分片集群之架构 的美食出口停車場
11 MongoDB分片集群之架构. 1 view1 view. Oct 22, 2021. 0. 0. Share. Save. 0 ... ... <看更多>