學習最新的大數據技術 – Spark! 並學習使用最流行的程式語言之一 Python 來實踐 Spark!
分析大量數據集的能力是當今最有價值的技術技能之一,本課程特別設計來幫助你快速掌握完成此任務的這最佳技術之一 Apache Spark ! Googleı、Facebook、Netflix、Airbnb、Amazon、NASA 等頂尖技術公司/組織都在使用 Spark 來解決他們的大數據問題!
Spark 可以比 Hadoop MapReduce 執行速度高上100倍,這引發了該技能的需求激增! 由於 Spark 2.0 DataFrame 框架非常新穎,你現在可以快速成為就業市場上最有知識的人之一!
本課程將通過 Python 速成建立基礎,接著帶你學習如何使用 Spark DataFrames 和最新的 Spark 2.0 語法! 一旦我們完成了這些工作,我們將學習如何使用帶有 DataFrame 語法和 Spark 的 MLlib Machine Library。 一路下來,你將做過練習和模擬諮詢專案,使你能夠立即進入真實的世界,有能力使用新技能解決實際問題!
https://softnshare.com/spark-and-python-for-big-data-with-pyspark/
mapreduce spark 在 軟體開發學習資訊分享 Facebook 的最讚貼文
在這個全面的課程中學習和掌握最受歡迎的大數據技術,由亞馬遜和 IMDb 的前工程師和高級經理教授。
從這 14.5 小時的課程,你會學到
1. 設計運用 Hadoop 和相關技術管理“大數據”的分散式系統。
2. 使用 HDFS 和 MapReduce 大規模儲存和分析資料。
3. 使用 Pig 和 Spark 創建腳本,以更複雜的方式處理 Hadoop 群集上的資料。
4. 使用 Hive 和 MySQL分析關聯資料
5. 使用 HBase、Cassandra 和 MongoDB 分析非關係資料
與 Drill、Phoenix 和 Presto 互動式查詢資料
6. 為你的應用選擇合適的資料儲存技術
7. 了解 Hadoop 群集如何由 YARN、Tez、Mesos、Zookeeper、Zeppelin、Hue 和 Oozie進行管理。
8. 使用 Kafka、Sqoop 和 Flume 將資料發佈到你的 Hadoop群集
9. 使用Spark Streaming、Flink 和 Storm 處理串流資料
https://softnshare.com/ultimate-hands-on-hadoop-tame-your-…/
mapreduce spark 在 軟體開發學習資訊分享 Facebook 的最讚貼文
--課程已於 2020 年 2 月更新--
課程已就 Spark 3.0 更新!
本課程的講師 Frank Kane ( http://bit.ly/2GE7Zje ) 曾於 Amazon 和 IMDb 9 年,開發和管理過自動向億萬客戶提供產品和電影推薦的技術,且擁有分散式計算 、資料探勘和機器學習等領域擁有 17 項專利。 本課程將帶你深入 20多個案例(如電影評等來查找彼此相似的電影),由簡到繁,在自己的系統或使用 Amazon 的 Elastic MapReduce 雲端服務,運用 Scala、Apache Spark、Hadoop 親手分析大數據!
從這 7.5 小時的課程,你會學到
✅將大數據分析問題框架架構為 Apache Spark 腳本
✅使用 Scala 程式語言開發分散式程式
✅通過切割( partitioning )、快取( caching )和其它技術優化 Spark 作業
✅在 Hadoop 叢集上建構、佈署和運行 Spark 腳本
✅使用 Spark Streaming 處理持續的資料流
✅使用 SparkSQL 和 DataFrames 轉換結構化資料
✅使用 GraphX 走訪和分析圖形結構
https://softnshare.com/apache-spark-with-scala-hands-on-with-big-data/