Cái này có lẽ là đáy bể mò kim nhưng trong nhóm mình có ai quan tâm đến compilers cho học máy không?
Mình mang tiếng là kỹ sư nhưng trước giờ rất sợ hệ thống (systems engineering). Nên mỗi khi thấy chủ đề compilers thì chạy không còn dép. Nhưng càng làm trong ngành trí tuệ nhân tạo và đưa models vào các thiết bị cạnh (edge devices), mình càng thấy chủ đề compilers quan trọng.
Đại loại là: các phần cứng khác nhau có những yêu cầu khác nhau. CPU khác với GPU khác với TPU khác với một con chip từ ARM. Để model của bạn chạy ngon lành trên một phần cứng nào đó, bạn cần compiler để: 1/ chuyển đổi ứng dụng của bạn từ framework bạn dùng sang ngôn ngữ phần cứng đó hiểu được và 2/ tối ưu hoá ứng dụng đó trên phần ứng đó.
Về mặt lý thuyết, kỹ sư học máy như mình không cần biết về compilers. (Như người lập trình C++ không cần biết về C++ compiler để viết C++). Nhưng ngành học máy vẫn còn non trẻ, nên hiểu về compilers có thể giúp kỹ sư học máy chạy model của họ trên thiết bị họ muốn một cách hiệu quả.
Mình dành khá nhiều thời gian 3 tháng vừa qua học về compilers cho học máy từ nhiều người chuyên sâu trong ngành này. Đây là bài mình viết tóm tắt những gì mình học được. Bài viết hướng đến những người chưa hiểu sâu về compilers, như mình 3 tháng trước đây. Hy vọng bài viết có ích cho bạn!
Mình cũng đang học về mảng này, nên bạn nào có ý kiến đóng góp hay gợi ý nào mình cảm ơn.
同時也有3部Youtube影片,追蹤數超過5,870的網紅珊蒂微AI,也在其Youtube影片中提到,很難得機會在台灣捕獲李孟這位旅日的資料科學家,也很高興可以訪問到他! 李孟在日本四年的工作時間當中,歷練過「軟體工程師」、「資料科學家」以及「機器學習工程師」的職務,為什麼會有這一路以來的自覺與自學歷程?我們都一併在這次專訪當中聊到了!同時還加碼聊了「在日本的工作與生活環境」,提供給想去日本生活的朋...
「machine learning engineer」的推薦目錄:
- 關於machine learning engineer 在 Facebook 的最佳貼文
- 關於machine learning engineer 在 矽谷牛的耕田筆記 Facebook 的精選貼文
- 關於machine learning engineer 在 BorntoDev Facebook 的最讚貼文
- 關於machine learning engineer 在 珊蒂微AI Youtube 的最佳解答
- 關於machine learning engineer 在 iT24Hrs Youtube 的精選貼文
- 關於machine learning engineer 在 我要做富翁 Youtube 的最佳貼文
- 關於machine learning engineer 在 What is a Machine Learning Engineer - YouTube 的評價
- 關於machine learning engineer 在 Job Application for Machine Learning Engineer at Dcard 的評價
- 關於machine learning engineer 在 Machine Learning Engineer at Dcard - Startup Jobs 的評價
machine learning engineer 在 矽谷牛的耕田筆記 Facebook 的精選貼文
ref: https://blog.argoproj.io/argo-workflows-2021-survey-results-d6fa890030ee
這篇是由 Argo 官方所發表的統計文章,該文章主要是探討 Argo Workflows 的使用,總共有效的問券有 60 份
你是誰
1. 32% DevOps Engineer
2. 26% Software Engineer
3. 15% Architect
4. 9% Data Engineer
使用案例(前六大項)
1. Infrastructure Automation
2. Data Processing
3. CI/CD
4. Batch Processing
5. Machine Learning
6. ETL
由於問券內容中大部分都是 DevOps 相關職缺,所以答案會偏向 Infrastructure, CI/CD 也是不太意外。
最受歡迎的功能(按照名次排序)
1. Workflow Template
2. CronWorkflows
3. API
4. Prometheus Metrics
5. Workflow Archive
6. Golang/Java/Python Clients
7. SSO
8. WebHooks
9. Workflow Reports
10. Node Offloading
11. Memoization
12. Semaphores/Mutexes
Argo 官方對於這個評比是有點經驗,本以為會更多人使用(6)與(12),不過這些功能實際上的釋出也是相對新。
規模
1. 大部分的使用者一天會運行 10~100 個左右的 workflows
2. 有三個使用者每天會運行 1000 個以上的 workflows
3. 大部分使用者每個 workflow 運行的 pod 數量範圍為 10~100
4. 有兩個使用者每個 workflow 運行的 pod 數量超過 10,000
導入生產環境的困境
1. 有七個人表示習慣使用 Python,所以使用 YAML 語法相對困難
2. 有三個人表示需要去熟悉 Cloud-native/Container 的相關用法與概念
為什麼使用 Argo Workflows
1. 28 個人表示因為其是 Cloud Native/Kubernetes 相關專案
2. 有六個人表示 Argo Workflow 是目前最好用的 workflow 專案
3. 有五個人表示輕量與容易上手
4. 有五個人表示與 Argo CD 可以輕鬆整合無煩惱
對 Argo Workflow 有興趣的人可以參考這個專案,其還可以組合出符合 DGA 拓墣的關係圖,讓你的 job 組合變化多端
machine learning engineer 在 BorntoDev Facebook 的最讚貼文
🎉 ฮัลโหลลล เพื่อน ๆ เจอกันอีกแล้ว วันนี้แอดจะพาเพื่อน ๆ มาดูความแตกต่างของอาชีพสาย Data ที่สุดฮิตแห่งยุคนี้เลยก็ว่าได้ เผื่อเป็นแนวทางให้กับน้อง ๆ หรือเพื่อน ๆ คนไหนที่อยากเดินไปสายนี้
.
👉 ทั้งสามนั้นมีรายละเอียด และต่างกันยังไง มาหาคำตอบไปพร้อมกันเลยยย !!
.
🔵 Data Scientist เป็นอาชีพที่ใช้ทักษะขั้นสูงเพื่อวิเคราะห์ และตีความข้อมูลที่ซับซ้อน เช่น การทำ Machine Learning, Deep Learning เป็นต้น
.
🔴 Data Engineer วิศวกรข้อมูลที่ช่วยจัดเตรียมข้อมูล ซึ่งจะมีหน้าที่พัฒนา สร้าง ทดสอบ และบำรุงรักษาสถาปัตยกรรมที่ใช้ในการจัดเตรียมข้อมูล
.
🟢 Data Analyst นักวิเคราะห์ข้อมูล ที่ใช้ข้อมูลตัวเลข และใช้กระบวนการทางสถิติมาวิเคราะห์ข้อมูลเพื่อใช้ข้อมูลดังกล่าวตัดสินใจหรือคิดกลยุทธ์ทางธุรกิจนั่นเอง
.
✨ ทักษะสำคัญที่ต้องมี
.
Data Scientist - ทักษะการวิเคราะห์ข้อมูลขั้นสูง, Data Mining, Machine Learning, Data Optimization, ทักษะการเขียนโปรแกรมขั้นสูง (SAS/R/ Python) เป็นต้น
.
Data Engineer - Data Warehousing & ETL, ทักษะการเขียนโปรแกรมขั้นสูง, Hadoop-based Analytics, SQL / Database, Data Architecture & Pipeline, Machine Learning Concept, Data Visualization เป็นต้น
.
Data Analyst - Data Warehouse, Adobe & Google Analytics, การเขียนโปรแกรมพื้นฐาน, ทักษะพื้นฐานทางสถิติ, SQL/Database, Data Visualization เป็นต้น
.
🌈 มีหน้าที่อะไรบ้าง ?
.
Data Scientist - รับผิดชอบในวิเคราะห์ข้อมูล จัดทำโมเดล วางแผนและกลยุทธ์สำหรับการวิเคราะห์ข้อมูล เรียนรู้ Tools และวิธีการต่าง ๆ ในการนำข้อมูลมาทำ Machine Learning และ Deep Learning
.
Data Engineer - พัฒนา ทดสอบ และบำรุงรักษา ในทุกขั้นตอนของการเตรียมข้อมูล เขียนโปรแกรมเพื่อดึงข้อมูลจากแหล่งต่าง ๆ ดำเนินการตามขั้นตอน ETL ตรวจสอบความถูกต้องของข้อมูล
.
Data Analyst - รวบรวมและประมวลผลข้อมูลโดยใช้ความรู้ทางสถิติ เพื่อนำข้อมูลต่าง ๆ มาตัดสินใจทางธุรกิจ
.
เป็นยังไงกันบ้าง พอที่จะรู้จักกับทั้งสามอาชีพสุดฮิตคร่าว ๆ แล้วเนอะ !! เพื่อน ๆ อยากทำอาชีพไหนกันบ้าง ?? หรือพี่ ๆ คนไหนที่อยู่สายนี้อยากมีข้อมูลอะไรมาแชร์ สามารถคอมเมนต์ไว้ด้านล่างได้เลยนะคร้าบบบบ 🥰
.
borntoDev - 🦖 สร้างการเรียนรู้ที่ดีสำหรับสายไอทีในทุกวัน
machine learning engineer 在 珊蒂微AI Youtube 的最佳解答
很難得機會在台灣捕獲李孟這位旅日的資料科學家,也很高興可以訪問到他!
李孟在日本四年的工作時間當中,歷練過「軟體工程師」、「資料科學家」以及「機器學習工程師」的職務,為什麼會有這一路以來的自覺與自學歷程?我們都一併在這次專訪當中聊到了!同時還加碼聊了「在日本的工作與生活環境」,提供給想去日本生活的朋友參考呦~
👉在這次專訪中,我們暢聊了:
1. 李孟是如何從軟體工程師的身份開始自學「資料科學」?
2. 資料科學家 / 機器學習工程師工作內容上的差異?
3. 李孟比較喜歡當資料科學家、還是機器學習工程師呢?Why?
4. 覺得人們除了積極自學之外,還應該用什麼心態來應對AI帶來的衝擊?
5. 加碼閒聊「在日本的工作環境與生活環境」,提供給想去日本生活的朋友參考呦!
👉李孟釋出他在台大的演講簡報,鉅細靡遺地分享他成為一位資料科學家的歷程,內容相當精彩,製作也很精美耶!https://www.facebook.com/LeeMengTaiwan/posts/10220691442829365
👉李孟的超高含金量部落格,分享各種他在資料科學與機器學習上的應用經驗!https://leemeng.tw/
#他是資料科學家也是機器學習工程師 #自學資料科學與機器學習 #李孟
machine learning engineer 在 iT24Hrs Youtube 的精選貼文
เราอยู่ในยุคดิจิทัลที่ต้องใช้ชีวิตร่วมกับ Ai หรือว่าปัญญาประดิษฐ์ ทั้งที่เรารู้ตัวและไม่รู้ตัว เพราะว่าทุกวันนี้ Ai อยู่รอบตัวเราแล้ว เราก็ต้องทำความรู้จักกับ Ai เพื่อให้เราอยู่ร่วมกับ Ai ได้อย่างมีความสุข แต่พอพูดถึง Ai หลายคนก็ยังสงสัยว่า Ai ก็คือหุ่นยนต์ที่ต้องมีหน้า แขน ขา เหมือนมนุษย์หรือเปล่า แล้วมีอะไรบ้างที่เรียกว่า Ai
ออกอากาศวันเสาร์ที่ 22 สิงหาคม 2563
ในรายการ Digital Thailand ออกอากาศ ทุกวันเสาร์ ทางช่อง 3 กด 33 เวลา 4.40 น.- 5.05 น.
ติดตามรับข้อมูลข่าวสารเพิ่มเติมได้ที่
facebook.com/it24hrs
twitter.com/panraphee
twitter.com/it24hrs
IG: panraphee
ติดต่อโฆษณา it24hrs@it24hrs.com
machine learning engineer 在 我要做富翁 Youtube 的最佳貼文
1) Chris生意創業分享會+試堂:https://edu.money-tab.com/chris-sharing
2) 《我要做富翁》網上版登入/APP下載:http://onelink.to/mtapp
3) 緊貼我們社交平台,不錯過任何免費分析/教學:
訂閱YouTube頻道: https://youtube.com/channel/UCdWNwPuaS1o2dIzugNMXWtw?sub_confirmation=1
讚好Facebook專頁:https://facebook.com/203349819681082
==============================
你知道嗎,機械人Sophia已獲沙特阿拉伯頒發公民身分了,時代步伐愈走愈快,今集 #我要做生意 Chris 會同大家分析未來創業市場實體需要,以及送你兩大門路,另解釋背後最重要的支柱及動力!如有任何問題,不妨留言,Chris 和我們會努力回答!喜歡我們的內容,請給我們一點鼓勵!
#一個APP賺到幾多錢? #AI第一桶金
machine learning engineer 在 Job Application for Machine Learning Engineer at Dcard 的美食出口停車場
Machine Learning Engineer ... Dcard 是在年輕族群有極高滲透率與影響力的社群平台。我們致力於打造一個讓每個人都可以放心分享自己故事的地方,讓平凡人分享不平凡故事的新 ... ... <看更多>
machine learning engineer 在 Machine Learning Engineer at Dcard - Startup Jobs 的美食出口停車場
Apply now for Machine Learning Engineer job at Dcard. ––– Dcard 是在年輕族群有極高滲透率與影響力的社群平台。我們致力於打造一個讓每個人都可以放心分享自己故事 ... ... <看更多>
machine learning engineer 在 What is a Machine Learning Engineer - YouTube 的美食出口停車場
There's one specific role that builds a bridge between data science and its practical counterpart, machine learning. ... <看更多>