The social media platform worked with a team from Michigan State to develop the system.
generative model 在 Daodu Tech 科技島讀 Facebook 的最佳解答
#島讀回顧 #人工智慧
今年島讀網站被搜尋最多次的關鍵字是「人工智慧」(AI)。
人工智慧近年的發展迅速,許多領域都能看到其應用。
島讀今年一篇《機器學習 — 知識工作者的未來》,以「文字產生器」GPT-3 討論人工智慧,獲得不少會員迴響。
---
寫論文很痛苦。有些人痛苦到整份照抄別人的論文。現在出現一線曙光,美國 OpenAI 公布機器學習模型 GPT-3(Generative Pretrained Transformer),堪稱是「萬用」的文字產生器。最近 GPT-3 開始封測,推出 API,更在矽谷引發轟動。目前已知有人用 GPT-3 寫程式、請牛頓解釋地心引力、回答醫學問題、摘要文章,甚至寫詩。
先說 OpenAI。OpenAI 是一個非營利組織,贊助者包括 PayPal 創辦人 Peter Thiel、Elon Musk 與 Salesforce 創辦人 Marc Benioff 等。其使命是確保通用人工智慧(Artificial General Intelligence)將用於服務人類,而非迫害人類。
GPT-3 則是其開發的語言生成模型,第三代的「文字產生器」(島讀去年討論過第二代)。使用者輸入一段文字,它就會生出下一個字,再繼續生出下一個字,不斷重複下去,直到人類喊停或是達到約 1,000 個英文字為止。例如我輸入:「天下分久必合,合久必 ___」,GPT-3 大概會預測下一個字是「分」。
如果我沒喊停,也沒有設定明確的任務,GPT-3 就會繼續生成下一個字,寫出一段故事或一篇文章。
或許你會問:「世界上文字千萬種,GPT-3 怎麼知道要寫論文或小說呢?」
這就是 GPT-3 驚人的地方:它是通用模型。只要使用者稍許提示,它就會自動調整輸出內容類型,不需要使用者另外精調(fine tune)。就像一個真的有用的 Siri,不管你丟什麼任務,只要是文字,它都接得下來。
例如有人簡短的提示(prompt) GPT-3「用 19 世紀作家 Jerome k. Jerome 的語氣寫一篇關於 Twitter 的文章」,GPT-3 就生出相當完整的作品。
只要是需要文字的任務,不論是回覆 email、寫新聞稿、翻譯外文、「翻譯」法律術語、編吉他和弦,甚至是寫程式,GPT-3 都能做得還不錯。一篇網路文章《GPT-3 可能是比特幣以來最重要的創新》更是格外轟動,因為讀者讀完才發現整篇都是 GPT-3 寫的。
相較於 GPT-2,GPT-3 效能是「暴力式」的飛越性成長。換言之,GPT-3 的基本架構與 GPT-2 幾乎一樣,只是參數由 15 億增加到 1,750 億(117 倍),但效果隨之大幅成長。這讓矽谷圈精神為之一振,因為代表機器學習仍可以透過擴大規模來成長。
雖說使用成本也等比增加 — 訓練一次 GPT-3 需要 460 萬美金 — 但能用錢解決的都是小問題。目前已知人類大腦的突觸約 1 百萬億個(100 trillion),是 GPT-3 的 1 萬倍。許多人不免幻想如果再來兩次升級 100 倍(共一萬倍),是不是就能逼近人類大腦了?
有成本就需要收入。OpenAI 現在提供 API,就是為將來商業化營運作準備。其他雲服務商如微軟、AWS、Google 也都開始提供機器學習「模型即服務」(Model as a Service, MaaS)。這大致可分三種應用:
● 垂直情境,簡單但量大的工作:如辨識異常、偵測錯字、回覆 email、回答客服基本問題等。這有點類似聘僱國中生實習,但聘雇的是無限個實習生。
● 垂直情境內,困難但狹隘的工作:以 AlphaGo 為代表。它打敗所有人,但只會下圍棋。
● 不限情境,多樣性比正確性重要的工作:以 GPT-3 為代表,如虛擬秘書、虛擬陪伴(《雲端情人》)、發想劇本、草擬程式碼、撰寫科技分析電子報(咦)等。
MaaS 固定成本高,因此會傾向集中於大型平台,特別是擁有資料的企業,如 Google。邊際成本現在也很高,但應該會逐漸降低,因此有利於擁有最多客戶(用量)的企業,如 AWS、微軟。
目前 GPT-3 率先大步起跑,將引發其他企業加大投資。其他企業需要差異化,因此會開發封閉的模型;GPT-3 則會是開放或開源的形式。同時,週邊的企業也需要開發工具,形成生態圈。例如目前運算的延遲嚴重,因此雲端的速度必須跟上。有更多相容的 app 提供更精準的提示,才能發揮 GPT-3 的價值。
⠀
想知道文章對 GPT-3 的原理、隱憂的討論,歡迎試用島讀的 1 元訂閱方案:https://bit.ly/3myOL0D
---
更多人工智慧內容:
[Podcast] 從邊緣挑戰雲上的人工智慧|特別來賓耐能智慧創辦人劉峻誠(公開)
https://apple.co/2WrmCgC
臉部辨識 — 30 億張照片的資料庫|執法機關熱烈採用|三條路線(會員限定)
https://bit.ly/3p791an
蛋白質的 50 年難題|AlphaFold 遙遙領先|諾貝爾獎在望(會員限定)
https://bit.ly/2LSzIBt
generative model 在 โปรแกรมเมอร์ไทย Thai programmer Facebook 的最佳解答
รูปที่เห็นเป็นเลคเชอร์ที่ผมเคยจดไว้เล่นๆ
ซึ่งก็คือเทคนิค
💥 generative adversarial network
.
เป็นโมเดลทาง AI ที่ได้รับความนิยมตัวหนึ่ง
ซึ่งชื่อย่อ “GAN”
แปลเป็นไทย “เครื่อข่ายการขัดแย้งก่อกำเนิด”
เป็นรูบแบบหนึ่งของ การเรียนรู้แบบไม่มีผู้สอน
.
GAN จะมีโมเดลที่เกี่ยวข้อง 2 ต้วได้แก่
1) Generative model
2) Discriminative model
.
GAN จุดประสงค์เอาไว้สร้าง generative model
ซึ่งเป็นโมเดลใช้สร้างบางสิ่งบางอย่างได้เหมือนจริง
เช่น สร้างรูปภาพปลอมเลียนแบบภาพเหมือนจริง หรือพวก deep fake ปลอมหน้าคนดัง คนโน่น คนนี่ เป็นต้น
.
แต่ระหว่างการสร้างจะใช้อีกโมเดลคือ Discriminative model ข้างต้นมาช่วยสร้างให้
.
เวลาที่ GAN จะใช้งาน 2 โมเดล ก็จะนำพวกมันมาแข่งขันกัน โดยถ้าเปรียบเทียบ
1) Generative model เปรียบเป็นนักต้มตุ๋น ที่พยายามจะสร้างภาพปลอมแล้ว
2) Discriminative model เปรียบเป็นตำราวจ ที่จะพยายามแยกแยะภาพจริง กับภาพปลอม
.
โมเดลทั้ง 2 จะทำการแข่งขันกัน จนกระทั่งนักต้มตุ๋น สร้างภาพปลอมได้เหมือนจริง จนตำรวจไม่สามารถแยกแยะได้ระหว่างของจริงกับของปลอม
.
เทคนิคนี้นอกจากมันช่วยสร้างภาพขึ้นมาได้ มันก็ยังอาจประยุกต์ใช้อย่างอื่นได้เช่น ทำให้ภาพขาวดำมีสีสัน เป็นต้น
.
ซึ่ง GAN ก็จัดว่าเป็น deep learning
(สาขาหนึ่งของปัญญาประดิษฐ์ หรือ AI)
และผมก็จะจับแลคเชอร์ที่ว่านี้
ใส่ในหนังสือ "AI ไม่ยาก " ภาคต่อ
(สถานะกำลังเขียนอยู่ ต้นปีหน้าเสร็จพอดี)
หวังว่าจะเป็นประโยชน์ต่อทุกท่านที่สนใจ
.
.
.
.
.
😻 ถ้าเพื่อนๆ อยากตามเทคโนโลยีสาย AI ทัน
ก็ศึกษาไว้ไม่เสียหาย
ไม่จำเป็นต้องจบคอมมาก็ได้
ไม่มีเนื้อหาโค้ดดิ้งให้ปวดหัว
ขอให้มีพื้นฐานเลขม.ปลายที่ดี
อย่างอื่นมาศึกษาภายหลังได้ครับ
.
ก็ลองอ่านเล่มนี้ได้
https://www.patanasongsivilai.com/ebook_easy_AI.html
.
ส่วนตัวอย่างหนังสือ ก็ดูได้ที่
👉 https://drive.google.com/file/d/1zG64QAuPKtnWu-Jizn4i2JYUbHnHa8cJ/view?usp=sharing
👉 youtube: https://youtu.be/rLo-XdToGFI
.
อ่านรีวิวเล่มนี้เพิ่มเติมได้จากผู้แต่ง "หนังสือเทพเอกเซล"
https://www.facebook.com/thepexcel/posts/1424798431031509/
.
✍ เขียนโดย โปรแกรมเมอร์ไทย thai programmer
generative model 在 機器學習自學筆記05: Classification | Probabilistic Generative ... 的相關結果
Solution: Generative model (生成模型). 假設今天我們有兩個class ,class1 and class2 。若是我們要計算x 屬於C1 的機率(=P(C1|x)) ... ... <看更多>
generative model 在 機器學習中的貝氏定理:生成模型(Generative Model) 與判別 ... 的相關結果
這種手法特殊的地方在於,他透過兩層的神經網路(明確一點,是multi-layer perceptron),一層訓練生成模型(generative model),一層訓練判別 ... ... <看更多>
generative model 在 Generative model - Wikipedia 的相關結果
a generative model is a model of the conditional probability of the observable X, given a target y, symbolically, P ( X ∣ Y = y ) {\displaystyle P(X\mid Y=y)} ... ... <看更多>