【💡💡營運小教室-第32堂】🕹 A/B測試 重點分享 🕹
.
🔎文章同步部落格：https://bit.ly/3rPadlk
(圖文同步、畫好重點，閱讀更方便)
.
最近這兩週我在研究A/B測試，
何謂A/B測試我就直接引用文章內的話：
「針對某一需要改進的功能、頁面或是產品，提供兩種或以上的方案，合理分配流量，將不同方案发布給不同用戶。在運行一段時間後，結合各項指標和科學的統計方法，對比實驗數據做出決策，將最優方案更新給全量用戶。」
.
因此，A/B測試在現今網路行業中被用的相當頻繁，
Google更是把A/B測試視為圭臬，
大到一個功能，
小到一個按鈕的顏色都要做A/B測試，
也因為Google進行了大量的A/B測試，
把用戶旅程(user journey)中每個節點的轉換率一步步提高，
使得每次產品功能或是頁面的改動更符合多數用戶需求，
自然效能與績效就能極大化，
其他像是臉書、亞馬遜等電商公司，
都是將A/B測試納入必要的工作項目內。
.
專門在做這工作的人，
現在也有個很新穎的職務名稱叫成長駭客(Growth Hacker)，
大家到104人力銀行搜尋就知道其工作內容，
這邊不贅述。
(注意，A/B測試只是成長駭客內的其中一個工作項目，並非成長駭客就只做A/B測試，差很多)
.
遊戲業坦白說在營運上不太會進行A/B測試，
因為用戶幾乎都從雙平台上下載遊戲，
如果要做A/B測試就只能在雙平台上著手，
新產品或許還能這樣做，
但對既有產品來說就不切實際點，
因此A/B測試通常會出現在廣告的買量測試中。
.
以下分享我自己在A/B測試上的心得分享：
.
1⃣A/B測試不代表一次只能測試兩個，你想測試2個以上也行，主要是得確認每個群體樣本數要夠多，如果樣本數太少，達不到性效度的話，做出來的結果就沒有參考價值。
.
2⃣如何確認有足夠的樣本數呢？身為營運人員，自家的營運數據自己最清楚，可以透過這個網站輸入母體大小，就會自動算出要多少樣本數才能達到統計顯著性。
👉https://zh.surveymonkey.com/mp/sample-size-calculator/
.
3⃣假設是投放廣告，如果不曉得母體會有多少，那可以用以下免費工具來反推，例如你想要達到的轉換率是1%提升到5%，這個頁面就可以幫你計算出兩個群體各自要曝光幾次才足夠，就能判斷預算會花多少。
👉https://clincalc.com/stats/samplesize.aspx
.
4⃣會需要計算上述的原因主要有兩個，一個是預算問題，另一個是在不確定風險下，建議做足夠樣本數就好。
👉舉例來說，如果今天某款遊戲每月付費玩家有10,000人，如果想改動一個功能，可能一開始會想到的做法是隨機5,000人分配到不同群組(也就是A/B測試為50% / 50%)。
.
但這樣就會有一個風險，萬一這個改動是失敗的，等於就會直接影響到5,000人，那在A/B測試期間，可能就開始蒙受不小的營收損失，或是等不到信效度出現就提早結束測試，因此如果能事前估出足夠的樣本數，就能降低上述風險。
.
以10,000人這例子，丟到頁面內，只要370人的樣本就能達到統計顯著性了，不用分到50% / 50%這麼多，只要5%就足夠了，這樣即使A/B測試不理想，也只會影響到那5%付費用戶。
.
5⃣要確保兩個群體是完全獨立，而非交集，如果有交集，就會影響分析結果。
👉這點比較吃技術的工，技術要能夠確保實驗對象進入A/B測試時會被隨機分派到不同群體內，如果因為裝置過多、版本不同等因素而導致有部分用戶既是A群體、也在B群體的話，那就會導致數據判讀出現錯誤。
.
6⃣不要在一個A/B測試還沒做完情況下，又緊接著做另一個A/B測試，除非能確定這兩個A/B測試是完全不相干，不然不但在分析時不容易分清楚每個群體，也很容易影響整個數據的分析。
.
7⃣做出來的結果到底有沒有達到統計顯著性，可以把數據輸入到這個網頁內，非常方便。
👉https://abtestguide.com/calc/
.
8⃣A/B 測試前，可以先執行A/A測試，先確認目前的隨機分配中有沒有其他的變異數，確保這兩個群體的整個營運數據夠乾淨。
👉由於測試的是群體內有沒有其他變因，而非方案本身，因此在流量分配上就能夠以50% / 50%進行。
.
以上就是我對於A/B 測試目前的經驗與心得分享，
如果要再探討下去絕對有更多的理論基礎與分析模組，
我自己也還在學習摸索中，
日後如果有甚麼心得或是勘誤，
我會持續更新在這篇文章中，
如果你有其他心得或是已經發現錯誤的地方，
也歡迎分享給我。
.
🔎參考資料：A/B 測試要測多久？從統計顯著與檢定力看廣告測試結果
https://bit.ly/3CcQAIL
.
🔎延伸閱讀：谷歌是怎么用A/B測試的
https://bit.ly/3lr6KYZ
成長 駭 客 工作內容 在 [討論] 成長駭客(Growth - 看板Marketing - 批踢踢實業坊 的美食出口停車場
成長駭客（Growth Hacker）現在真的有這麼夯？
做行銷還要學寫程式？有沒有搞錯？
---------
上百家網路公司徵才 出現「成長駭客」職缺
由AppWorks之初創投舉辦的「2016 冬季 AppWorks Ecosystem 聯合大徵才
（https://appworks.tw/jobs2016/）」今日（4）開跑，104 家國內 Internet
企業串連，聯手開出高達 929 個職缺。其中出現一個不可忽視的現象，即是
「成長駭客」(Growth Hacker) 的職缺出現。
半年一度的「AppWorks Ecosystem 聯合大徵才」，由亞洲最大創業加速器 AppWorks 號召
，集結生態系全體 Internet 企業未來半年職缺，一同向擁有軟體研發、數據分析、社群
經營等能力的 i 人才招手。
參與本次聯合大徵才的 104 家企業中，有多家知名的成功 Internet 公司，像是甫登陸興
櫃的「創業家兄弟」、「隆中網絡」、線上餐廳訂位服務「EZTABLE」、知名網路服飾品牌
「Lativ」、全球破億下載的「PicCollage」以及台灣最大遊戲社群「巴哈姆特」、前三大
團購網「17Life」等，其中以員工福利超好著稱的 Lativ，豪氣開出高達 30 名網頁程式
設計工程師職缺。
此外，也有知名網路連續創業家的新事業，像是前燦星旅遊網、易飛網總經理陳明明的「
KKday」、前立傳、興奇創辦人何英圻的「91APP」、前 PChome 營運長謝振豊的「uitox」
、以及在北美有兩次成功創業經驗的陳傑豪所率領的「功典資訊」。其中，KKday 開出高
達 33 個職缺，91APP 也需要 27 位人才加入。
後起之秀方面，有電商廣告技術公司「Tagtoo」、行動影音服務「CHOCOLABS」、線上插畫
商品商城「Fandora」、網路麥片專賣店「早餐吃麥片」、手機異國零食商城「甘仔店」、
餐廳 iPOS 服務商「iCHEF」、品牌廣告技術公司「cacaFly」、獨立媒體「關鍵評論網」
等。其中 CHOCOLABS 打開 19 職缺，向想追逐行動影音大浪的人才用力招手。
積極加碼 Internet 與軟體策略的穩健企業，像是群聯電子、國泰世華、聯合報、台灣大
哥大、台灣固網、微風集團、華南永昌等，也以 AppWorks 創投基金股東身分加入本次大
徵才。
本次聯合大徵才參與企業 104 家，較半年前 (2015 夏季聯合大徵才) 微幅成長 7 家，但
所有企業開出總職缺高達 929 個，較半年前的 620 個激增 5 成，顯示 Internet 業界人
才需求的旺盛成長力道。
所有 929 職缺中，軟體工程師缺額佔比高達 58%，比例再較半年前提高，也顯示出隨著行
動、數據、廣告科技化、金流電子化等發展， Internet 行業對軟體人才的需求比例將節
節升高。
本次 104 家企業公開招募的工程師中，有高達 9 成鎖定 iOS 與 Android 行動平台的開
發人才，則是突顯當今網路業發展的策略主流，從當年的「Desktop First」，逐漸移轉至
「Mobile First」，乃至於「Mobile Only」的趨勢。
數據分析工程師是工程師職缺裡漲潮中的新勢力，約佔軟體工程師職缺 5%。蒐集到海量數
據後，需要依賴數據分析工程師為公司決策層提供質量兼具的數據分析支持，推動整個公
司內的數據化運營的實現。本次聯合徵才中，華南永昌綜合證券、雪豹科技、歐易亞科技
、Migo 功典資訊等企業，皆在放眼尋找能在海量數據中精煉出分析品質的數據分析工程師
。
奪下亞軍佔比的職缺，依舊是社群行銷類別，佔本次職缺總數 31%，相較於四個月前的夏
季聯合大徵才成長了 6%。其中出現一個不可忽視的現象，即是「成長駭客」(Growth
Hacker) 的職缺出現，在本次的社群行銷類職缺中，佔比已達 2%。「成長駭客」 顧名思
義，存在目地就是幫助公司 (或產品) 找出增加流量與用戶高速成長的路徑。
「成長駭客」是個行銷混血兒，需同時具備行銷的基本知識與技能，也要會撰寫程式做簡
單的外掛以及資料分析，找出最能有效提高或轉換流量的方法；像是 Airbnb 利用其競爭
對手 Craigslist 加載外掛增加曝光與流量，即為知名案例。國內知名電商網站「早餐吃
麥片」、 以 3D 模組搜尋引擎起家的 Yobi3D，目前也透過本次聯合大徵才，尋找「成長
駭客」鬼才。
原始連結：https://goo.gl/u2k01l
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.184.44.32
※ 文章網址: https://www.ptt.cc/bbs/Marketing/M.1452139913.A.1AB.html
... <看更多>