【💡💡營運小教室-第32堂】🕹 A/B測試 重點分享 🕹
.
🔎文章同步部落格:https://bit.ly/3rPadlk
(圖文同步、畫好重點,閱讀更方便)
.
最近這兩週我在研究A/B測試,
何謂A/B測試我就直接引用文章內的話:
「針對某一需要改進的功能、頁面或是產品,提供兩種或以上的方案,合理分配流量,將不同方案发布給不同用戶。在運行一段時間後,結合各項指標和科學的統計方法,對比實驗數據做出決策,將最優方案更新給全量用戶。」
.
因此,A/B測試在現今網路行業中被用的相當頻繁,
Google更是把A/B測試視為圭臬,
大到一個功能,
小到一個按鈕的顏色都要做A/B測試,
也因為Google進行了大量的A/B測試,
把用戶旅程(user journey)中每個節點的轉換率一步步提高,
使得每次產品功能或是頁面的改動更符合多數用戶需求,
自然效能與績效就能極大化,
其他像是臉書、亞馬遜等電商公司,
都是將A/B測試納入必要的工作項目內。
.
專門在做這工作的人,
現在也有個很新穎的職務名稱叫成長駭客(Growth Hacker),
大家到104人力銀行搜尋就知道其工作內容,
這邊不贅述。
(注意,A/B測試只是成長駭客內的其中一個工作項目,並非成長駭客就只做A/B測試,差很多)
.
遊戲業坦白說在營運上不太會進行A/B測試,
因為用戶幾乎都從雙平台上下載遊戲,
如果要做A/B測試就只能在雙平台上著手,
新產品或許還能這樣做,
但對既有產品來說就不切實際點,
因此A/B測試通常會出現在廣告的買量測試中。
.
以下分享我自己在A/B測試上的心得分享:
.
1⃣A/B測試不代表一次只能測試兩個,你想測試2個以上也行,主要是得確認每個群體樣本數要夠多,如果樣本數太少,達不到性效度的話,做出來的結果就沒有參考價值。
.
2⃣如何確認有足夠的樣本數呢?身為營運人員,自家的營運數據自己最清楚,可以透過這個網站輸入母體大小,就會自動算出要多少樣本數才能達到統計顯著性。
👉https://zh.surveymonkey.com/mp/sample-size-calculator/
.
3⃣假設是投放廣告,如果不曉得母體會有多少,那可以用以下免費工具來反推,例如你想要達到的轉換率是1%提升到5%,這個頁面就可以幫你計算出兩個群體各自要曝光幾次才足夠,就能判斷預算會花多少。
👉https://clincalc.com/stats/samplesize.aspx
.
4⃣會需要計算上述的原因主要有兩個,一個是預算問題,另一個是在不確定風險下,建議做足夠樣本數就好。
👉舉例來說,如果今天某款遊戲每月付費玩家有10,000人,如果想改動一個功能,可能一開始會想到的做法是隨機5,000人分配到不同群組(也就是A/B測試為50% / 50%)。
.
但這樣就會有一個風險,萬一這個改動是失敗的,等於就會直接影響到5,000人,那在A/B測試期間,可能就開始蒙受不小的營收損失,或是等不到信效度出現就提早結束測試,因此如果能事前估出足夠的樣本數,就能降低上述風險。
.
以10,000人這例子,丟到頁面內,只要370人的樣本就能達到統計顯著性了,不用分到50% / 50%這麼多,只要5%就足夠了,這樣即使A/B測試不理想,也只會影響到那5%付費用戶。
.
5⃣要確保兩個群體是完全獨立,而非交集,如果有交集,就會影響分析結果。
👉這點比較吃技術的工,技術要能夠確保實驗對象進入A/B測試時會被隨機分派到不同群體內,如果因為裝置過多、版本不同等因素而導致有部分用戶既是A群體、也在B群體的話,那就會導致數據判讀出現錯誤。
.
6⃣不要在一個A/B測試還沒做完情況下,又緊接著做另一個A/B測試,除非能確定這兩個A/B測試是完全不相干,不然不但在分析時不容易分清楚每個群體,也很容易影響整個數據的分析。
.
7⃣做出來的結果到底有沒有達到統計顯著性,可以把數據輸入到這個網頁內,非常方便。
👉https://abtestguide.com/calc/
.
8⃣A/B 測試前,可以先執行A/A測試,先確認目前的隨機分配中有沒有其他的變異數,確保這兩個群體的整個營運數據夠乾淨。
👉由於測試的是群體內有沒有其他變因,而非方案本身,因此在流量分配上就能夠以50% / 50%進行。
.
以上就是我對於A/B 測試目前的經驗與心得分享,
如果要再探討下去絕對有更多的理論基礎與分析模組,
我自己也還在學習摸索中,
日後如果有甚麼心得或是勘誤,
我會持續更新在這篇文章中,
如果你有其他心得或是已經發現錯誤的地方,
也歡迎分享給我。
.
🔎參考資料:A/B 測試要測多久?從統計顯著與檢定力看廣告測試結果
https://bit.ly/3CcQAIL
.
🔎延伸閱讀:谷歌是怎么用A/B測試的
https://bit.ly/3lr6KYZ
同時也有3部Youtube影片,追蹤數超過80萬的網紅果籽,也在其Youtube影片中提到,Clubhouse越來越多人用,更傳出中國已禁用的消息,這次就找來香港資訊科技商會榮譽會長方保僑、成長黑客(Growth Hacker)May Yeung、社交媒體企業培訓顧問Jansen Lu分享Clubhouse的使用心得。 記者第一次試玩就遇到陳志雲,Stephen亦很友善地和記者聊天,有趣...
「growth hacker書」的推薦目錄:
- 關於growth hacker書 在 玩遊戲不難,做營運好難 Facebook 的最佳解答
- 關於growth hacker書 在 WorkFace Taipei Facebook 的精選貼文
- 關於growth hacker書 在 小編神器 Facebook 的最佳貼文
- 關於growth hacker書 在 果籽 Youtube 的精選貼文
- 關於growth hacker書 在 SoWork行銷誠實豆沙包 Youtube 的最佳解答
- 關於growth hacker書 在 SoWork行銷誠實豆沙包 Youtube 的最佳解答
- 關於growth hacker書 在 2020 成長駭客年會: GDPR 與肺炎疫情後的行銷轉型與想法 的評價
- 關於growth hacker書 在 成長駭客書在PTT/Dcard完整相關資訊 - 動漫二維世界 的評價
- 關於growth hacker書 在 成長駭客書在PTT/Dcard完整相關資訊 - 動漫二維世界 的評價
growth hacker書 在 WorkFace Taipei Facebook 的精選貼文
【#C式語言】只要1分鐘,讓你無痛了解新創術語!
#C式語言 第六話「成長駭客」又稱作增長黑客、營運成長駭客、流量成長駭客,英文全名為 Growth Hacker。
不管你是不是新創圈的一份子,都該知道 Growth Hacker 這個詞!
一句話解釋成長駭客:「透過有限的預算或工具,以最快的方式實現大幅成長。」
Growth Hacker 是近年來在競爭白熱化的流量市場中興起的一個名詞,描述從數據著手,利用技術上的 SEO、EDM 行銷等方法,幫助產品找用戶,並長期持續的優化改進,來達成企業的商業目標的數據變現操作。
不僅適用於新創公司,很多大公司也開始尋找引流高手來幫助公司獲得持久的業務,這個新出現在 2010年的詞彙,對於新創公司來說尤其重要,因為很多新創公司初期銷售渠道不明朗,能否從不同方向獲得流量是很多科技新創公司飛速成長的重要前提!
🔵 【M觀點商學院】成長駭客是什麼? 核心精神說給你聽?(影片)
https://youtu.be/O8zxSJb7oT4
🔵 成長駭客核心指標AARRR,帶你看全球實戰案例分析!
https://pse.is/R3SRW
🔵 【圖解】10分鐘、6大主軸,快速理解成長駭客!
https://www.bnext.com.tw/article/38809/bn-2016-03-02-120532-178
---------------------------------------------
👉立即加入WorkFace Taipei 臉書社團
【C式熟成】線上例會/十問社群
https://www.facebook.com/groups/workface.taipei.live/
growth hacker書 在 小編神器 Facebook 的最佳貼文
我收到Amazon的包裹了,非常開心
過年前,要先開書單給各位(給一整年閱讀的)
小編神器推薦大家幾本書可看,包括
1. Bad Blood. 講述矽谷的黑暗面
2.Growth Hacker Marketing:有很多刺痛行銷人的一句話
3.HumanKind: Leo Burnett的思考架構之一
4. The Analytical Marketing : 企業轉型的案例架構
growth hacker書 在 果籽 Youtube 的精選貼文
Clubhouse越來越多人用,更傳出中國已禁用的消息,這次就找來香港資訊科技商會榮譽會長方保僑、成長黑客(Growth Hacker)May Yeung、社交媒體企業培訓顧問Jansen Lu分享Clubhouse的使用心得。
記者第一次試玩就遇到陳志雲,Stephen亦很友善地和記者聊天,有趣的是有豐富廣播經驗的Stephen玩Clubhouse暫時只做聽眾,未做過speaker,指自己聽了斷捨離和間斷飲食的題材,也真的聽講者的推介,買了相關的書籍研究。
https://hk.appledaily.com/lifestyle/20210210/CPSHRUCM4RDZVKKG5BZ7MTC7FM/
影片:
【我是南丫島人】23歲仔獲cafe免費借位擺一人咖啡檔 $6,000租住350呎村屋:愛這裏互助關係 (果籽 Apple Daily) (https://youtu.be/XSugNPyaXFQ)
【香港蠔 足本版】流浮山白蠔收成要等三年半 天然生曬肥美金蠔日產僅50斤 即撈即食中環名人坊蜜餞金蠔 西貢六福酥炸生蠔 (果籽 Apple Daily) (https://youtu.be/Fw653R1aQ6s)
【這夜給惡人基一封信】大佬茅躉華日夜思念 回憶從8歲開始:兄弟有今生沒來世 (壹週刊 Next) (https://youtu.be/t06qjQbRIpY)
【太子餃子店】新移民唔怕蝕底自薦包餃子 粗重功夫一腳踢 老闆刮目相看邀開店:呢個女人唔係女人(飲食男女 Apple Daily) https://youtu.be/7CUTg7LXQ4M)
【娛樂人物】情願市民留家唔好出街聚餐 鄧一君兩麵舖執笠蝕200萬 (蘋果日報 Apple Daily) (https://youtu.be/e3agbTOdfoY)
果籽 :http://as.appledaily.com
籽想旅行:http://travelseed.hk
健康蘋台: http://applehealth.com.hk
動物蘋台: http://applepetform.com
#Clubhouse教學 #Clubhouse #Clubhouse邀請碼 #陳志雲 #私隱
#果籽 #StayHome #WithMe #跟我一樣 #宅在家
growth hacker書 在 SoWork行銷誠實豆沙包 Youtube 的最佳解答
過年前,要先開書單(給一整年閱讀的)
小編神器推薦大家幾本書可看
包括
Bad Blood. https://www.amazon.com/Bad-Blood-Secrets-Silicon-Startup-ebook/dp/B078VW3VM7/ref=sr_1_1?s=digital-text&ie=UTF8&qid=1548397060&sr=1-1&keywords=bad+blood
Growth Hacker Marketing https://www.amazon.com/Growth-Hacker-Marketing-Primer-Advertising-ebook/dp/B00INIXL3O/ref=sr_1_1?s=digital-text&ie=UTF8&qid=1548396635&sr=1-1&keywords=growth+hacker+marketing
HumanKind: https://www.amazon.com/HumanKind-Tom-Bernardin/dp/1576875490/ref=sr_1_1?s=digital-text&ie=UTF8&qid=1548397091&sr=8-1&keywords=humankind+leo+burnett
The Analytical Marketing : https://www.amazon.com/Analytical-Marketer-Transform-Marketing-Organization-ebook/dp/B01DYVXFDK/ref=sr_1_1?ie=UTF8&qid=1548397112&sr=8-1&keywords=analytical+marketing
growth hacker書 在 SoWork行銷誠實豆沙包 Youtube 的最佳解答
本月買進的行銷書籍
李奧貝納的思維邏輯:human kind
Razor Fish數位行銷公司的數位轉型顧問:Converge
矽谷的黑暗面:Bad Blood
行銷駭客:Growth Hacker Marketing
給CMO看的分析組織:The Analytical Marketer
growth hacker書 在 成長駭客書在PTT/Dcard完整相關資訊 - 動漫二維世界 的推薦與評價
| 博客來-成長駭客行銷:引爆集客瘋潮的新實戰力書名:成長駭客行銷:引爆集客瘋潮的新實戰力,原文名稱:Growth Hacker Marketing: A Primer on the Future of PR, ... ... <看更多>
growth hacker書 在 成長駭客書在PTT/Dcard完整相關資訊 - 動漫二維世界 的推薦與評價
| 博客來-成長駭客行銷:引爆集客瘋潮的新實戰力書名:成長駭客行銷:引爆集客瘋潮的新實戰力,原文名稱:Growth Hacker Marketing: A Primer on the Future of PR, ... ... <看更多>
growth hacker書 在 2020 成長駭客年會: GDPR 與肺炎疫情後的行銷轉型與想法 的推薦與評價
Growth Hacking 就字面上的意思來說是透過非主流的方式去增加額外的成長,一個經典的案例像是iPhone 在寄信的時候補上Sent From My iPhone。 ... <看更多>