【💡💡營運小教室-第32堂】🕹 A/B測試 重點分享 🕹
.
🔎文章同步部落格:https://bit.ly/3rPadlk
(圖文同步、畫好重點,閱讀更方便)
.
最近這兩週我在研究A/B測試,
何謂A/B測試我就直接引用文章內的話:
「針對某一需要改進的功能、頁面或是產品,提供兩種或以上的方案,合理分配流量,將不同方案发布給不同用戶。在運行一段時間後,結合各項指標和科學的統計方法,對比實驗數據做出決策,將最優方案更新給全量用戶。」
.
因此,A/B測試在現今網路行業中被用的相當頻繁,
Google更是把A/B測試視為圭臬,
大到一個功能,
小到一個按鈕的顏色都要做A/B測試,
也因為Google進行了大量的A/B測試,
把用戶旅程(user journey)中每個節點的轉換率一步步提高,
使得每次產品功能或是頁面的改動更符合多數用戶需求,
自然效能與績效就能極大化,
其他像是臉書、亞馬遜等電商公司,
都是將A/B測試納入必要的工作項目內。
.
專門在做這工作的人,
現在也有個很新穎的職務名稱叫成長駭客(Growth Hacker),
大家到104人力銀行搜尋就知道其工作內容,
這邊不贅述。
(注意,A/B測試只是成長駭客內的其中一個工作項目,並非成長駭客就只做A/B測試,差很多)
.
遊戲業坦白說在營運上不太會進行A/B測試,
因為用戶幾乎都從雙平台上下載遊戲,
如果要做A/B測試就只能在雙平台上著手,
新產品或許還能這樣做,
但對既有產品來說就不切實際點,
因此A/B測試通常會出現在廣告的買量測試中。
.
以下分享我自己在A/B測試上的心得分享:
.
1⃣A/B測試不代表一次只能測試兩個,你想測試2個以上也行,主要是得確認每個群體樣本數要夠多,如果樣本數太少,達不到性效度的話,做出來的結果就沒有參考價值。
.
2⃣如何確認有足夠的樣本數呢?身為營運人員,自家的營運數據自己最清楚,可以透過這個網站輸入母體大小,就會自動算出要多少樣本數才能達到統計顯著性。
👉https://zh.surveymonkey.com/mp/sample-size-calculator/
.
3⃣假設是投放廣告,如果不曉得母體會有多少,那可以用以下免費工具來反推,例如你想要達到的轉換率是1%提升到5%,這個頁面就可以幫你計算出兩個群體各自要曝光幾次才足夠,就能判斷預算會花多少。
👉https://clincalc.com/stats/samplesize.aspx
.
4⃣會需要計算上述的原因主要有兩個,一個是預算問題,另一個是在不確定風險下,建議做足夠樣本數就好。
👉舉例來說,如果今天某款遊戲每月付費玩家有10,000人,如果想改動一個功能,可能一開始會想到的做法是隨機5,000人分配到不同群組(也就是A/B測試為50% / 50%)。
.
但這樣就會有一個風險,萬一這個改動是失敗的,等於就會直接影響到5,000人,那在A/B測試期間,可能就開始蒙受不小的營收損失,或是等不到信效度出現就提早結束測試,因此如果能事前估出足夠的樣本數,就能降低上述風險。
.
以10,000人這例子,丟到頁面內,只要370人的樣本就能達到統計顯著性了,不用分到50% / 50%這麼多,只要5%就足夠了,這樣即使A/B測試不理想,也只會影響到那5%付費用戶。
.
5⃣要確保兩個群體是完全獨立,而非交集,如果有交集,就會影響分析結果。
👉這點比較吃技術的工,技術要能夠確保實驗對象進入A/B測試時會被隨機分派到不同群體內,如果因為裝置過多、版本不同等因素而導致有部分用戶既是A群體、也在B群體的話,那就會導致數據判讀出現錯誤。
.
6⃣不要在一個A/B測試還沒做完情況下,又緊接著做另一個A/B測試,除非能確定這兩個A/B測試是完全不相干,不然不但在分析時不容易分清楚每個群體,也很容易影響整個數據的分析。
.
7⃣做出來的結果到底有沒有達到統計顯著性,可以把數據輸入到這個網頁內,非常方便。
👉https://abtestguide.com/calc/
.
8⃣A/B 測試前,可以先執行A/A測試,先確認目前的隨機分配中有沒有其他的變異數,確保這兩個群體的整個營運數據夠乾淨。
👉由於測試的是群體內有沒有其他變因,而非方案本身,因此在流量分配上就能夠以50% / 50%進行。
.
以上就是我對於A/B 測試目前的經驗與心得分享,
如果要再探討下去絕對有更多的理論基礎與分析模組,
我自己也還在學習摸索中,
日後如果有甚麼心得或是勘誤,
我會持續更新在這篇文章中,
如果你有其他心得或是已經發現錯誤的地方,
也歡迎分享給我。
.
🔎參考資料:A/B 測試要測多久?從統計顯著與檢定力看廣告測試結果
https://bit.ly/3CcQAIL
.
🔎延伸閱讀:谷歌是怎么用A/B測試的
https://bit.ly/3lr6KYZ
母群體樣本數 在 臨床心理師的腦中小劇場 Facebook 的最讚貼文
【腦中小劇場 用正港的認知作戰,破解疫情的訊息焦慮】
「每天都有新增和死亡案例,超絕望的怎麼辦?」
「如果打不到疫苗,還要撐到八月以後,怎麼辦?」
「現在空氣根本有毒,我就算戴口罩也不敢外出看病,怎麼辦?」
.
以上這三種「怎麼辦」,是自三級警戒以來,我在會談室聽見最多的類型。它們各自代表了對疫情的絕望、打不到疫苗的焦慮,以及觸碰外環境的恐懼。
.
但仔細談過之後,我發現這些問句的共通點,都是在「認知」上出現了盲點,在缺乏完整訊息的情況下便倉促判讀。由此可見,病毒不但會攻擊呼吸道,還順便了襲擊我們的大腦,而我們能做的,就是使用正確的認知作戰策略,合理判讀訊息,由此降低疫情引發的焦慮。
.
同一條訊息,穿過不同的視網膜,流進不同的大腦迴路,就會產出不同的想法,衍生不同的情緒。因此記者會直播一結束,有人放心,有人焦心,同樣都接收到確診與死亡人數,施打疫苗的時程安排,或是戴口罩的呼籲,但每個人的大腦畫面就是不一樣,當中的關鍵,就在於「如何解讀訊息」。
.
面對大量的疫情訊息,若要從認知觀點破解焦慮,避免想法往死裡鑽,這裡提供三招:
.
1. 完整判讀:完整接收訊息,不單看帳面數字
2. 平衡觀點:任何訊息皆有其正負向效應,雙向解讀,能避免產生極端情緒
3. 換位思考:以事實為依據,從決策方的立場,重新理解防疫原理
.
若將上述三招,套用在開頭三個問句,我們來看看有什麼結果:
.
首先,「新增病例」與「死亡人數」這兩組數字決定了我們一整天的心情,無論染疫或殞命,都是令人難過的事,我們都很希望有天打開直播,確診人數那格會把嘉玲找回來。我相信嘉玲有天會回來,但要它瞬間歸零,抱歉不可能。
.
我的孩子曾在去年初感染一般肺炎,幸虧新冠疫情彼時尚未爆發。當時除了讓他施打抗生素,能做的就是每天徒手拍痰。我和太太都很清楚,X光片的白色陰影不會隔天就清空,沒那麼好康,我們必須耐心地拍痰,持續讓他吸藥劑,濃痰才會慢慢退散,肺葉才會還原,過程中即便卡關,也只能等待。
.
現在,整張台灣的疫情地圖,就跟當初那張X光片一樣。因此我們必須有心理準備,在抗疫的過程中,無論是「新增病例」與「死亡人數」,都一定會持續出現。要這些數字突然大幅降低甚至歸零,是不合邏輯的期待,但數字一直出現,是否就代表疫情沒被控制,這倒未必,因為我比較在意的數字,反而是「篩檢陽性率」與「死亡比率」。
.
確診人數與死亡人數呈報的是現況,但「篩檢陽性率」與「死亡比率」反應的是趨勢,趨勢才能代表疫情的起伏。因此我想請大家調整一下解讀方向,從這兩組數字著手。
.
在疫情肆虐一個多月之後,倘若新增病例變多,可能因為是篩檢人數增加,如果陽性率跟著變高,那才有沮喪的空間。若陽率不變甚至變低,那代表「安全人數」也相對增加。至於死亡人數,除了看比例(https://pansci.asia/archives/323823) ,也要試著理解「死亡原因」(包括年齡與疾病史)與「感染型態」(不明原因或家庭群聚)。
.
帳面數字,很容易成為操弄點擊率或民意對立的素材,我們可以被牽著鼻子走,也可以更完整且仔細地解讀這些訊息,焦慮的程度,取決於我們的切入角度。
.
第二,關於疫苗的施打焦慮。當前疫苗存量吃緊是個事實,倘若排在施打順位後段,甚至無法擠進梯隊的民眾,一定會感到沮喪,甚至絕望。但我想帶大家進行「觀點平衡」,分享關於施打疫苗的「正負向效應」,這是一種避免情緒走向極端的方法。
.
五月初,在我接種疫苗後兩周疫情爆發。我的身體因此多了一道防線,這是正向效應。但和往常相比,我反而更戰戰兢兢,因為我很擔心自己一旦鬆懈會波及兩個孩子。因此疫苗對我而言,不僅是種抗體,更是一種提醒。如果有「即便打了疫苗,心態也不見得比較放鬆」的案例,我就是其中之一,對我而言,這種焦慮是個負擔,也是一種負向效應。
.
無法接種疫苗的負向效應,是擔心染疫的恐懼。然而相較於疫苗,更重要的是「態度」。在排除職業風險的情況下,一個沒打疫苗,但能時刻提高警覺,做好自我防護的人,他的感染風險或許會小於打了疫苗,心態卻開始鬆懈的人。畢竟疫苗的作用,不是打造金剛不壞,而是預防重症。
.
疫苗是強悍的後盾,若能接種當然最好,但若你尚未施打疫苗也未確診,千萬別絕望,因為過去一年你都挺過來了。無法施打疫苗,會讓人格外謹慎,這是它帶來的正向效應。現在大部分的路人,態度都比前兩個月還要正則,你能做的,就是跟往常一樣做好防護措施,戴口罩勤洗手定時消毒門把,不要心存僥倖,疫苗到位之前,你的日常習慣與警覺心態會成為最實用的護具。
.
最後,關於「空氣有毒」的部分,要從一張防毒面具說起。有位案主的老木,由於每天接收里長「建議降低活動度,外出強制戴口罩」的洗腦式廣播,日子一久,便將兩件事連結起來,然後深信外界的空氣有毒。
.
更麻煩的是,她必須定期到醫院復健,但醫院對她來是說修羅戰場,因此她選擇戴防毒面具進醫院(她兒子是軍事迷),沒人能動搖她的意志。母親對此外部環境的不信任,讓她深感困擾。
.
於是在某次會談中,我們針對防疫策略進行「換位思考」,以事實為根據,經過角色扮演,重新調整了對空氣有毒這件事的看法,然後由她轉告母親:
.
「戴口罩的目的,不是讓人害怕空氣有毒,而是防止病毒傳染。」
.
當然,戴口罩的初始目的絕對是為了降低飛沫傳染的機率,然而三級警戒當前,政令禁止群聚,一脫口罩就要罰款,飛沫要在街上橫行的機率,應該比先前低了一些。因此根據上述「事實」,現在站在決策方立場,重新理解防疫原理之後,戴口罩一舉反而比較接近某種「自我約束」,目的是一起讓公共環境變得更安全,而不是讓大家更害怕外界的空氣。
.
畢竟,空氣有毒與否,始終取決於群體的憂患共識。
.
因此即便在低活動度呼籲下,該走的行程,也不用過度焦慮,只要大家都做好自我約束,病毒不會主動敲門。倘若病況嚴重,建議還是及早就醫,畢竟醫院比一般單位還要重視環境清潔,醫師比一般人還要擔心人身安危,醫院之所以比其他機構更容易出現確診病患,不一定是防護做得差,而是因為它們接收的潛在病患樣本數比一般單位還要多得多。
.
然而考量身體抵抗力,年齡過老、有慢性病史或幼齡孩童,只要病況不是太嚴重,仍然建議暫緩就醫。
.
三級警戒未歇,疫情訊息撲面,把現況想糟絕對是人之常情,畢竟現有牌面算不上漂亮,而我們每天又被提醒沒有樂觀的條件。但經換位思考,我相信這種提醒不是恐嚇,而是為了維持危機意識。
.
使用認知作戰調整想法,並非為了自爽,或對危機視而不見,而是避免讓情緒走向極端。若只對訊息單向判讀,囫圇吞棗,很容易讓人對現況感到絕望。但若能仔細解讀訊息,通盤考量正負向效應,即便現況變得險峻,訊息依舊不利,我們都能做出適當的應對之舉。
.
一旦大腦能合理解讀訊息,心理解毒便指日可待。
.
_______________________________________________________________________
疫情期間,相信大家不管在生活、工作中,多少會遇到一些不適應的地方。下一棒,想點名 哇賽心理學 的佳璇心理師來跟大家分享,她在疫情期間,還觀察到那些常見的困擾,又有怎樣的秘訣想跟大家分享~
.
【疫情期間,心理師教你的心理照顧秘訣・文章串連】
.
完整文章串列請看下方留言喔
母群體樣本數 在 日本自助旅遊中毒者 Facebook 的最讚貼文
手機上網不夠穩定,用來直播是不可靠的,好吧,放棄
只好等網路搞好再直播啦!現在來發文。
錄好的影片我會上傳給大家看!抱歉啦!
#英國MHRA公布牛津疫苗評估報告
#下這樣結論的樣本數太少了….
英國MHRA在12月30日宣布批准了牛津疫苗的緊急授權使用後,在1月5日公布了他們詳細的評估報告。讓我們來看看吧。
1.此份的資料出自正在進行中的四個臨床試驗。四個臨床試驗都已經完成收案,在追蹤的階段(除了COV002還有兒童的族群還沒收案完成)。所有臨床試驗原本都預計只給一劑,後來在2020年6月根據免疫生成的結果,更改計劃書成為施打兩劑。追加劑量原則是隔28天給予,但因為是後來追加,所以追加第二劑的時間差非常多。
2.有效性資料是取自2020年11月4日之前,從英國的第二期/第三期臨床試驗(COV002),還有巴西的第三期臨床試驗(COV003)共11636人來分析(和在Lancet公布的一模一樣)。安全性則是從英國,巴西和南非執行的四個臨床試驗超過兩萬人的資料來分析。COV001和COV005這兩個臨床試驗因為各自僅有少於5例新冠確診,因此這次沒有納入分析(各自僅有1例和2例,都在對照組)。
3.施打時間,可以看到兩劑小於六週施打僅佔29.3%,6~8週佔9.8%,9~11週佔24.9%,大於12週則佔了36%。分布的非常散。
4.第2劑間隔12週打,反而抗體升的高。但要注意,半劑量組幾乎都是在相隔9週之後施打,僅有3個人是相隔小於6週施打的。而比較半劑量組打第二劑後28天的抗體,兩劑相隔大於12週的抗體效價比相隔9~11週高很多。這在全劑量組也有看到。
5.保護力大概在注射第一劑後第21天顯現效果,且至少可以維持12週。(之後未知,因為就打了第二劑了!)
6.保護力的資料這之前已經公布過了,其實審查的資料和投稿的資料是一樣的。就是兩者合在一起的資料(共11636人),保護力是70.42%(95% CI 54·84–80·63)。
標準劑量組:4440人中有27人(0.6%)得新冠,相對於對照組4455人中有71人(1.6%)得新冠,保護力僅有62.1%(95.84% CI 39·96–76·08)。
低劑量組:1367人中有3人(0.2%)得新冠,相對於對照組1374人中有30人(2.2%)得新冠,保護力可達90.05%(95.84% CI 65·84–97·10)。
7.在打完第一劑22天後,追蹤到第12週打第二劑之前,估計保護力是73%。
8.記者會中專家表示在一群受試者兩劑間隔約12週施打,這樣的保護效力可以升高到80%,文中有這一段描述。
隔8~11週施打,保護力72.85%, 95% CI (43.45 to 86.97)
隔>11週施打,保護力81.9%, 95% CI (59.93 to 91.90)
他們也有去作相隔更長施打時間的亞組分析,可以到大概80%的有效性。但因為人數不多,所以95%信賴區間很廣。
04b解讀:
1.首先我必須說,這個研究要作出分析很困難。這綜合了四個收案條件各自不太相同的臨床試驗,其中劑量不同,施打第二劑間隔不同,等於讓臨床試驗又多了好多組別,這讓整個臨床試驗難以得出統計學上有顯著意義的結果。
2.為何需要作人數很多的大規模臨床試驗?就是因為在科學上希望能得到比較確切的結果。我們不可能對全體人類執行臨床試驗,因此選擇可以代表母群體的一群人,在這群人身上看到疫苗有沒有效,如果執行人數越多,科學家當然越有信心所觀察到的數據是真實而不是靠機率才出現的。所謂的95%信賴區間,就是我們有95%的信心你再重複作一次這樣的臨床試驗,數字會落在這個區間之內。
牛津疫苗施打間隔相隔8~11週還有大於12週的人,僅有3537人。僅從3537人這樣的人數就做出這麼重大的結論,說可以相隔12週再施打第二劑,且效果比較好,我個人會覺得有點擔心。
來作個對比吧!
莫德納疫苗施打15210人(另外還有對照組),保護力94.1%(95% CI, 89.3 to 96.8%)
輝瑞/BNT疫苗施打21720人(另外還有對照組),保護力 95% (95% CI, 90.3 to 97.6%)
莫德納和輝瑞各自是三萬人和四萬人的大型臨床試驗,且受試者注射劑量都一樣,因此可以獲得如此確切的結果。但英國牛津MHRA建議可以間隔長達12週施打的科學證據,其95%信賴區間落在59.93到91.90之間。這科學證據實在還不夠確切。
3.而半劑量組和全劑量組大概各半,別忘了半劑量組都是18~55歲,所以這其實也很難釐清是不是因為年齡造成的影響讓這群人的效果看起來較好。
4.有些專家擔心如果讓只施打一劑沒有完整免疫力的民眾面對病毒,是否會加速病毒學會如何對抗這個疫苗?特別是,英國首批施打的是最年長最脆弱的族群。
5.牛津疫苗在南非也有收案。是不是可以合理的猜測南非變種病毒應該對疫苗還是有效的,不然他們應該會發現疫苗組一堆人染疫才對?
6.總之,我認為牛津疫苗該如何使用可能還得看美國執行的部分。不過美國執行的是間隔四週施打。這該怎麼辦呢....要不要修改?理論上最好應該是分4週組和12週組來進行啦。