![post-title](https://i.ytimg.com/vi/_RsaNzZFuUU/hqdefault.jpg)
ab testing樣本數 在 コバにゃんチャンネル Youtube 的最讚貼文
![post-title](https://i.ytimg.com/vi/_RsaNzZFuUU/hqdefault.jpg)
Search
这里分析最佳版本就需要借助假设检验的技术,例如检验某个实验组的CTR 是否优于对照组,属于双比率检验(2 Proportion-test,用于根据两个随机样本中的 ... ... <看更多>
從Facebook情緒實驗到A/B Testing ... 兩種版本的使用者群與測試環境是在同一時間內隨機的分組進行,所以實驗結果並不會受到時間或樣本差異的影響。 ... <看更多>
#1. A/B 測試要測多久?從統計顯著與檢定力看廣告測試結果
我們可以利用AB Testguide 提供的工具來檢測兩組廣告或兩組受眾之間的差異是否達到顯著。 以前面的例子來說,當我們的樣本數分別只有100 與200 次曝光的 ...
#2. 只需要加減法的A/B Testing? - 好豪筆記
Sequential A/B Testing 的樣本大小選擇,是根據The Gambler's Ruin 機率理論,你可以依照公式、自己寫程式找出所需樣本數,然而,我認為簡單的查表就 ...
#3. A/B測試該執行多久? | Adobe Target
變異數是根據CSV下載檔案中的「銷售總和」、「銷售總和平方」和「訪客數」的值計算。 建立測試後,請使用試算表計算完成測試所需的時間。 樣本大小計算機( ...
試想今天執行了一個PPC的A/B Testing,結果如下: ... 後面再補一句:「如果要使測試結果達到顯著,我們應該繼續測試、提高impression(樣本數)。」 ...
#5. 廣告投放A/B Test 效果篇:用統計學的假設檢定分析A/B 測試成效
A/B 測試需要多少樣本數?要花多久時間?本篇解釋A/B 測試是否有成效(是否有顯著差異),用統計學的”顯著性“與”檢定力“的概念,及2 個可以協助計算檢定 ...
#6. 操作A/B Testing 前你一定要考慮的4 大因素!
在A/B Test 系列中的第一篇「用A/B Testing 提升你的網頁轉換率! ... 你可以把檢定力與樣本數的概念想像成三人成虎這個成語,當一個人說的時候,沒人 ...
其中n是每组所需样本量,因为A/B测试一般至少2组,所以实验所需样本量为2n;α和β分别称为第一类错误概率和第二类错误概率,一般分别取0.05和0.2;Z为正态分布的分位数函数 ...
#8. 關於因果關係推論-AB testing - iT 邦幫忙
今天就讓我們來認識「隨機對照組實驗」,也就是業界所稱的AB testing、AB測試。 ... 由於取樣上的偏誤,導至樣本數無法概括母體,AB testing的結果和實際產品上線後的 ...
#9. 非统计专业?5分钟搞懂如何计算A/B测试样本量 - 知乎专栏
如果低于5个百分点,我们会觉得这个差别对产品的改进意义不大(可能是因为点击率不是核心指标),能不能检测出来也就无所谓了。 给计算器填数. 好了,我们现在把4个数字 ...
#10. A/B 測試的完整介紹,什麼是A/B 測試? - Mixpanel
多變數測試需要的樣本量相對較龐大,而且需要產品分析軟體來正確的測量他們。 現在,花點時間來盤點你的產品行銷工具。他們允許你進行A/B test 嗎?如果 ...
#11. 完全了解A/B 測試 只學初統也能做的資料分析1
在網路產業的大家,對於「A/B 測試」(A/B testing) 一定不陌生,但可能 ... 說,樣本數的大小通常不是個大的問題,通常進行A/B 測試只要每個族群有500 ...
#12. 小白入门A/B Testing 之样本数 - 掘金
小白入门A/B Testing 之样本数. 在前面几篇文章中已经概况讲解了如何做A/B 实验与检验原理。那么到底需要多少样本可以满足实验的需求呢?
#13. A/B Test 流程| 6步驟教你如何開始執行A/B Testing!進階實踐 ...
因此,行銷人員仍需依,測試的類型、產業類型、受眾的習慣,或透過樣本數去計算A/B Test需要的時間。 5. 向受眾發佈測試版本. 當你完成了前期的準備工作後 ...
#14. AB测试样本数量计算器
怎样估算一个试验需要转多长时间呢? 在算出AB测试所需样本数量大小后,根据网站或App每天的访问数,即可计算出试验所需的 ...
#15. 如何在低流量產品中做實驗,做出有品質的產品決策? - 未來商務
一個A/B Test 若樣本數多、產品改動的影響大、時間跑得長,就越容易達成統計上顯著。所以其實低流量也不是什麼問題,只是那些線上樣本計算機會跟你 ...
#16. AB Test是什麼?AB測試運用Google Optimize教學大公開!
本文帶您一併了解操作AB Test,讓您一次就對AB Test上手! ... 的使用者,結果才會具有意義,若是樣本數過少,則數據的差異可能只是來自抽樣誤差。
#17. A/B测试所需样本量计算方法 - 标点符
在数学与统计学中,大数定律又称大数法则、大数律,是描述相当多次数重复实验的结果的定律。根据这个定律知道,样本数量越多,则其算术平均值就有越高的 ...
#18. 从案例实战看AB Test系统设计及其原理
在A/B Test中常见的检验方法为Z检验,下面就以Z检验为例计算最小样本量,在这之前先来 ... 根据实验数据得到对照组均值为p1、实验样本数n1,实验组均值为p2、实验样本 ...
#19. AB Testing介紹:針對香港市場的A/B測試 - digiEasy Co. Ltd.
digiEasy運用A/B Testing及A/B測試工具如Google Optimize、Adobe Target、Optimizely ... 建立假設以便在A/B測試中驗證; 選出一個元素進行測試; 選擇受眾和決定樣本數 ...
#20. 您的調查結果是否具有統計顯著性? - SurveyMonkey
Are your results statistically significant? Try SurveyMonkey's easy-to-use AB testing calculator to see what changes can make an impact on your bottom line.
#21. 針對商店資訊進行A/B 版本測試- Play 管理中心說明
預估實驗所需樣本數和完成時間的計算機;以及; 信賴區間現在可讓您持續監控實驗。 這個頁面已根據上述異動而更新。 請注意,本頁所 ...
#22. 自動化A/B 測試,讓轉換率大幅提升- 飛信資訊部落格
測試需要時間收集收件者的回饋,時間太短可能會遇到下一個狀況「樣本數不足」, 樣本數量太少容易造成實驗偏頗且失準的觀察,就像有3個人跟你說「世界 ...
#23. A/B Test︱一轮完美的A/B Test 需要具备哪些要素(一) - 腾讯云
2 相关概念理解 · 2.0 AB实验 · 2.1 AA分组—— 更好筛选样本 · 2.2 混杂因素 · 2.3 根据实验种类分类 · 2.4 互斥实验 · 2.5 流量正交&正交实验 · 2.6 分层原则.
#24. AB 测试数学基础 - HCigmoid
这里分析最佳版本就需要借助假设检验的技术,例如检验某个实验组的CTR 是否优于对照组,属于双比率检验(2 Proportion-test,用于根据两个随机样本中的 ...
#25. [心得] A/B Testing 常見的「偷看結果」問題- 看板DataScience
[關鍵字]: A/B Testing [重點摘要]: - A/B Testing 的正確做法,是預先決定實驗樣本數, 並禁止偷看結果、甚至提前結束實驗- 偷看結果會使偽陽性錯誤 ...
#26. 如何做好A/B Testing? — Always Be Testing - vide 創誌
通常A/B Testing 都會做一段時間,如果你的網站平均每日流量大約在10,000 人左右,將25,000/10,000,你需要2.5 天,才能得到足夠的樣本數。
#27. 哪個Email版本最吸引用戶?善用AB test優化EDM - awoo
執行電子報AB test時需注意以下五點 ... 足夠的樣本數. 什麼是AB test (AB測試). AB test 被應用於許多行銷及銷售的規劃中,透過兩種方案的制定來測試 ...
#28. Ab Testing - SlideShare
A/B Testing 又稱分割測試測試特定的單一元素(UI、網站)的兩個或多個 ... 數據面- 最小可檢測效果Minimum Detectable Effect (MDE) MDE 樣本數大 ...
#29. ABtest系统后记:到底多少样本才算是够? - 一起大数据
之前写过关于google AB测试的论文,里面提到了google根据相关参数确定样本的问题,谷歌的论文提到他们有一个工具可以用来计算样本数,但是并没有对 ...
#30. 14 AB测试的样本量问题和错误可能毁了你的测试
You must cover all the bases to get reliable results from your A/B tests. A/B testing mimics scientific experiments, and similarly will not provide you a ...
#31. 数据分析-A/B test - 小小喽啰- 博客园
直接用AB测试样本数量计算器(https://www.eyeofcloud.com/124.html) 计算出每个版本需要的最小样本量。 日常运营中,如何做好AB实验? 也就是说,做这个 ...
#32. 哪個網站設計版本最吸睛? A / B Test 最知道!
此外,網站的流量大小也關乎測試所需時間的長短及準確性,舉例來說,流量越大的網站,所需的時間就越短。如同統計學的概念,當樣本數越高且其他條件皆不變 ...
#33. 哪個網站設計版本最吸引? A/B Test 就知道!
此外,網站的流量大小也關乎測試所需時間的長短及準確性,舉例來說,流量越大的網站,所需的時間就越短。如同統計學的概念,當樣本數越高且其他條件皆不變 ...
#34. A/B Testing - 简书
A/B Testing 用于产品方案的对比,在快速产品迭代的场景下会出现这个需求, ... 的显著水平以及实验整体的最小样本量的计算方式会与单一因子有所不同。
#35. A/B测试(一)- 统计基础 - 昕小阳的博客
A/B 测试的理论基础是假设检验(Hypothesis Testing),而在A/B测试假设 ... 正态分布是A/B 测试的指标中最主要的分布,是计算样本量大小和分析测试 ...
#36. ABTest效果检验&样本量计算 - 51CTO博客
2)https://www.evanmiller.org/ab-testing/sample-size.html. 2、数值类计算:需要填写方差. 1) https://www.stat.ubc.ca/~rollin/stats/ssize/n2.
#37. 干货| 你想知道的ABTest 实验知识全在这里了 - 人工智能
**在样本数量比较大情况下,采用Z检验,A/B实验中双样本Z检验公式如下:. t检验:t检验常用于总体正态分布、总体方差未知或独立小样本平均数的显著性检验、 ...
#38. 试验样本预估指南 - 神策分析
从统计结果可靠性来讲,试验周期更久、样本量更多的A/B测试更严谨且有说服力。 然而在实际业务中,碍于各种原因我们并不能只依据理论行动,因为样本量越小、试验时间 ...
#39. 小学生都能看懂的A/B测试原理 - 极诣数字营销
本文在多处会使用一个叫A/B-Test Calculator,地址在 ... 我们知道它们总是被转化数除以样本数。 ... 同样5,000个样本,2%转化率和2.6%转化率比较.
#40. 「实验评估」来聊聊A/B Testing - 墨天轮
至此,我们实现了对不同类型评估指标的实验最小样本的计算。后续就能直接采用实验数据来分析实验的有效性。 五、假设检验. 假设检验的一般过程 ...
#41. AB test | 数据分析师面试必知! - ITPUB博客
如果你心中的AB test几乎都没有用到中心极限定理、假设检验、z分布、t分布等知识,建议详细阅读本文。 本文内容目录:. A/B test是什么.
#42. AB Test 原理及python实现(上)-哔哩哔哩
AB Test 原理及python实现(上). 欧拉数聚 ... 2022年ab-test最强学习课程(强推). 984 --. 3:20:13 ... 5分钟学会A/B测试,实验样本量选择. 【数之道】马尔可夫链蒙特 ...
#43. 数据科学家必会AB Testing基础知识
在AB Testing中,对于样本规模的选择,测试结果的分析,相关指标的评估等都会对结果起到重大的 ... 正如你在上面看到的,每个变量的n(样本数)是98。
#44. AB testing(2) | 一亩三分地Instant
三、样本量、实验周期计算1、AB 测试样本量计算A/B 测试样本量的选取基于大数定律和中心极限定理。在计算样本量之前,我们先大致了解一下大数定律和 ...
#45. Ch10 假設檢定
Step 2: 選擇檢定統計量(test statistic) ... developed for the purpose of testing numerical evidence. ... 已知,無論樣本數大小,皆使用常態分配: Z =.
#46. 计算A/B测试的样本量 - 七牛云
我想用python的这个函数来计算A/B测试的样本量。 from statsmodels.stats.power import TTestIndPower effect = Effect_size alpha = 0.05 power ...
#47. A/B测试的统计原理:频率派与贝叶斯派观点 - SegmentFault
频率派的AB Test统计原理,基于假设检验方法步骤,样本数的估算方法贝叶斯派的AB Test统计原理:观测数据->计算后验->做出决策工业界AB Test流程.
#48. A/B test --计算实验所需样本量_浮豹的博客-程序员宅基地
n是每组所需样本量,因为A/B测试一般至少2组,所以实验所需样本量为2n; · α和β分别称为第一类错误概率和第二类错误概率,一般分别取0.05和0.2; · Z为正态分布的分位数函数 ...
#49. 如何做好AB测试 - JELLY
接下来就从实验设计和统计这两方面讲解如何有效的做AB测试。 ... 则都填写大盘的标准差,也就是公式里面的S。样本量上左边填写大盘的每日样本数,右边 ...
#50. 如果老板问你,什么是A/B Testing,你该怎样回答?
另外,对于较小的样本集合,我们可以依赖于t-检验。 z检验(z-test)是在数据是正态分布和随机抽样的假设下运行的,目的是验证测试集( ...
#51. 如何快速上手AB Testing ?_文化& 方法 - InfoQ
说A/B Testing 的步骤之前,我想说,A/B Testing 实验不是说你做了一次实验拿到结果就再 ... 指标的样本量(反过来样本量也决定了实验的运行时长)。
#52. 從Facebook情緒實驗到A/B Testing - CH.Tseng
從Facebook情緒實驗到A/B Testing ... 兩種版本的使用者群與測試環境是在同一時間內隨機的分組進行,所以實驗結果並不會受到時間或樣本差異的影響。
#53. 商业分析师在A/B测试中的常见错误,你犯过吗? - MarTechApe
细分的样本量小:测试后形成的细分最终可能会变得非常小。因此,通过比较测试版本的不同细分而得 ... 各大互联网、科技公司A/B testing面试题解题步骤示范与详细解析。
#54. 关于AB Test 你要知道的一切-数澜社区
实际AB Test应用中,我们用的观测目标多是比例形式(例如: 转换率、留存率等)。在统计学中,有一个叫做两样本比例假设验证,该验证的最小样本量计算 ...
#55. 美团配送A/B评估体系建设实践
而A/B-test就是我们精细化迭代的一个“利器”,通过为同一个迭代目标制定两个或多个版本的方案,在同一时间维度,让组成成分相同(或相似)的A/B群组 ...
#56. 研究設計與統計方法 - 長庚醫院
統計檢定:Z test 檢定, t test 檢定, 變異數分析(ANOVA), 相關分析 ... 小小樣本(有一格子期望值E < 2 or 20%以上格子< 5): 用Fisher's exact test p 值.
#57. 小流量AB测试能做吗?能! - 51Testing
假设在转化漏斗的第3层的页面进行AB测试,在统计试验UV的时候,比较科学的 ... 当试验版本和原始版本样本数不相同时,有一个计算等效样本数的公式:.
#58. 数据分析必须懂的假设检验 - gists · GitHub
互联网产品中,抽样也无处不在,大名鼎鼎的AB测试就是一种抽样,选取一部分人群 ... 根据统计学中的中心极限定理,当样本数足够时(n>30),x拔的抽样分布可近似于正态 ...
#59. 召奴的大哉问系列:B2B 是否要做AB Test
但是,大家可能不知道,要做一个成功的AB Test实验,它背后的成本是非常 ... 但在B2B领域中测试的时间相对会被拉长,除了样本数的原因外,另一个重要 ...
#60. A/B Testing:轻松Pass二轮面试!AB 测试具体步骤及参数详解
对于商业分析师必考的面试题 A/B Testing 到底要如何准备才能百分百Pass? A/B Testing 正... ... 计算所需的 样本 量(例如主题测试,人口测试) 4.
#61. 为什么要做AB test - 日记- 豆瓣
为什么要做AB test 为了优化[https://www.infoq.cn/article/BuP18dsaPyAg-hflDxPf] “ 无法衡量就无法优化…… abtest 系统是进行变量控制和优化方向选取 ...
#62. 【A/B Testing 手把手實作過程分享】by 張修齊- 許幼如
主題:【A/B testing 數據分析與決策實務研討: A/B Testing 手把手實作 ... 的統計顯著性,就可以使用工具網頁算出最少要幾天的樣本數才能測出效果。
#63. 提高Facebook/IG A/B Test成效!Ad Manager 4大A/B Test要點
不過Multivariate Test其實需要較大的流量和廣告費,才可以總結出有意義的結果。如果你的單日經費還沒達到三位數美金的水平,一般都不適合使用Multivariate Test來測試廣告 ...
#64. 两篇文章带你深入理解A/B Testing(一) - 鸟哥笔记
导读:如果希望了解A/B Testing 实际应用的指标说明,可以直接读文章的第 ... 这个定理是我们实验能成立的理论基础,也是实验要一定的样本,实验周期 ...
#65. A/B Test,基于友盟+U-App个人改版实验分析报告
截至29日,同样实验样本,新版邮箱验证数达3,755次,高出旧版邮箱验证数511%。 3.3交易数据分析. 12.jpg. 交易次数对比的是实验上线星期前后9天的数据 ...
#66. 招聘帖里常说的“A/B TesT”到底是个啥? - PMCAFF
顺嘴提一句,在算出AB测试所需样本数量大小后,根据网站或App每天的访问数,即可计算出试验所需的时间。 试验所需的时间 ...
#67. AB测试中,如何做好科学分流? - TrackingIO Blog
AppAdhoc A/B Testing的科学流量分割具备两个特性:. 1、均匀分流. 基于分流算法,配置等比例的流量规则,将样本均匀地分配至不同试验版本当中,可以 ...
#68. 06 | 选择实验样本量:样本量越多越好吗? - 极客时间
如果我问你,做A/B 测试时多少样本量合适,你的第一反应肯定是,那当然是越多越好啊。 ... 对均值\sigma^2_{pooled}指标计算公式中有用到样本数n,但目标就是预估样本 ...
#69. 做A/B Test实验时,需要多少样本量? - 技术圈
在适当的条件下,中心极限定理告诉我们,大量相互独立随机变量的均值经适当标准化后依分布收敛于正态分布,AB测试采用双样本对照的z检验公式。
#70. 第十四章無母數統計檢定(Nonparametric Statistics) - Apple
魏克生等級和檢定(Wilcoxon Rank Sum Test). 3. 三組以上獨立樣本 ... 當群體分佈未知、不為常態分佈,或樣本數為小樣本時的統計 ... 無母數檢定(Nonparametric tests).
#71. 【A/B測試】找出無效行銷原因,提升效益的不敗法則
A/B測試(A/B Testing)又稱為拆分測試,透過向用戶隨機顯示兩個或多個變體版本,並使用統計數據來確定哪種版本的效果更好。換句話說,這是把現有流量 ...
#72. 趨勢檢定
統計學家發明了許多統計檢定方法–單一樣本檢定平均數Z test(σ已知), ... 用了超過一個母數的統計模型,以判斷該模型中的全部A/B 測試需要多少樣本數?
#73. 估計與檢定
同樣的,在分析結果中,亦列出了95%信賴區間及二組資料之樣本變異數的比例值。 範例程式碼:. > var.test(norm2.test[,1],norm2.test[ ...
#74. 一文读懂AB测试完整流程!新春大吉,进店有福利!!!
关于样本量的确定,之前的文章中我们有介绍过。在热云数据AppAdhoc A/B Testing平台我们会提供“样本计算器”的小工具,无论是大流量还是小流量,都可以 ...
#75. keras crf - BUBUWORLD
方法介绍# 近年来,随着深度学习的日益发展和落地,对抗样本也得到了越来越多的关注。 ... aaa adgb nh bcea dbb ab gio cbcb ai jmod md jha ahbe bbsj kd rdx mng eadb.
#76. 胡椒粉提取物市场预计到2028年将达到数十亿美元
索取2023-2028年胡椒粉提取物战略市场报告样本https://www. ... of Business Strategies | By -Lab Equipment, Lansmont, SHINYEI Testing Machinery.
#77. 〔路透专访〕中国宜搜未来两三年可望上市,与百度和谷歌同台 ...
“数据结果的差异可能跟抽样的样本有关,第三方的调研更多来自于PC(个人电脑) ... 在经过数轮融资後,VC持有宜搜40%的股份,剩馀60%由包括汪溪在内的公司 ...
#78. 聊聊AB测试的流程和常见问题 - GA小站
最小总样本是8155,每天可获取样本量是5000,那么测试时间=8155/5000=2,上图的中的Days to Complete Test就是测试时间,所以测试时间需要2天。
#79. SPX3940AM3-2.5 - Datasheet - 电子工程世界
dropout voltage and a fast transient response. They are fully fault protected against over-current,. reverse battery, and positive and negative voltage ...
#80. 數學| 科學Online - 國立臺灣大學
本文將介紹無母數統計法中的符號檢定(sign test) 方法,檢測單一中位數或成對群體 ... 建構信賴區間時樣本數大小的決定(How to Determine Sample Size ...
#81. AB-Test 最小样本量_算法与数据驱动-商业新知
... 对应组的样本量是否达到最小样本量,数据之间是否存在显著性差异,以及进行差异大小的比较。 如下图:. 新知达人, 增长黑客AB-Test系统(四)——AB.
ab testing樣本數 在 [心得] A/B Testing 常見的「偷看結果」問題- 看板DataScience 的推薦與評價
[關鍵字]: A/B Testing
[重點摘要]:
- A/B Testing 的正確做法,是預先決定實驗樣本數,
並禁止偷看結果、甚至提前結束實驗
- 偷看結果會使偽陽性錯誤率(Type-1 Error)上升
- 在嚴重的狀況,會讓你手中看似有統計顯著性的決策,
20% 以上是錯誤的
最近在工作中發現團隊會對 A/B Testing 的統計檢定有些迷思
常會因為檢驗出現統計顯著性就想提早結束實驗
因此整理成一篇文章,與大家一起探討這樣會有什麼問題
我也在文章內附上 Google Colab 的 Python 程式碼,透過實作來呈現問題
網誌好讀版:
https://haosquare.com/ab-testing-peeking/
# A/B Testing:「偷看結果」將成為最大的錯誤
如果你身處該開始推行 A/B Testing 的團隊,相信你曾遇到過這樣的情境:
「我們的產品隔日回訪率一般是 40%,我看了數據,現在執行的 A/B Testing,B 組的新
設計讓回訪率提升到 42% 了,我們立刻讓所有使用者採用 B 組設計吧!」會議中,同事
興奮地提出這項建議,大家也紛紛同意。
「原本不是設定 A/B Testing 要執行一週嗎?現在才執行兩天、樣本數總共才蒐集兩萬人
而已,要等一週資料蒐集完整才能做決策吧?」有人提出疑惑。
「可是 A/B 組的 KPI 差異有統計顯著性啊!就決定讓產品改用新設計的 B 組吧!」主管
看完數據就這麼做出決議。
乍看之下,只要通過統計顯著性的檢驗,就應該是有科學方法的嚴謹決策。然而,這個 A/
B Testing 情境的問題,是在實驗樣本蒐集完整之前「偷看結果」。偷看結果最嚴重的下
場,是讓你手中看似有統計顯著性的決策,20% 以上是錯誤的。這篇筆記將說明為何會有
此問題、以及如何避免。
如果你喜歡寫 Code 實作,我在 Google Colab 也用 Python 呈現了本文探討的問題。
https://reurl.cc/yggaNa
## 實驗的「預期問題」什麼?
產品在執行 A/B Testing 之前,我們會先決定這個實驗所需樣本數。現在網路上也有許多
人設計方便的計算機可以使用,不需要統計軟體就能算出所需樣本數。當然,你不需要知
道所有統計檢定的數學推導、也能運用 A/B Testing 改善產品,但是,你至少該知道「所
需樣本數」背後的假設是什麼。
例如,APP 在做 A/B Testing 常見的 KPI 之一是「次日留存率」,也就是新進使用者隔
日會再使用此 APP 的比例。如果 APP 目前次日留存率是 40%,團隊做了一項新設計,並
期望這項新設計會讓次日留存率提高至少 1%,那麼,為此新設計做的 A/B Testing,所需
樣本數計算會如下圖:
「只要 A/B 兩組都各有至少 37,719 個樣本,並且 B 組的次日留存率超過 41%,就能拒
絕虛無假設,說明 B 組的設計較好。」這樣的解釋還不足夠,這段敘述忽略了假設檢定預
期內會發生的問題,這些預期問題就寫在上圖計算機的下半部:
- Statistical Power 80%:如果 A/B 兩組確實有差異,有 80% 的機率,會被統計檢定確
實偵測到
- Significance Level 5%:如果 A/B 兩組其實並沒有差異,有 5% 機率,統計檢定會因
為隨機性判定成有差異(偽陽性)
換句話說,設定 Significance Level 為 5%,用正確的方法持續做多次 A/B Testing 實
驗,每 100 次拒絕虛無假設、並決定採用實驗組( B 組)新設計的狀況,預期約有 5 次
會是錯誤的(明明 B 組沒有更好我們還是改採用它)。
如果你是決策者,你當然可以覺得 5% 的偽陽性錯誤率風險太高。以此例而言,同樣是現
有次日留存率 40%、期望 B 組提高 1%,如果你想要更保守點,把上圖計算機最下方的
Significance Level 從 5% 改成 1%,你就可以讓 A/B Testing 預期內的偽陽性錯誤率(
Type-1 Error)下降到 1%,並看到計算機告訴你,為了讓統計信心提高,你需要增加更多
所需樣本數。
比起 Statistical Power,對 Significance Level 討論較多,是因為偽陽性錯誤造成的
成本較高。以疫苗研發為例,如果檢驗出現偽陽性錯誤,表示明明沒有成效、卻生產千萬
支疫苗給全台灣人民使用,這會是多大的浪費!在 Significance Level 的假設下,統計
檢定控制了對偽陽性錯誤的預期,但是在 A/B Testing 的情境中,如果決策者偷看了實驗
結果,這項控制將失效、偽陽性錯誤率大大提高。
## 「偷看」的問題
在前面段落提及範例:APP 目前次日留存率是 40%、期望的留存率差異是 1%,需要每組至
少 37,719 個樣本。下圖是據此設計、實際商業決策會遇到的 A/B Testing 偷看情境:我
們預先設定每組總共要蒐集 40,000 個樣本,但是每蒐集 10,000 個樣本我們就偷看一下
結果。然而,此情境刻意設計 A/B 兩組母體沒有成效差異。
兩條線分別是 A/B 兩組,隨著蒐集樣本數量增加、次日留存率的變化狀況。
如圖所示,這項實驗中,當我們在兩組各只蒐集 10,000 個樣本就急著偷看結果:
- 兩組 KPI 分別是 41.2% 與 39.5%
- 做了卡方檢定也觀察到顯著性(P-value < 0.05)
如果在此就決定 B 組較好並採用,會做出明明 A/B 兩組沒有差異、卻仍改採用實驗組的
錯誤決策。也就是說,偷看 A/B Testing 結果提高了偽陽性錯誤率。
如果乖乖等到蒐集完預先設定的 40,000 樣本數,並不代表決策者可以完美避免掉偽陽性
錯誤,而是可以把偽陽性錯誤率控制在預期內的 5%。若偷看結果、並提早結束 A/B
Testing,偽陽性錯誤將會大於 5%,而且偷看越是猴急、錯誤率會越高。
### 越急著偷看、問題越嚴重
實際寫 Python Code (見參考資料) 設計實驗、觀察偷看頻率的差異,在 A/B 兩組實際上
並沒有成效差異(也就是 A/A Testing)的狀況下:
- 每累積 33.3%(三分之一)所需樣本數偷看一次,若有顯著差異就提前結束實驗,偽陽
性決策錯誤率還低於 10%
- 更猴急點,每累積 5% 所需樣本數就偷看一次,若有顯著差異就提前結束實驗,偽陽性
決策錯誤率會超過 20%!
也就是說,如果允許無限制偷看 A/B Testing 結果,那你所做出的改變、並且自以為會讓
產品更好的決策,至少 20% 是錯誤的!
這並不是一個誇張的情境,實驗者樣本蒐集速度緩慢的時候,更容易失去耐心而步入這項
錯誤。40,000 所需樣本數的 5% — 也就是每組各 2,000 人,當你是剛起步、或者仍在測
試階段的 APP 設計者,要蒐集 2,000 人樣本可能需要半個月時間,會害你覺得 A/B
Testing 進度太慢,就想急著做統計檢定、下結論。
## 正確做法:預先決定實驗樣本數,並禁止偷看
解釋了這麼多,都是為了呈現問題的嚴重性,而要解決這個問題也不難:事先決定好實驗
所需樣本數,並且數據分析師要把關 A/B Testing 流程,未達所需樣本數、不可偷看結果
也不可貿然決策。
A/B Testing 所需樣本數,來自團隊共同決定出的要素:
- 數據分析師提出現有 KPI 為何
- 團隊討論出期望提高 KPI 達到多少量,才值得做出決策、並改變產品
- 統計檢定需要多少信心、可容許多少偽陽性錯誤率
A/B Testing 完整蒐集所需樣本數才做檢定,這些團隊共同決定、對實驗假設的共識才有
意義。就算樣本蒐集緩慢,可以考慮提高 Significance Level,增加預期內偽陽性錯誤率
、以換取所需樣本數下降;而不是用偷看、提早結束實驗的方式,加快實驗結束的速度、
卻讓偽陽性錯誤決策增加到預期外的範圍。
註:上述計算機是依照經驗法則的公式找出所需實驗樣本數
https://www.evanmiller.org/how-not-to-run-an-ab-test.html
## 結語
偷看 A/B Testing 結果的問題,除了前述在樣本蒐集緩慢的狀態下容易發生以外,我個人
認為在熱血沸騰的團隊工作也很容易發生相同問題。產品設計者有過多的點子,都想透過
A/B Testing 來驗證新點子是否有成效,實驗剛上線沒多久就追著數據分析部門要結果:
「看起來差異顯著了耶?可以改了嗎?可以執行下一個實驗了嗎?」
作為資料科學家、或者作為決策者,為了避免團隊的熱血因為脫韁的偽陽性錯誤、而變成
徒勞無功,你必須為了團隊的產品保持耐心,做好事前的實驗設計、並且讓實驗確實遵守
設計達到所需樣本數,再做決策。
參考資料:
- Evan Miller: How Not To Run an A/B Test
- https://www.evanmiller.org/how-not-to-run-an-ab-test.html
- 好豪的 Google Colab: A/B Testing 問題 Python 實作
- https://reurl.cc/yggaNa
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.12.23.135 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1598095615.A.678.html
然後帶著假設去按文中的計算機決定樣本數
至於要多久時間, 就看你實際收樣本的速度了
可是如果你偷看又不會做決策... 何必偷看?
※ 編輯: AgileSeptor (60.250.32.97 臺灣), 09/03/2020 10:51:30
... <看更多>