[韓啤攻略—大同江啤酒,北韓的驕傲(好多圖)]
呢枝係一枝啤酒,冇乜特別。當然醒少少(其實都唔使好醒)嘅,會知道上面寫嘅係韓文。而都唔使識韓文,再醒少少,去過韓國嘅,應該冇見過呢種啤酒。
各位觀眾,呢枝就係北韓人的驕傲,北韓嘅大同江啤酒。聞說在中國東北丹東,或者首爾都可能有得賣,特別係北韓菜館,但我冇見過(亦冇去過)。北京都好似有
講返呢支大同江啤酒,冇誇張,真係北韓人嘅驕傲。亦都真係冇誇張,非常好飲。
留意韓戰1953年結束後,兩韓分治(其實再早啲已經係)。而要知道,韓戰開始時,北韓幾日已經攻佔漢城(而家首爾) — 好合理,因為你望下地圖,首爾離三八線40公里左右,話咁快就到。唔止,南韓軍備極雞,又冇準備,好快手(個半月)北韓軍已經攻佔咗朝鮮半島百份之九十幾,「其實可以強拍」。南韓軍係退到去釡山,朝鮮半島最南咁滯。然後先有仁川登陸聯軍反擊,收復漢城再打返過三八線,再有中共參戰之類。
________________________________________
講呢啲主要係想講,兩韓分治初期,北韓國力明顯強過南韓。唔單止係軍事,工業亦都係(亦多得日治時代嘅分工,北工南農)。最重要係,行社會主義嘅北韓,經濟係好過資本主義嘅南韓嘅!呢個兩韓分治初期,講緊係頭二十年。然後南韓先追返上嚟。足足去到1970年,韓戰廿年後,南韓嘅人均GDP先追過北韓 — 夠晒諷刺嘅係,除咗外國勢力,主要係多得獨裁者朴正熙
不過呢啲已經係咸豐年代嘅事。舊文有寫(http://bit.ly/2I4Kv7t),而家南北韓經濟差天共地,北韓差不多世界最窮(但其實都未真係包尾,低處未算低)。南韓就其中一個最富裕嘅國家。
想講嘅係,點解大同江啤酒係北韓人嘅驕傲?因為,啤酒似乎係北韓而家唯一一樣勝過南韓嘅東西。以前在運動可能係(北韓世界盃一早入過八強,唔使靠出術添),但而家南韓差不多每一方面(除咗軍隊人數)都勝過北韓
就係啤酒例外。
當然呢個,亦都多得南韓嘅啤酒實在好難飲。係世界知名嘅西啤。我同好多男仔唔同,我幾鍾意韓國,甚至嘢食都係。唯獨係啲啤酒就真係唔掂。其實啲燒酒露我都好怕。冇正式統計,但觀乎啲韓國佬真係嗜酒如命,就連啲後生韓妹都係千杯不醉咁。啲燒酒啤酒廣告好多都係韓國女明星做代言 — 在香港好似唔見噃。
而亦有人反駁,啤酒呢啲嘢,好大程度係marketing。個個話好飲難飲,只係偏見。Blind test 根本冇幾多人分到,
可能係,我唔敢講我味蕾好敏感。但就連經濟學人都話南韓啤酒很西(https://econ.st/2zuH1FP),唯一一樣北韓叻過佢嘅嘢
關於南韓啤酒點解咁西,篇文有講。主要都係因為冇競爭,兩大巨頭玩晒。
一係就喜達/海特(Hite)。55% market share,完全係痴線,特別係啤酒呢啲咁激烈而消費者價格好敏感嘅行業。又,而家真露都係呢間嘢出。而家代言人係Red Velvet個隊長,之前N年係IU。又話說呢隻咁嘅Hite 啤在日本好賣得,明顯係啲架佬鹹濕,硬晒就分唔到咩味,或者隔離飯香。
唔係喜達,就係OB ,Oriental Brewery。Cass啤亦都係佢。而家係外國AB InBev擁有。
呢兩間嘢加埋,好似係98定99% market share。而家加埋日韓交惡,杯葛日本啤酒(其實本身都好少人飲)。
經濟學人自己實地研究,唔止味道差不多,根本就連價錢都一樣 — 典型嘅Duopoly合謀定價。
呢啲亦都係多得以前啲法律,保護財閥。依法治國嘛,以前啤酒廠,要有100萬升嘅產能先拎到牌,否則只能自己即場賣,咁即係細廠唔使玩。早幾年先放鬆到12萬升
最正嘅係,經濟學人呢篇文,聽聞就在韓國引起掀然大波,迫使南韓政府都改例。後來文在寅上台,自己祖藉係北韓人,明顯冇上手咁敵視北韓。韓國人甚至聯署話要引入大同江啤酒,搞到南韓啤酒廠大力反對云云—因為驚唔夠人鬥。
________________________________________
掛住講南韓啤點解咁難飲,都未講北韓。北韓啤唔止比南韓好飲,同其他地方相比都絶不失禮。我甚至覺得係我飲過最好嘅啤酒 — 不過,亦好可能係我浪漫嘅想像,加上幾日幾夜冇啖好食,有啲正常嘢就覺得好好飲。應該都搞次Blind Test.丹東我就唔去,北韓都冇打算再去,但聽聞首爾有。下個月就去試下。唔使等再去北京
科學啲嚟講,就話其實因為北韓太窮,窮到污染都冇(真?),所以啲水最靚咁話。另外,個人口味,但大同江啤酒酒花含量低,可能我比較鍾意。仲有導遊(英國佬)補充,啲大同江啤酒好似冇消毒冇防腐,所以不能放得耐,亦夠晒純正。
講開,呢個大同江啤酒,其實歷史唔長。係千禧年嘅事。係肥仔金個老豆金正日引入嘅。設備係英國嘢,即時明晒。之後仲有德國技術。2009年呢隻東西仲拍咗北韓電視史上第一條商業廣告。兩分幾鐘架大佬!(http://bit.ly/2zmB6mt)
真係唔呃你,在北韓幾日,的確冇啖好食。對,我是麻撚煩嬌生慣養的港仔,但都係講事實。當然唔會食唔飽,實飽。我亦唔會拎幾個杯麵入北韓(話時話,酒店好似有辛辣麵賣)。
即係,早餐反而還不錯,有麵包有豬內。啲正餐(午餐晚餐)係唔掂的。除咗最後一餐韓燒(北韓當然都有韓燒)鴨肉好啲。
而第一晚就係最唔掂,因為睇完大匯演《阿里郎》,好似成九點幾十點先返酒店,當然就剩低啲咁嘅東西。
又話時話,有狗肉食的說!有幾出奇?南韓都有狗肉食。最正嘅係,呢味東西係要加錢先有得食的,要預訂。結果得一個團友(鬼佬)舉手要食。而更正嘅係,去到真係食時,其他啲冇畀錢嘅鬼佬鬼婆又話要試一啖,嘻。仲一路食一路講poor puppy,虛偽到。
________________________________________
最後嘅一個故事:
話說去北韓平壤,嚟嚟去去都係住嗰一兩間酒店,我地就住羊角島。當然唔會玩半夜閃出去呢啲嘢。酒店有賭場,但全部係大陸佬。好似有得唱K,但冇玩。更加正係有乒乓波打 — 本身唔特別,但如果你一個去呢,個北韓大媽服務員會係落場同你對打戥腳的!
呀仲有,按摩。當然係正骨。
我同朋友一齊膽粗粗去試,咁當然係兩個加埋過百歲嘅北韓大媽。識講啲普通話,但明顯聽到唔係母語。我地兩個入去到,係同一間房,兩張按摩床。然後大媽甲同我講:「你,脫衣服」。
於是我照做
然後大媽乙同我朋友講:「你也脫。」
於是我朋友都照做
幸好佢地下一步唔係叫我地互摸格劍。
好啦,按摩按摩,呀北韓大媽對我地相當有興趣,係咁聊我地傾計。特別係問完我朋友做乜,同埋我做乜,之後。好似仲有問埋我地結咗婚未(!)
然後按按下,其中一個大媽,用啲機械普通話同我地講:
「要不要我們去喝啤酒,大同江啤酒」
咁,就當然bu qu啦。唔係大唔大媽問題,即係如果係後生女仲驚。但大媽都好,都驚嘛。
但,留意,大媽去引誘我地地嘅,唔係LV 唔係 靚車,就係,大同江啤酒。
「ab test統計」的推薦目錄:
- 關於ab test統計 在 君子馬蘭頭 - Ivan Li 李聲揚 Facebook 的最讚貼文
- 關於ab test統計 在 紀老師程式教學網 Facebook 的最佳貼文
- 關於ab test統計 在 [心得] A/B Testing 常見的「偷看結果」問題- 看板DataScience 的評價
- 關於ab test統計 在 產品數據分析|快速理解A/B Testing ,提升產品決策品質 的評價
- 關於ab test統計 在 a/b test案例2023-在Facebook/IG/Youtube上的焦點新聞和熱門 ... 的評價
- 關於ab test統計 在 a/b test案例2023-在Facebook/IG/Youtube上的焦點新聞和熱門 ... 的評價
- 關於ab test統計 在 #討論自製A/B testing 統計引擎的二三事 - 軟體工程師板 | Dcard 的評價
- 關於ab test統計 在 一份数据科学A/B 测试的简单指南 - GitHub 的評價
- 關於ab test統計 在 数据科学家读书会Book 13 – 《A Practical Guide to A/B Testing ... 的評價
ab test統計 在 紀老師程式教學網 Facebook 的最佳貼文
上天堂了嗎?再追加 44 本免費 Python 電子書,全文送給你!
今天早上兩本 Open Source,加上中午 39 本 JavaScript 相關電子書享受了嗎?覺得上天堂了嗎(還是書多到讓你學不完、快下地獄了... XD)?那麼準備上天堂的閣樓吧!有注意到的朋友應該看到,中午那 39 本 JavaScript 電子書網頁的左上角,暗藏 44 本免費的「Python Books」喔!沒注意到也沒關係,我把網址先給您:
http://pythonbooks.revolunet.com/
然後照慣例幫大家整理一下書籍,分類一下,好讓您容易找到想要的書:
理論類:
- Welcome to Problem Solving with Algorithms and Data Structures
- Data Structures and Algorithms with Object-Oriented Design Patterns in Python
- Building Skills in Object-Oriented Design
- Think Complexity
- Modeling Creativity:Case Study in Python
Python 語法:
- An Introduction to Python
- Building Skills in Programming: How To Write Your Own Software Using Python
- Python for you and me
- Python 3.x Programming: Made Fun and Easy
- Snake Wrangling for Kids
- Building Skills in Python
- The Hitchhiker’s Guide to Python!
- Python 101 -- Introduction to Python
- Non-Programmer's Tutorial for Python 3
- Google's Python Class
- A Byte of Python
- A bit of python and other things
- Dive Into Python 3
- How to Think Like a Computer Scientist? Learning with Python: Interactive Edition (Using Python 3.x)
- Learn Python The Hard Way, 3rd Edition
- Think Python
(以上為初階)
- Porting to Python 3: An in-depth guide
- Python Modules of the Week
(以上為進階)
- Python Scientific Lecture Notes
- High Performance Python
- Test-Driven Development with Python
(以上為高階)
Python 函式庫:
- The Standard Python Library
- Kivy Documentation
- Django Tutorials
- Getting Started with Django
- Pyramid for Humans
Python 應用:
(網頁)
- Web2Py
- Flask Microframework
(遊戲)
- Making Games with Python and PyGame
(編碼學與密碼學)
- Hacking Secret Ciphers with Python
(自然語言處理)
- Natural Language Processing with Python
(視覺處理)
- Programming Computer Vision with Python
(統計學)
- Think Stats: Probability and Statistics for Programmers
- Probabilistic Programming and Bayesian Methods for Hackers
有 iPad 的朋友,可以將該網站偽裝成 App,在 iPad 首頁為這個網站加一個圖示(icon),方便日後開啓喔!方法參考這裡:
http://www.soft4fun.net/mobile/ipad-iphone/%E6%8A%8A%E6%9C%80%E6%84%9B%E7%9A%84%E7%B6%B2%E7%AB%99%E5%81%BD%E8%A3%9D%E6%88%90-app.htm
這樣你也可以學我,在咖啡廳看電子書消磨一整天了~
ab test統計 在 產品數據分析|快速理解A/B Testing ,提升產品決策品質 的推薦與評價
A/B Testing 的概念其實不難,就是提供使用者兩個版本的產品,經由統計假說檢定,來判斷實驗結果是否會如我們的預期,特定變數會產生顯著差異,例如: ... ... <看更多>
ab test統計 在 a/b test案例2023-在Facebook/IG/Youtube上的焦點新聞和熱門 ... 的推薦與評價
什麼是假設? 在推論統計中,會出現虛無假設(null hypothesis) ... 從案例實戰看AB Test系統設計及其原理 ... ... <看更多>
ab test統計 在 [心得] A/B Testing 常見的「偷看結果」問題- 看板DataScience 的推薦與評價
[關鍵字]: A/B Testing
[重點摘要]:
- A/B Testing 的正確做法,是預先決定實驗樣本數,
並禁止偷看結果、甚至提前結束實驗
- 偷看結果會使偽陽性錯誤率(Type-1 Error)上升
- 在嚴重的狀況,會讓你手中看似有統計顯著性的決策,
20% 以上是錯誤的
最近在工作中發現團隊會對 A/B Testing 的統計檢定有些迷思
常會因為檢驗出現統計顯著性就想提早結束實驗
因此整理成一篇文章,與大家一起探討這樣會有什麼問題
我也在文章內附上 Google Colab 的 Python 程式碼,透過實作來呈現問題
網誌好讀版:
https://haosquare.com/ab-testing-peeking/
# A/B Testing:「偷看結果」將成為最大的錯誤
如果你身處該開始推行 A/B Testing 的團隊,相信你曾遇到過這樣的情境:
「我們的產品隔日回訪率一般是 40%,我看了數據,現在執行的 A/B Testing,B 組的新
設計讓回訪率提升到 42% 了,我們立刻讓所有使用者採用 B 組設計吧!」會議中,同事
興奮地提出這項建議,大家也紛紛同意。
「原本不是設定 A/B Testing 要執行一週嗎?現在才執行兩天、樣本數總共才蒐集兩萬人
而已,要等一週資料蒐集完整才能做決策吧?」有人提出疑惑。
「可是 A/B 組的 KPI 差異有統計顯著性啊!就決定讓產品改用新設計的 B 組吧!」主管
看完數據就這麼做出決議。
乍看之下,只要通過統計顯著性的檢驗,就應該是有科學方法的嚴謹決策。然而,這個 A/
B Testing 情境的問題,是在實驗樣本蒐集完整之前「偷看結果」。偷看結果最嚴重的下
場,是讓你手中看似有統計顯著性的決策,20% 以上是錯誤的。這篇筆記將說明為何會有
此問題、以及如何避免。
如果你喜歡寫 Code 實作,我在 Google Colab 也用 Python 呈現了本文探討的問題。
https://reurl.cc/yggaNa
## 實驗的「預期問題」什麼?
產品在執行 A/B Testing 之前,我們會先決定這個實驗所需樣本數。現在網路上也有許多
人設計方便的計算機可以使用,不需要統計軟體就能算出所需樣本數。當然,你不需要知
道所有統計檢定的數學推導、也能運用 A/B Testing 改善產品,但是,你至少該知道「所
需樣本數」背後的假設是什麼。
例如,APP 在做 A/B Testing 常見的 KPI 之一是「次日留存率」,也就是新進使用者隔
日會再使用此 APP 的比例。如果 APP 目前次日留存率是 40%,團隊做了一項新設計,並
期望這項新設計會讓次日留存率提高至少 1%,那麼,為此新設計做的 A/B Testing,所需
樣本數計算會如下圖:
「只要 A/B 兩組都各有至少 37,719 個樣本,並且 B 組的次日留存率超過 41%,就能拒
絕虛無假設,說明 B 組的設計較好。」這樣的解釋還不足夠,這段敘述忽略了假設檢定預
期內會發生的問題,這些預期問題就寫在上圖計算機的下半部:
- Statistical Power 80%:如果 A/B 兩組確實有差異,有 80% 的機率,會被統計檢定確
實偵測到
- Significance Level 5%:如果 A/B 兩組其實並沒有差異,有 5% 機率,統計檢定會因
為隨機性判定成有差異(偽陽性)
換句話說,設定 Significance Level 為 5%,用正確的方法持續做多次 A/B Testing 實
驗,每 100 次拒絕虛無假設、並決定採用實驗組( B 組)新設計的狀況,預期約有 5 次
會是錯誤的(明明 B 組沒有更好我們還是改採用它)。
如果你是決策者,你當然可以覺得 5% 的偽陽性錯誤率風險太高。以此例而言,同樣是現
有次日留存率 40%、期望 B 組提高 1%,如果你想要更保守點,把上圖計算機最下方的
Significance Level 從 5% 改成 1%,你就可以讓 A/B Testing 預期內的偽陽性錯誤率(
Type-1 Error)下降到 1%,並看到計算機告訴你,為了讓統計信心提高,你需要增加更多
所需樣本數。
比起 Statistical Power,對 Significance Level 討論較多,是因為偽陽性錯誤造成的
成本較高。以疫苗研發為例,如果檢驗出現偽陽性錯誤,表示明明沒有成效、卻生產千萬
支疫苗給全台灣人民使用,這會是多大的浪費!在 Significance Level 的假設下,統計
檢定控制了對偽陽性錯誤的預期,但是在 A/B Testing 的情境中,如果決策者偷看了實驗
結果,這項控制將失效、偽陽性錯誤率大大提高。
## 「偷看」的問題
在前面段落提及範例:APP 目前次日留存率是 40%、期望的留存率差異是 1%,需要每組至
少 37,719 個樣本。下圖是據此設計、實際商業決策會遇到的 A/B Testing 偷看情境:我
們預先設定每組總共要蒐集 40,000 個樣本,但是每蒐集 10,000 個樣本我們就偷看一下
結果。然而,此情境刻意設計 A/B 兩組母體沒有成效差異。
兩條線分別是 A/B 兩組,隨著蒐集樣本數量增加、次日留存率的變化狀況。
如圖所示,這項實驗中,當我們在兩組各只蒐集 10,000 個樣本就急著偷看結果:
- 兩組 KPI 分別是 41.2% 與 39.5%
- 做了卡方檢定也觀察到顯著性(P-value < 0.05)
如果在此就決定 B 組較好並採用,會做出明明 A/B 兩組沒有差異、卻仍改採用實驗組的
錯誤決策。也就是說,偷看 A/B Testing 結果提高了偽陽性錯誤率。
如果乖乖等到蒐集完預先設定的 40,000 樣本數,並不代表決策者可以完美避免掉偽陽性
錯誤,而是可以把偽陽性錯誤率控制在預期內的 5%。若偷看結果、並提早結束 A/B
Testing,偽陽性錯誤將會大於 5%,而且偷看越是猴急、錯誤率會越高。
### 越急著偷看、問題越嚴重
實際寫 Python Code (見參考資料) 設計實驗、觀察偷看頻率的差異,在 A/B 兩組實際上
並沒有成效差異(也就是 A/A Testing)的狀況下:
- 每累積 33.3%(三分之一)所需樣本數偷看一次,若有顯著差異就提前結束實驗,偽陽
性決策錯誤率還低於 10%
- 更猴急點,每累積 5% 所需樣本數就偷看一次,若有顯著差異就提前結束實驗,偽陽性
決策錯誤率會超過 20%!
也就是說,如果允許無限制偷看 A/B Testing 結果,那你所做出的改變、並且自以為會讓
產品更好的決策,至少 20% 是錯誤的!
這並不是一個誇張的情境,實驗者樣本蒐集速度緩慢的時候,更容易失去耐心而步入這項
錯誤。40,000 所需樣本數的 5% — 也就是每組各 2,000 人,當你是剛起步、或者仍在測
試階段的 APP 設計者,要蒐集 2,000 人樣本可能需要半個月時間,會害你覺得 A/B
Testing 進度太慢,就想急著做統計檢定、下結論。
## 正確做法:預先決定實驗樣本數,並禁止偷看
解釋了這麼多,都是為了呈現問題的嚴重性,而要解決這個問題也不難:事先決定好實驗
所需樣本數,並且數據分析師要把關 A/B Testing 流程,未達所需樣本數、不可偷看結果
也不可貿然決策。
A/B Testing 所需樣本數,來自團隊共同決定出的要素:
- 數據分析師提出現有 KPI 為何
- 團隊討論出期望提高 KPI 達到多少量,才值得做出決策、並改變產品
- 統計檢定需要多少信心、可容許多少偽陽性錯誤率
A/B Testing 完整蒐集所需樣本數才做檢定,這些團隊共同決定、對實驗假設的共識才有
意義。就算樣本蒐集緩慢,可以考慮提高 Significance Level,增加預期內偽陽性錯誤率
、以換取所需樣本數下降;而不是用偷看、提早結束實驗的方式,加快實驗結束的速度、
卻讓偽陽性錯誤決策增加到預期外的範圍。
註:上述計算機是依照經驗法則的公式找出所需實驗樣本數
https://www.evanmiller.org/how-not-to-run-an-ab-test.html
## 結語
偷看 A/B Testing 結果的問題,除了前述在樣本蒐集緩慢的狀態下容易發生以外,我個人
認為在熱血沸騰的團隊工作也很容易發生相同問題。產品設計者有過多的點子,都想透過
A/B Testing 來驗證新點子是否有成效,實驗剛上線沒多久就追著數據分析部門要結果:
「看起來差異顯著了耶?可以改了嗎?可以執行下一個實驗了嗎?」
作為資料科學家、或者作為決策者,為了避免團隊的熱血因為脫韁的偽陽性錯誤、而變成
徒勞無功,你必須為了團隊的產品保持耐心,做好事前的實驗設計、並且讓實驗確實遵守
設計達到所需樣本數,再做決策。
參考資料:
- Evan Miller: How Not To Run an A/B Test
- https://www.evanmiller.org/how-not-to-run-an-ab-test.html
- 好豪的 Google Colab: A/B Testing 問題 Python 實作
- https://reurl.cc/yggaNa
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.12.23.135 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1598095615.A.678.html
然後帶著假設去按文中的計算機決定樣本數
至於要多久時間, 就看你實際收樣本的速度了
可是如果你偷看又不會做決策... 何必偷看?
※ 編輯: AgileSeptor (60.250.32.97 臺灣), 09/03/2020 10:51:30
... <看更多>