關於 次日留存率 ，我們在網路上蒐集到這些相關的討論、資訊與評價

前言：

測試學習是個理論簡單，但實作起來會遇到很多疑問的學習過程。曾經跟Sean Ellis 一起工作的曲卉寫的這本書不但實用，而且還訪問了一大票測試專家。

他們對於測試主題的選擇（大題目還是小題目）、AARRR漏斗的重點，還有測試團隊在組織內的發展也都有不同的見解。

我覺得很值得多看看，所以做了筆記跟大家分享。

這次分3 part，先來一串九個人我印象最深的測試心得，再來九個人的訪談摘要，最後是九個人對於組織與人的看法。enjoy~

..........

《硅谷增長黑客實戰筆記》曲卉



#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"不要只做優化，要做有高影響力的事情。不過，得先做優化累積影響力。"

#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"不要把所有數字綁在一起看，用戶分群是有效優化的開始。"

# GloStation / Postmates（送餐）, 陳思齊
"限制供給可以透過奇怪的方式，製造FOMO(害怕錯過fear of missing out) 社交地位(social status)等，讓產品流行"


# Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"低垂果實摘完後，會陷入低潮與瓶頸。全公司（或跨團隊）的創新idea大匯集會讓大家一起幫忙，並且不要浪費對失敗案例的紀錄與策略學習。"


#Cerberus Interactive/Acorns (微型投資）, Sami Khan
"醜陋、原始的廣告更像是朋友在對用戶說話，有更高機率穿透用戶的防衛心"


#Camera360（修圖）, 陳思多
"漏斗的無限解構，原本以為是單純解決留存率問題，結果深究了四層（留存率—>推送更新覆蓋率—>推送更新展示率—>下載權限設定）才達到目的。"


#Square（支付）, 羅揚 James Luo
"增長與嚕羊毛黨的鬥智鬥勇，對獎勵的設計要有吸引力，又要養成使用習慣，還要善用推薦者的資訊讓新用戶感受到個性化的感覺。"

#探探（校園招聘）/ 美圖（修圖）, 韓知白
"要做增長先要備好基礎設施（行為數據後台，A/B測試框架），才能夠更快速迭代與勤能補拙。"

#專訪 Keep（運動）/豆瓣（社群）, 張弦
"有些問題除了用數據作判斷外，直接問用戶可以達到更直接的效用，而且幫助增長團隊打開視野。"

---九篇專訪的摘要全文---

#9-1 Greylock Partner / Pinterest(圖片秀）, Casey Winters

-北極星指標是會變動的


-產品（也就是核心地帶）通常是增長的投資報酬率最高的測試，但很難直接說服公司其他成員直接拿產品動刀。


-增長團隊一開始成立時候，選擇三不管地帶，以證明自己；之後才進展到核心地帶


-核心地帶的創造新價值、改善原有價值，通常是產品團隊負責。傳遞已有價值給更多人則是增長團隊負責。


-增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響


-做測試時候，如何在容易衡量但效果慢跟全新設計但不知哪個因素產生作用之間做取捨？優化測驗要一個個做，改變方向測驗則直接直搗黃龍。而改變方向的測試才能反應高影響力。


-當低垂果實摘完後，要做高影響力需要高資源的測試需求，而不是低資源但也只需要低影響力的需求

#9-2 Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell

-對行動應用來說，留存是所有指標中最重要的，因為客人離開沒有成本，但留存會對你有無限好處。留存指標包含以日、週、月計算。

-增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。

-以每週的循環討論測試設計、結果與去留。

-SC的做法不是所有用戶綁在一起看留存率，是用戶分群後看留存率，包含新用戶、流失後重新造訪用戶、重複使用用戶。

-當移動應用要藉由更版推送提升客戶體驗的時候，如何達到最好的整體效果？衡量指標是RRF 覆蓋率(reach), 相關性(Relevance), 頻率(Frequency) 三個都達到高水準則影響力最大。但覆蓋率是這當中最重要的

#9-3 GloStation / Postmates（送餐）, 陳思齊


-我的前一間公司(Stolen)，每個增長流程與工具都做得很好，但就是產品不夠好。當我到Postmaster之後發現他們什麼成長技巧都沒有，但產品很符合市場需求。

-增長最令人喜歡的是，能量化你的影響力，當你實驗做得好，結合了創造力與分析能力得出很好的想法，就像寫程式一樣，你做了某件事就有某個結果。這是令人上癮的。


-增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。

-K因子（referral 用戶轉介人數）持續大於1是不可能的，尤其當你的產品越做越大，群體越來越多。即使是社交軟體，要讓k因子大於1 也需要一些違反自然規律的設計。

-稀缺性可以透過奇怪的方式，讓產品更加流行。從Stolen 得到的認知是，限制供給，造成稀缺性。心理因素是害怕錯過(FOMO) 社交地位（social status）等

-即使在矽谷，增長團隊也不多見。Google就沒有。但是FB就有一大批增長團隊並且擴散到其他地方。增長就是技術驅動，易於衡量的行銷。增長團隊更像升級版的行銷團隊，有了程序員的支持可以把推薦系統做得更精準，未來增長團隊會和市場團隊在一起而不是產品。

-用少於10%的流量，可以做任何測試。

#9-4 Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree

-數學不會就是不會，增長沒效就是沒效。增長可以很快做出改變，並且追蹤哪些改變有效哪些無效。

-增長的低垂果實摘完後，會陷入疲乏，就需要大量idea。創新idea 兩種重要想法：每週五的全公司頭腦風暴 & 忠實紀錄失敗的測試並從中學到策略想法。

-增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大象（重大影響力但耗資源）跟螞蟻（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情

-新產品開始獲取客人的三種方法：(1) 付費搜索廣告，可以找到真的需要產品並且非常有興趣的人 (2) 抄競爭對手的做法，可以找到他們已經開發過的市場(3) 根據產品特殊屬性的增長手法

#9-5 Cerberus Interactive/Acorns (微型投資與機器人投資）, Sami Khan

-靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。

-檢視總預算，跨通路預算調整（放大表現好的），通路內預算調整（用七天平均放大表現好的）

-2C新產品上線的建議是先在FB做小量A/B測試，找出好的再往其他通路擴散。測試前要設好追蹤，沒有追蹤，測試學習的迴路就不會成立。

-比起其他app，遊戲是最不需要擔心用戶獲取的，因為人們下載無成本；比較需要擔心的反而是用戶留存。因此要一小批一小批的獲取用戶後，關閉其他溝通通路，只針對這小群人做各種產品測試與改進，確定30 日留存率到達可用水準後才能繼續獲取用戶。

-臉書上，越醜的廣告表現越好。因為大家對電視已經疲乏，精美的廣告創意讓人想到電視會自動跳過，但粗糙的原始的則像是你朋友分享的。

#9-6 Camera360(Photo Editor), 陳思多

-漏斗的無限解構，以解決留存為例。原本想藉由app更新處理留存率低的問題，但發現更新覆蓋率不夠高，後來又發現問題是更新的展示率（被看到）低，而展示率低的原因又是app一開始下載時候的預設權限。所以回頭更改預設權限設定，在更改後次日留存率實現5%增長。（但如何在用戶已下載後調整權限啊）


-各地區的差異化溝通，以美國市場為例，經過逐一測試不同族群發現40+婦女喜歡此產品，於是將廣告視覺改為該族群會喜歡的可愛孩子展示功能，降低33%的獲客成本

-增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。

-增長團隊需要的數據分析師，是對產品有深切了解的數據分析人，而不是純粹解讀數字。

#9-7Square(支付服務）, 羅揚 James Luo

-留存主要是產品決定的，但在早期留存（D14-D90)增長可以起到很大作用，只要透過各種管道（信件、推送、Retargeting 廣告）重新提醒用戶，就會對早期留存產生明顯效用。

-要做全產品用戶推薦的指標的先決條件，是內部有堅實的大數據團隊，足以做獲客通路歸因。

-通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。

-好的推薦系統會牽涉到三大項目，獎勵、曝光、轉化。其中獎勵的設計是與嚕羊毛黨鬥智鬥勇的活動。獎勵內容要考慮『有吸引力的額度、合適的條件限制、養成使用習慣的限制，累進式獎勵、考慮對稱式獎勵（利己又利人）』

-即使是最忠誠的用戶，也不會時刻記得你的獎勵項目。

-新用戶進來後，可以用推薦人的資訊提醒他們使用獎勵，不僅給新用戶個性化的感覺，也提醒新用戶『我確實獲得了某人的推薦』

#9-8 探探（校園招聘）/ 美圖(Photo Editor), 韓知白

-美圖的用戶留存指標設在N張照片保存，一開始是基於通路管理的需要，因為有些通路留存數據會有回饋延遲以及作假的問題。

-探探的市場部與增長部的區別在，市場部負責花錢，增長部不負責花錢。

-增長不是先做ＫＰＩ管理，而是要有好的基礎設施（行為數據後台，A/B測試框架）才能開始觀測指標與迭代增長。

-快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。

-增長要避免的第一個坑就是局部優化，這裡改一點截圖，那裡改一點文案。其實也許改產品名字與圖標是最有效提升app商店轉化率的途徑。增長經理要能夠跳脫盒子思考（out of box thinking)

-剛開始做測試的人，要忘記喬布斯張小龍等產品的大神，他們是靠直覺也很少看數據：正常人要靠數據與即時反饋，勤能補拙。


#9-9 Keep(運動）/豆瓣(社群), 張弦

-全景漏斗，關心橫向的產品功能交互關係。當一個產品不只是工具，還有社交，內容等多種功能。可以根據不同功能設計指標，再看看功能
之間的交互拉提作用，決定整個產品後續的發展。而不是只看單一指標。

-量化與質化的兩腳思維，曾經做測試時候只看指標，以為是Ａ與Ｂ的相關性，但從未想過中間還有個Ｃ。學到後就會在產品中安插小問卷直接問用戶，但要把握3個題目之內的精簡原則，不可以打擾用戶。

-加法與乘法，做增長後了解了加法與乘法的關係。增加一條溝通管道是加法，優化轉化率是乘法。一般來說，乘法的好處更大一些，但這也是基於加法已經帶來足夠的初始流量，否則盤子太小的乘法也沒啥意義。

-做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。

---以下是關於團隊的摘要---

#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響"

#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。以每週迭代的循環討論測試設計、結果與去留。"

# GloStation / Postmates（送餐）, 陳思齊
"增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。"


#Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大事（重大影響力但耗資源）跟小事（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情"


#Cerberus Interactive/Acorns (微型投資與機器人投資） , Sami Khan
"靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。"


# Camera360（修圖）, 陳思多
“增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。”


#Square（支付）, 羅揚 James Luo
“通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。”

# 探探（校園招聘）/ 美圖（修圖）, 韓知白
“快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。”

# Keep（運動）/豆瓣（社群）, 張弦
“做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。”

【聊聊遊戲業中幾種調查玩家的作法與盲點】

早上在Lloyd Melnick的網站中看到了一篇關於用戶調查與訪談的文章，挺有意思的，也帶動了自己的一些思考與看法。

遊戲業理解玩家的方式有幾個，數據研究、問卷分析、用戶訪談等方式。

首先來聊聊數據研究。數據是不會騙人的，這也是為什麼現在遊戲業的做法都是「測試靠前」，遊戲有影片Demo，先丟到市場測試；做了核心玩法，玩法丟到市場測試；遊戲有什麼新功能，試試看A/B test來進行測試。我們可以從點擊率、留存、付費、等用戶行為來看出用戶對某個功能的"反應結果"，也就是玩家喜歡與否。

但數據分析研究也有盲點，他僅能讓你知道"結果"，但"原因"需要自己推敲。你做了一個遊戲，七天的試玩版本，次日留存率有50%，但7日留存率只有10%。明明遊戲第一眼大家是喜歡的，為什麼玩不了七天? 是內容不夠?變化性不夠多? 還是有沒發現的技術問題?

以上問題產品人員只能靠自己的經驗推敲，但每個人的思考都有其侷限性，因此就必須要找想辦法讓玩家來告訴你答案。

從玩家身上找答案的做法，在遊戲業界通常離不開「問卷」、「焦點玩家訪談」、「論壇觀察」等要點。但這些做法在遊戲業，通常會碰到以下幾個問題。

--
●問卷的場景設計問題

最好的問卷我認為是設計在遊戲中的。但很多遊戲開發者沒有意識到這點，通常沒有把這個功能做進去，而是放上問卷連結，讓玩家填寫。這樣做的問題有兩個；首先，問卷的場域決定消費者的區隔與行為。你把問卷放在臉書粉絲團，就只有常去逛臉書的玩家會看到；你放在巴哈，這一批用戶就會有強烈的二次元行為標籤。

而最大的問題是，「只有活下來的玩家」會去遊戲以外的地方做問卷。一個流失或覺得遊戲不好的用戶，是不會再去官網或是任何的遊戲社群，自然就看不到遊戲的問卷連結。問卷的答案就有嚴重的「倖存者偏誤」。

有一種方式是在玩家評價或要流失的那一刻，讓玩家發表意見。譬如跳出視窗，詢問玩家是否願意評價五星時，玩家如果回應否，則跳出一個簡單的問卷，並附上一定的獎勵請玩家填寫。或是在玩家第一次準備要離開遊戲時，跳出這樣的機制請玩家確認。

簡單來說，當玩家離開遊戲，場景變了，很多的意見交流就會失真。但遊戲中的問卷，某方面來說是打斷玩家體驗，因此問題不能多，玩家的耐心也不會好，很難獲得完整且有深度的回饋。

--
●焦點團體「人」的因素很難掌握

早年我自己也辦過幾場關於遊戲的焦點團體訪談過，說實話都蠻失敗的，分享我自己省思後的原因。

首先，焦點團體訪談一般都會有車馬費或是餐點，所謂吃人嘴軟，當玩家從你身上獲得好處後，講話通常會去修飾，即使有覺得不好的地方也容易趨向中庸。

而焦點團體的另一個問題是，越來越不適合目前手機用戶的使用情境。手機遊戲的使用通常是通勤時，上班工作到一半想要放鬆時，或是睡覺前躺在床上助眠(?)時，這些情境都不是找玩家來網咖來公司可以模仿出來的，但卻是最重要的。

所以我個人會覺得，焦點團體訪談可能比較適合用於遊戲上線一段時間後，找意見領袖、大R、公會主進行深度交流較好。這些人會看到很多人的流失、衝突與抱怨。與他們的訪談也容易加強官方與意見領袖的聯繫，成家情感基礎，進而影響其他玩家。

--
●論壇觀察-生氣的玩家講話通常比較大聲

這應該是大部分從業人員觀察玩家反應最直接的方式。玩家會從商店頁、社群網站、玩家交流群中表達自己對遊戲最主要的看法，有時還可以挖掘出非常專業的意見。

但通常玩家不會把開心掛在嘴邊，他們喜歡抱怨，不滿的聲音比較容易被凸顯出來。到底這個抱怨是玩30分鐘的玩家、玩了好幾個月的玩家，或是課了好幾萬的乾爹，也是在玩家社群中比較難觀察出來的，我們很難從各種建議理解背後的用戶分層，並有針對性地做出改變。

而大部分商城類的免費遊戲，由於形塑玩家課金的動力在於競爭，80%的免費玩家肯定打不贏20%的課長，容易表達對於失敗的不滿。因此論壇容易充斥坑錢、不公平、福利不夠多等意見，因此早期我也有聽過某遊戲公司訪談曾說過，他們不是太在意玩家在論壇的建議與抱怨，僅專注在自己想做的方向上，僅以數據做主要的參考。

其他還有蠻多可以聊的，不過我想重點在於搭配，每種工具都有相對應的短版，同時使用各工具並從交集中找到關鍵，才能避免從單一工具陷入盲點而不自知。

最重要一點，要清楚分辨，你是要找到‘’真正‘’的答案，還是你心中‘’想要‘’的答案。

＃再寫要破萬字了
#剩下的在之後的Podcast聊好了
#No236

🔥每週遊戲新聞觀察-2020.07.W4
　
本週挑出以下五則新聞：
📺《10年營銷老兵「工作手記」：這麼做遊戲營銷，職場少走兩年彎路》
📺《在白熱化的日本RPG市場，莉莉絲、遊族是如何突圍的？》
📺《獨遊+商業變現成新套路？又一款像素手游韓國暢銷TOP10》
📺《觀察 | 長期留存率 — 為何以 180 日留存率替代 30 日留存率（上）》
📺《從ARPG到MMO的神仙操作 《龍之谷2》再成IP衍生新案例》
　
詳細遊戲新聞觀察分享如下，
請參考！
　　　
📺《10年營銷老兵「工作手記」：這麼做遊戲營銷，職場少走兩年彎路》
http://youxiputao.com/articles/20266
　
其實專門講遊戲營運的書非常少，
甚至單純關於講營運的書都很少，
主要原因除了營運這工作涉略太廣以外，
另一個原因就是工作要執行的細節太細碎，
以致於寫起來有點變成滴滴答答的流水帳，
市場接受度並不高。
　
而這本「絕招」一書，
台灣買不到，
但從目錄頁來說，
的確是將遊戲營銷會遇到的工作內容分享出來，
但就像文中所說，
深度略有不足，
而且也欠缺了營運分析這塊，
想對營運分析有更多了解的，
不如看我部落格吧(笑)。
　
但如果你有管道買到的話，
我仍建議買下來當作工具書參考。
　
📺《在白熱化的日本RPG市場，莉莉絲、遊族是如何突圍的？》
http://youxiputao.com/articles/20278
　
文章剖析莉莉絲的《劍與遠征》與游族《Red：Pride of Eden》在日本是如何插旗成功，
作者共分為三個時期作分析，
我依照我個人習慣在後面加上台灣的用法，
分別為：
　
1⃣營銷預熱期 (事前預約階段)
2⃣正式上線日 (上市階段)
3⃣買量期 (上市後階段)
　
日本twitter真的很重要，如果要進軍日本，
twitter的營銷操作是必備的，
其餘的操作細節就看文章囉！
　
📺《獨遊+商業變現成新套路？又一款像素手游韓國暢銷TOP10》
http://www.gamelook.com.cn/2020/07/391960
　
主要是提到《守望傳說 Guardian Tales》目前韓國上市取得了不錯的成績，
我自己看了遊戲畫面和玩法後也非常期待。
但我不愛這篇文章的標題與結論，
因為每當有爆款出現時，總有人開始歸納原因，
好像遊戲上市成功存在著「公式」或「套路」。
如果只看著「風向」或「趨勢」開發，
那就好像營運只盯著「KPI」規劃活動，
稍有不慎就會走在錯誤的道路上。
　
不是說上面就不重要，
我想表達的是，
如果刻意為之而捨棄了產品的「靈魂」，
那反而是捨本逐末的做法，
怎麼設法兼顧與取捨才是關鍵所在，
過與不及將會發現離成功越來越遠。
　
📺《觀察 | 長期留存率 — 為何以 180 日留存率替代 30 日留存率（上）》
http://www.nadianshi.com/2020/07/270219
　
分享我部落格的文章，與此篇文章有異曲同工之妙：
　
留存率其實有個很簡單的觀測數字叫做「40-20-10規則」，
「40-20-10規則」是指如果你想讓遊戲的人數可以逐步累積堆疊，
那麼次日留存率應該大於40%，
週留存率和月留存率分別大於20%和10%。
當遊戲有上述的留存表現時，
代表遊戲本身有足夠的能力留住玩家，
如果持續導入流量，
留存將大於流失，整體玩家數會越滾越大。
　
如果沒有達到上述基本指標，
就代表流失大於留存，
即使投入大批行銷費用也難以留住玩家，
要進一步研究玩家是在遊戲哪個階段流失。
　
✅如果是次留低，代表玩家在初期可能就遇到某些障礙而流失，可能是遊戲下載時間過長、遊戲不符合期待、有重大BUG、遊戲新手指引過長或不清楚、卡關、遊戲介面複雜等
　
✅如果是7日留存低，代表玩家可能在遊戲度過新手引導後出現問題，例如副本難度太高、缺乏競爭力、角色養成複雜、社群機制薄弱等
　
✅如果是30日留存低，可能代表遊戲後期內容空洞、遊戲深度不夠、缺乏長期的遊戲目標等。
　
📺《從ARPG到MMO的神仙操作 《龍之谷2》再成IP衍生新案例》
https://www.youxituoluo.com/525592.html
　
現在推出的幾款MMORPG說實在真的是太千篇一律了，
尤其是中國風MMORPG，
如果單看遊戲畫面除去遊戲名稱的話，
根本分辨不出哪款是哪款。
　
而龍之谷MMORPG遊戲橘子也有代理，
年底會上線，就再觀察觀察吧！
　
話說，這種轉換遊戲類型再推出的遊戲，
我印象中NEXON的新瑪奇也有推出卡牌遊戲叫《瑪奇決戰》，
但並未獲得太多關注，於2018年8月結束營運。
　
另外比較經典的應該是RO吧，
一直不斷搞穢土轉生，
除了老本行MMORPG外，
一下搞放置，一下出卡牌，
可說是五花八門。
　
或許之後會看到更多類似的老IP以調整遊戲類型之姿重新出現在我們眼前，
也期待龍之谷能華麗轉身外，
也幫忙在MMORPG這塊僵化的死海中激起一片漣漪。
　
以上就是上週遊戲新聞觀察，下週見。