關於 北極星 量化 ，我們在網路上蒐集到這些相關的討論、資訊與評價

前言：

測試學習是個理論簡單，但實作起來會遇到很多疑問的學習過程。曾經跟Sean Ellis 一起工作的曲卉寫的這本書不但實用，而且還訪問了一大票測試專家。

他們對於測試主題的選擇（大題目還是小題目）、AARRR漏斗的重點，還有測試團隊在組織內的發展也都有不同的見解。

我覺得很值得多看看，所以做了筆記跟大家分享。

這次分3 part，先來一串九個人我印象最深的測試心得，再來九個人的訪談摘要，最後是九個人對於組織與人的看法。enjoy~

..........

《硅谷增長黑客實戰筆記》曲卉



#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"不要只做優化，要做有高影響力的事情。不過，得先做優化累積影響力。"

#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"不要把所有數字綁在一起看，用戶分群是有效優化的開始。"

# GloStation / Postmates（送餐）, 陳思齊
"限制供給可以透過奇怪的方式，製造FOMO(害怕錯過fear of missing out) 社交地位(social status)等，讓產品流行"


# Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"低垂果實摘完後，會陷入低潮與瓶頸。全公司（或跨團隊）的創新idea大匯集會讓大家一起幫忙，並且不要浪費對失敗案例的紀錄與策略學習。"


#Cerberus Interactive/Acorns (微型投資）, Sami Khan
"醜陋、原始的廣告更像是朋友在對用戶說話，有更高機率穿透用戶的防衛心"


#Camera360（修圖）, 陳思多
"漏斗的無限解構，原本以為是單純解決留存率問題，結果深究了四層（留存率—>推送更新覆蓋率—>推送更新展示率—>下載權限設定）才達到目的。"


#Square（支付）, 羅揚 James Luo
"增長與嚕羊毛黨的鬥智鬥勇，對獎勵的設計要有吸引力，又要養成使用習慣，還要善用推薦者的資訊讓新用戶感受到個性化的感覺。"

#探探（校園招聘）/ 美圖（修圖）, 韓知白
"要做增長先要備好基礎設施（行為數據後台，A/B測試框架），才能夠更快速迭代與勤能補拙。"

#專訪 Keep（運動）/豆瓣（社群）, 張弦
"有些問題除了用數據作判斷外，直接問用戶可以達到更直接的效用，而且幫助增長團隊打開視野。"

---九篇專訪的摘要全文---

#9-1 Greylock Partner / Pinterest(圖片秀）, Casey Winters

-北極星指標是會變動的


-產品（也就是核心地帶）通常是增長的投資報酬率最高的測試，但很難直接說服公司其他成員直接拿產品動刀。


-增長團隊一開始成立時候，選擇三不管地帶，以證明自己；之後才進展到核心地帶


-核心地帶的創造新價值、改善原有價值，通常是產品團隊負責。傳遞已有價值給更多人則是增長團隊負責。


-增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響


-做測試時候，如何在容易衡量但效果慢跟全新設計但不知哪個因素產生作用之間做取捨？優化測驗要一個個做，改變方向測驗則直接直搗黃龍。而改變方向的測試才能反應高影響力。


-當低垂果實摘完後，要做高影響力需要高資源的測試需求，而不是低資源但也只需要低影響力的需求

#9-2 Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell

-對行動應用來說，留存是所有指標中最重要的，因為客人離開沒有成本，但留存會對你有無限好處。留存指標包含以日、週、月計算。

-增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。

-以每週的循環討論測試設計、結果與去留。

-SC的做法不是所有用戶綁在一起看留存率，是用戶分群後看留存率，包含新用戶、流失後重新造訪用戶、重複使用用戶。

-當移動應用要藉由更版推送提升客戶體驗的時候，如何達到最好的整體效果？衡量指標是RRF 覆蓋率(reach), 相關性(Relevance), 頻率(Frequency) 三個都達到高水準則影響力最大。但覆蓋率是這當中最重要的

#9-3 GloStation / Postmates（送餐）, 陳思齊


-我的前一間公司(Stolen)，每個增長流程與工具都做得很好，但就是產品不夠好。當我到Postmaster之後發現他們什麼成長技巧都沒有，但產品很符合市場需求。

-增長最令人喜歡的是，能量化你的影響力，當你實驗做得好，結合了創造力與分析能力得出很好的想法，就像寫程式一樣，你做了某件事就有某個結果。這是令人上癮的。


-增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。

-K因子（referral 用戶轉介人數）持續大於1是不可能的，尤其當你的產品越做越大，群體越來越多。即使是社交軟體，要讓k因子大於1 也需要一些違反自然規律的設計。

-稀缺性可以透過奇怪的方式，讓產品更加流行。從Stolen 得到的認知是，限制供給，造成稀缺性。心理因素是害怕錯過(FOMO) 社交地位（social status）等

-即使在矽谷，增長團隊也不多見。Google就沒有。但是FB就有一大批增長團隊並且擴散到其他地方。增長就是技術驅動，易於衡量的行銷。增長團隊更像升級版的行銷團隊，有了程序員的支持可以把推薦系統做得更精準，未來增長團隊會和市場團隊在一起而不是產品。

-用少於10%的流量，可以做任何測試。

#9-4 Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree

-數學不會就是不會，增長沒效就是沒效。增長可以很快做出改變，並且追蹤哪些改變有效哪些無效。

-增長的低垂果實摘完後，會陷入疲乏，就需要大量idea。創新idea 兩種重要想法：每週五的全公司頭腦風暴 & 忠實紀錄失敗的測試並從中學到策略想法。

-增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大象（重大影響力但耗資源）跟螞蟻（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情

-新產品開始獲取客人的三種方法：(1) 付費搜索廣告，可以找到真的需要產品並且非常有興趣的人 (2) 抄競爭對手的做法，可以找到他們已經開發過的市場(3) 根據產品特殊屬性的增長手法

#9-5 Cerberus Interactive/Acorns (微型投資與機器人投資）, Sami Khan

-靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。

-檢視總預算，跨通路預算調整（放大表現好的），通路內預算調整（用七天平均放大表現好的）

-2C新產品上線的建議是先在FB做小量A/B測試，找出好的再往其他通路擴散。測試前要設好追蹤，沒有追蹤，測試學習的迴路就不會成立。

-比起其他app，遊戲是最不需要擔心用戶獲取的，因為人們下載無成本；比較需要擔心的反而是用戶留存。因此要一小批一小批的獲取用戶後，關閉其他溝通通路，只針對這小群人做各種產品測試與改進，確定30 日留存率到達可用水準後才能繼續獲取用戶。

-臉書上，越醜的廣告表現越好。因為大家對電視已經疲乏，精美的廣告創意讓人想到電視會自動跳過，但粗糙的原始的則像是你朋友分享的。

#9-6 Camera360(Photo Editor), 陳思多

-漏斗的無限解構，以解決留存為例。原本想藉由app更新處理留存率低的問題，但發現更新覆蓋率不夠高，後來又發現問題是更新的展示率（被看到）低，而展示率低的原因又是app一開始下載時候的預設權限。所以回頭更改預設權限設定，在更改後次日留存率實現5%增長。（但如何在用戶已下載後調整權限啊）


-各地區的差異化溝通，以美國市場為例，經過逐一測試不同族群發現40+婦女喜歡此產品，於是將廣告視覺改為該族群會喜歡的可愛孩子展示功能，降低33%的獲客成本

-增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。

-增長團隊需要的數據分析師，是對產品有深切了解的數據分析人，而不是純粹解讀數字。

#9-7Square(支付服務）, 羅揚 James Luo

-留存主要是產品決定的，但在早期留存（D14-D90)增長可以起到很大作用，只要透過各種管道（信件、推送、Retargeting 廣告）重新提醒用戶，就會對早期留存產生明顯效用。

-要做全產品用戶推薦的指標的先決條件，是內部有堅實的大數據團隊，足以做獲客通路歸因。

-通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。

-好的推薦系統會牽涉到三大項目，獎勵、曝光、轉化。其中獎勵的設計是與嚕羊毛黨鬥智鬥勇的活動。獎勵內容要考慮『有吸引力的額度、合適的條件限制、養成使用習慣的限制，累進式獎勵、考慮對稱式獎勵（利己又利人）』

-即使是最忠誠的用戶，也不會時刻記得你的獎勵項目。

-新用戶進來後，可以用推薦人的資訊提醒他們使用獎勵，不僅給新用戶個性化的感覺，也提醒新用戶『我確實獲得了某人的推薦』

#9-8 探探（校園招聘）/ 美圖(Photo Editor), 韓知白

-美圖的用戶留存指標設在N張照片保存，一開始是基於通路管理的需要，因為有些通路留存數據會有回饋延遲以及作假的問題。

-探探的市場部與增長部的區別在，市場部負責花錢，增長部不負責花錢。

-增長不是先做ＫＰＩ管理，而是要有好的基礎設施（行為數據後台，A/B測試框架）才能開始觀測指標與迭代增長。

-快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。

-增長要避免的第一個坑就是局部優化，這裡改一點截圖，那裡改一點文案。其實也許改產品名字與圖標是最有效提升app商店轉化率的途徑。增長經理要能夠跳脫盒子思考（out of box thinking)

-剛開始做測試的人，要忘記喬布斯張小龍等產品的大神，他們是靠直覺也很少看數據：正常人要靠數據與即時反饋，勤能補拙。


#9-9 Keep(運動）/豆瓣(社群), 張弦

-全景漏斗，關心橫向的產品功能交互關係。當一個產品不只是工具，還有社交，內容等多種功能。可以根據不同功能設計指標，再看看功能
之間的交互拉提作用，決定整個產品後續的發展。而不是只看單一指標。

-量化與質化的兩腳思維，曾經做測試時候只看指標，以為是Ａ與Ｂ的相關性，但從未想過中間還有個Ｃ。學到後就會在產品中安插小問卷直接問用戶，但要把握3個題目之內的精簡原則，不可以打擾用戶。

-加法與乘法，做增長後了解了加法與乘法的關係。增加一條溝通管道是加法，優化轉化率是乘法。一般來說，乘法的好處更大一些，但這也是基於加法已經帶來足夠的初始流量，否則盤子太小的乘法也沒啥意義。

-做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。

---以下是關於團隊的摘要---

#Greylock Partner / Pinterest(圖片秀）, Casey Winters
"增長團隊必須是全職的，不能跟人共用成員，否則優先順序會被影響"

#Mobile Growth Stack / Sound Cloud (Podcast), Andy Carvell
"增長團隊大約7-8人，包含產品經理、分析師、設計師、程序員，最多的是程序員。產品經理需要對分析、UI/UX設計、程序都略懂，才能跟他們溝通。以每週迭代的循環討論測試設計、結果與去留。"

# GloStation / Postmates（送餐）, 陳思齊
"增長最令人不喜歡的是，會讓你偏向那些容易衡量並且很快衡量的東西。但有時候最重要的事情，例如產品與市場的契合度，反而不是容易衡量的。"


#Growthstructures / Sofi Finance(學貸轉貸）, Steven Dupree
"增長團隊刷存在感兩種做法：(1) 在例會中說明有趣但違反直覺的實驗，已讓大家有印象(2) 把大事（重大影響力但耗資源）跟小事（容易但效益有限）的實驗混合起來，避免人家覺得你沒貢獻或者只會做小事情"


#Cerberus Interactive/Acorns (微型投資與機器人投資） , Sami Khan
"靠創意的廣告狂人時代已經過去，excel 跟計算機才是你的好朋友。"


# Camera360（修圖）, 陳思多
“增長的成功要素是CEO的有意識支持。因為增長會用到很多資源，或是影響很多資源。若是沒有CEO的支持，無法成功。”


#Square（支付）, 羅揚 James Luo
“通路關鍵三大指標(CPA, ROI, LTV）中，最難建模的是LTV。因為涉及對長期留存率與資本折現率的重要假設。”

# 探探（校園招聘）/ 美圖（修圖）, 韓知白
“快速迭代的價值在於，當你沒有人家的靈感，人家一次增長效果比你好3倍(+60% vs +20%）的時候，只要你迭代速度有三倍，還是可以得到一樣的成功增長效果。”

# Keep（運動）/豆瓣（社群）, 張弦
“做產品像開船，動力與方向最重要。產品小的時候，著重動力，加速度要夠。產品體量大了後，動力已經比較足了，著重方向，往哪兒發展就更重要。”

[AppWorks 創業者真心話] Davidd 劉于遜, CHOCO TV 共同創辦人

「Davidd 是 AppWorks 加速器 #2 屆校友，認識他 7 年，知道他經歷與共同創辦人白手起家、題目碰壁了 Pivot、抓對趨勢找到 PMF、一路成長到公司被 M&A。現在離開創辦的公司，準備再次開啟創業新旅程。關於創業點滴，Davidd 梳理出自己的一套心得，透過這次創業者真心話系列，分享給大家。」by 本月編輯 Alyssa
.
.
問：『創業路上總會得到滿滿的建議。但回顧自己的經歷，如果現在的你，只能給初創業者 3 個關鍵字做為提醒，會是什麼？』
.
答："Think Big, Start Small, and Fail Fast."
.
1. #ThinkBig 一定要永遠思考 Big，這個 Big 不單是數量級的 Big。

絕大多數的人，因為看見而相信，但創業者，是因為相信而看見。所以很多時候的選擇，都是違反認知和人性的。哪怕全世界認為不可能、不理解、不認同，但你仍然深信不已，有紀律地去實踐。讓成果「被看見」，這就是創業的必經之路，也是我認為的 Big。因此，信念無比重要，才有可能啟發熱情、勇於面對挫折再突破。

回到 2011 年，當時 4G 及行動裝置正起步，加上網路吃到飽，有感在行動裝置上觀看影片這行為，一定是件會改變人們生活習慣，對比在那之前，觀看影音一定要在電視、電腦前，「行動影音」的用戶體驗，其實更符合人性、需求一定更加強勁。於是，哪怕沒有任何影視經驗和背景，我便抱持這信念往下開展、累積耕耘。

還記得當時第二屆 AppWorks Demo Day 上，我們的第一張投影片就僅寫了大大的四個字「行動影音」，大聲喊出我們要當這領域的專家領導者，看來是青澀的舉動，但其實我們想清楚了這方向非常可為，才因此顯得很大膽，這是我們的 Think Big。

相信你所看見的，就是 Big。
.
.
2. #StartSmall 規模化，是後來的事，真的。

千里之行始於足下，但如何明確走出第一步、且後續不會迷惘？你必須清楚定義事業的北極星 (North Star)，通常是可量化的 1-3 個指標。無論內外在環境如何變化，時時檢視這些指標是否健康成長？如果有，階段性的混亂和不確定都會過去，沒有比這個更重要的事了。

回到我們創業初期，就算有了「行動影音」的信念，資源有限的我們，實際能做的非常有限。當時 YouTube 大量鼓勵開發者，透過提供的 Open API 開發更多元的影音應用，我們發現用戶面對成千上萬的影片，在行動裝置上非常不易搜尋、浪費不少時間。因此我們透過好的分類分級，讓用戶更節省時間、更便利收看喜歡的 YouTube 內容，陸續推出《30秒笑出來》《不好笑免錢》給想找笑料影片的觀眾、還有《MV 舞蹈教學》《音樂 MV 看到飽》《台灣演唱會》給喜歡舞蹈音樂的用戶，這就是我們的 Start Small。

有些題目聽起來不那麼 Sexy，且聽起來很不規模化，但因為就是這個 Small，讓我們開始了積沙成塔的過程，一系列影音策展 (Curation) 的 App，共累積超過 150 萬的下載量。

而我們選定的北極星，就是用戶點選 YouTube 影片的「觀看數量、觀看時間，以及平均每日停留時間。」定義清楚後，便義無反顧地做好服務。從一開始幾個 App，每月用戶平均停留 15-20 分鐘、創造 100 萬的點擊觀看，再透過每日更新、定期推播、首頁策展，讓用戶在個別 App 都能快速找到喜歡的內容，感受到服務的「溫度」，前面的數字便開始每半年翻倍成長。後來專注戲劇的 CHOCO TV，影片每月點擊觀看都是一兩千萬以上、平均每日使用時間達 20-30 分鐘，這都是我們剛開始做這題目時，不能想像的千倍成長，中間的辛苦，都換成「美好北極星」的實際成果。

第一步，一定很不規模化地低著頭走，但要時時刻刻清楚知道自己一直向著「北極星」走，才不容易迷惘。
.
.
3. #FailFast 嘗試本身就是個充滿錯誤的過程。

如果做一件事情不會犯錯，那極大可能就是嘗試的不夠、沒在創新。保持信念追逐北極星的過程，具體來說可簡化為「解決問題」：
- 解決客戶的問題，成就了更好的產品或服務、
- 解決內部組織的問題，成就了堅強的團隊、
- 解決外部產業的問題，就是成就了霸主的誕生。
而這些過程，很多時候是伸手不見五指的，進三退二是常有的事，這就是嘗試失敗的必經之路。

面對失敗，如何衡量自己的能力是否仍在健康狀態上？就要時時刻刻檢視迭代 (Iteration) 速度，也就是在類似的問題、或在相同的時間段裡，整體團隊處理解決和找到方法的能力，是否比過往更上一層 (甚至是顯著優於)。

如果能感受這個迭代 (Iteration) 強度，就可以變成強力武器，見一個問題、解決一個。很多時候最終決勝都是在這個迭代，特別在這變化萬千的環境中，尤其重要。

最初，我們試圖解決用戶找影片的問題開始，透過前面提到 Start Small 眾多不同影音分類 App，開始累積具 Traction 的產品；再來解決行銷發行問題：我們在各別 App 裡頭去提供 Cross Promotion 機制，也是現在常見的蓋板廣告，連續累積高命中率、大獲好評的 App；後來為了解決少資源採購海量版權問題，我們招募數據團隊打造了內容大腦 (Content Brain)、配合電視台有經驗的版權採購，參與海內外的電視展、電視節還有版權展會，累積了精準採購能力，並建立產業上下游關係。

到這個時間點，已經驗證團隊迭代的能力，是市場數一數二不容小覷的。再來就是在版權競爭下，挑戰解決原創自製內容的問題。從市場趨勢，大膽預估對的題材，像是 BL (Boy’s Love)、靈魂交換及都會愛情，找到製作戲劇非常有經驗的內容長加入，開始掌握內容 IP 開發的能力；到後來，我們已具備全面商業化能力。

這一步一步，講出來好像只是兩段話，但每一段的佈局到執行、確立擁有這樣的核心能力，都是每天挑戰自己、迭代 6-12 個月的痛苦過程。失敗的教訓和不安的夜晚，遠比開心慶祝的日子多上太多。

幸運的，團隊實力和實績，都得到了市場的認同，2018 是時候該加足火力全速前進，因此選擇了加入國際大集團。而後，耳熟能詳的 OTT 產業，都是很後面的事了。

讓自己找到好的方法迭代 (Iteration)，讓 Fail Fast 變成一個勝利本事。

“Think Big, Start Small, and Fail Fast”
.
.
[本文作者]
劉于遜 Davidd (double d) 是連續創業者。2011 年從 AppWorks #2 出發，與黃崇傑及翁瑞廷創辦 CHOCO TV，透過大數據 與 AI 購買版權、投資廣告與自製劇，以相對有限資源在台灣線上影視服務產業崛起，2018 年為 LINE 旗下 Mirai Fund 千萬美元併購，改名 LINE TV，並擔任執行長。2020 年離開 LINE TV 轉為純股東持續支持，並重回 AppWorks 這創業起點，以第二屆學長和創業八年經驗回饋這個「大家庭」，並重新充電、吸收大地精華，期待再次啟航。

目前在 AppWorks 擔任產業專家 (Fellow)，負責引導創業者思考大數據與 AI 應用，並提供 AI 相關投資案的專家觀點。成大統計系、交大經管所畢業，熱愛三鐵，單車環島武嶺各三次。
.
.
* 如果你喜歡這系列文章，記得「按讚追蹤」AppWorks 粉絲團，並設定「搶先看」，關注我們持續推出、為創業者企劃的獨家內容！

* 回顧上集創業者真心話，Johnny 蔡豐任，VoiceTube 共同創辦人：https://bit.ly/2DXyjWC

#AppWorks #Startup #Founder #OTT #創業者真心話

【盤中解析】105.12.09
ECB決議延長購債期間，從原訂明年3月結束延長至年底，不過延長的這9個月的購債規模將從800億歐元縮減為600億歐元。持續量化寬鬆是好事，但效果絕對是遞減，所以國際股市也沒有大漲回應。

台股今天差一點過9399.97，最高來到9399.25，看看接下來的3小時有沒有機會。盤面持續反應財報數據，11月營收亮眼的元禎(1725)、南六(6504)等均大漲5%以上，反觀營收不佳的金麗-KY(8429)、清惠(5259)則大跌5%以上。

眾達-KY(4977)，昨天早盤研判為洗盤行為，今天早盤亦然。隨後果然又衝上去，再創新高來到86.5元，自推薦以來漲幅已達四成之多，而且連續第13根紅K棒，很明顯就是有人在照顧。昨日外資和投信買盤休息，自營商則再度加碼。反觀散戶卻在放空，券資比上升到9.61%，不排除後續會有軋空力道。不預設高點，持續看多。

※華冠證券投資顧問股份有限公司(104)金管投顧新字第009號，本資料僅供參考，投資時應審慎評估

歡迎加入閃耀北極星 劉彥良
Fb：https://www.facebook.com/zwz2442b
Line：http://line.me/ti/p/@zwz2442b
或用Line搜尋ID：@zwz2442b