常有許多投資人致力研究過去股價漲跌與某些”訊號”間的關係。譬如他發現,當某某條件成立,股價就會如何改變,而且屢試不爽時,他就會興奮的像發現新金礦,在這個基礎上建立”交易規則”,然後開始著手淘金。
很有趣的方法,也的確有很多人如此努力從事。
但這方法有幾個很大的問題。
首先,假如某人看到一份過去股市漲跌資料,卻無法從中看出什麼時候要買,什麼時候要賣,才會賺錢的話,那可以說,(我想要一個比較客氣的用詞),他就是一個笨蛋。
假如一個投資人,看到過去資料,可以從中找到搭配某些訊號就可以達到買高賣低的目標時,我們不能說他很聰明,頂多,他是不笨而已。
而這個不笨的投資人,往往從這個起點開始,智商成等比衰退。
首先,他們通常不知道什麼是In-sample和Out-of-sample test。
他們滿口說回測回測。從十年的資料中找到的規則,就在這十年之中進行測試。我怎樣都想不到這樣為什麼不會成功。為什麼要反覆確認自己不笨?
這是什麼回測?
在十年資料中找到的規則,然後就在這十年之中進行驗證,這叫In-sample test,這是證據強度極差的測試方法。
一整組資料中往往可以從中找到兩個相關的變數。為了證明這份相關性不是剛好在這組資料中出現的事件。為了證明,這份相關性,不是因為觀察者亟需”成果”,亟需要相關性讓他建立”交易方法”,而從資料中拼命挖掘的Data mining結果。
最好的方法,是將這個相關性,拿到當初導引出這個規則的資料之外,進行測試。
譬如,投資人有十年的資料可以讓他觀察。那麼,他可以從前五年的資料中,找到某種規則,然後在後五年的資料中驗證。這就是一個Out-of-sample test。
任何說自己找到某種交易規則,過去驗證起來,無往不利,然後就彷彿找到投資的倚天神劍,準備一統武林的人,假如他的驗證方法是In-sample test,那麼很不幸的,他的神鋒其實是木劍,而且他要面對拿槍的現代兄弟。
滿口回測,好像知道什麼高深的投資技巧,測驗方法打開一看,居然是In-sample test。這種狀況,惟一需要送回工廠重新測試的,不是什麼投資方法交易規則,是想出這個方法的腦袋。
還有人可以用整套In-sample test,寫出一整本書,書名通常是交易聖經、必勝寶典,之類的用詞。自己不懂就算了,還害到其他不懂的投資人。
一看到這種交易規則,投資人第一個直覺動作應該是,馬上看有沒有做過Out-of-sample test。沒有,螢幕關上、書闔起來,Byebye、再見。提出方法的人,應是不笨。但在投資路上,要勝過別人,光靠不笨,恐怕不夠。(靠承認自己很笨,倒是很夠。)
再來,這些致力於尋找交易規則的人,往往忽略這些”訊號”,是否能合理解釋價格波動。
不是因為投資人想事先知道價格波動,所以所有剛好同期的經濟或市場變數,就都可以拿來解釋價格波動。
沒研究不知道。或許每年二月太陽黑子的數目與美股漲跌有關。或許前一年登陸台灣的颱風數目,與今年的台股有關。
這有道理嗎?假如有些自然變數,被發現與人為市場的起伏有關,這可以拿來當交易規則嗎?(也不完全不行,占星也可做為股市指引。)
相同的道理應用的市場方面,卻很多人以為,只要是經濟和市場相關變數,只要它能解釋價格變化,那就是合理,可用的。
是嗎?
任何經濟或股市變數,假如沒有一個說得通的道理,可以合理解釋為什麼它可以是股價變化的徵兆,那麼這個變數,不足以做為交易規則的基礎。這種”無釐頭”訊號,太常又是Data mining的成果。
許多致力於交易規則的人,不知道In-sample和Out-of-sample test的分別,忽略變數需有合理的解釋。將自己看出過去規則這個不笨的舉動,看作是投資致富的聰明法則。以為自己要出發淘金,其實等著他的,只有愚人金。
原始全文可見:http://greenhornfinancefootnote.blogspot.com/2009/08/in-sample-and-out-of-sample-test.html
同時也有10000部Youtube影片,追蹤數超過2,910的網紅コバにゃんチャンネル,也在其Youtube影片中提到,...
data mining應用 在 AppWorks Facebook 的最佳貼文
金融業者大舉投資 AI 技術,計畫投入 500 億元,先前鴻海在年報也宣布將投資百億元拓展 AI 技術,,對台灣潛在的 AI 技術人才及能量,開始有更明確的市場機會及合作可能。
FinTech 相關的創新應用,及相關大數據與雲服務平台,智慧零售、智慧製造等等應用市場均已展開,相關商機將提供 AI 新創公司良好的發展機會,如何補足傳統金融業、製造業、零售業對於 AI 技術的不足,將是相關新創的重要議題。
你也是 AI 新創嗎?AppWorks #17 將傾注資源,全力幫助相關領域的團隊。不管你是做 IoT、專注開發 AI 技術,或是運用 AI / ML / Data mining 於你的現有產品中,歡迎加入我們>>> https://goo.gl/dmuWpz
data mining應用 在 AppWorks Facebook 的最佳貼文
隱私權是個超過百歲的古典法律概念,但究竟為什麼,即將在 5 月 25 日上路的 GDPR ,會引發全球業界草木皆兵?在注重蒐集用戶數據的 AI 時代,這會產生哪些影響?
首先,GDPR 在適用對象、規範內容和處罰等面向,都宣示前所未見的管制力道。其次,GDPR 明文確認「賦權」(Empowerment) 與「當責」(Accountability) 的觀念,徹底顛覆政府與民間「上有政策、下有對策」的表面和諧。再者,GDPR 可算是首部「單挑」應用 AI 與 Big Data 的隱私保護法令,試圖直搗黑盒子核心。
可以想見, GDPR 上路後,數據利用與用戶隱私之間的權衡與折衝,將成為企業無法迴避的挑戰。
你也是 AI 新創嗎?AppWorks #17 將傾注資源,全力幫助相關領域的團隊。不管你是做 IoT、專注開發 AI 技術,或是運用 AI / ML / Data mining 於你的現有產品中,歡迎加入我們>>>http://bit.ly/2IHjiFp
data mining應用 在 【AI60問】Q20資料探勘6大主要功能與應用? 的相關結果
資料探勘又稱為「資料挖掘」或者「數據挖掘」。英文是Data Mining 或KDD ( Knowledge-Discovery in Databases)。這個步驟是進行知識挖掘的核心, ... ... <看更多>
data mining應用 在 資料探勘- 維基百科,自由的百科全書 的相關結果
資料探勘在零售行業中的應用:零售公司跟蹤客戶的購買情況,發現某個客戶購買了大量的真絲襯衣,這時資料探勘系統就在此客戶和真絲襯衣之間建立關聯。銷售部門就會看到此 ... ... <看更多>
data mining應用 在 Data Mining 的應用實例 - iT 邦幫忙 的相關結果
科學上的應用 ... 在遺傳學上,data mining 可以幫助科學家做DNA 的分析,找出DNA 中的一些變化和某些疾病或癌症是否有關聯。 至於在教育上,我們可以分析學習者的資料及學習 ... ... <看更多>