每天整理國際疫情的 derekhsu 也被列入名單
derekhsu：『恭喜恭喜，我竟然也被當成中共同路人之一了，這應該算是一個榮譽嗎？是不是該換用了十幾年的暱稱了？我們來對於這種垃圾報告沒有打算看看，覺得不關我的事，結果想不到我居然列名榜單之上。
於是我就想看看這些研究到底是什麼東東，不看就好，看了反而笑死，#這是什麼碩士作業等級的報告？所謂的文字雲、文字連結這些非監督式文字探勘跑出來的東西，都是簡單的工具就可以跑出來的，而且 #只要有作過文字探勘或輿情分析的人都知道這種研究的關鍵在於字典的選擇。
這裡面的研究使用了「COVID-19字典」，最好玩的是，#竟然沒有任何reference說這些字典是怎麼挑出來的。
通作這種字典有三種方法，#專家法、#統計法 跟 #參照法，專家法就是請一群訓練有素的專家透過問卷調查的方式，統計法則是利用一群有關的文章作關鍵字分析或是詞、文章向量訓練，然後再計算文章概念相似度，在挑出文章，參照法則是根據其他的研究列出字典。
我是想要看看這篇作者是誰，還有他是哪間研究所或博士畢業的，怎麼會覺得這樣的文章做出來解釋就覺得沾沾自喜開心得很，跟某些自稱認知作戰專家的政治學教授差不多，你基本的東西作不好，做出來的東西就是垃圾了啊。
還有後面有提到「刺激情緒的『情緒渲染』」在內，要知道的是，這叫做 #文章情緒分析，要說人家文章有在情緒渲染，有做完情緒分析嗎？文章內傳達的情緒，這是可以透過資料科學的方式作分析的，很多品牌會根據Twitter來作分析，這篇研究純粹也是用喊的。
說實在的，#這些NLP基本功沒作，#那剩下來的東西只有五個字，就是「#看圖說故事」。
「看圖說故事」的研究可多了，我每天貼的疫情統計大概也就是看圖說故事，不過我可沒有領研究經費，你給我一百萬去研究數據，我也可以生出來一篇圖文並茂的統計分析。
我再來看看我被歸類在哪些領域，我被列在「讚揚中國防疫措施」「排他性敘述/給我上海復星BNT」跟「抨擊國產/國內相關措施」這三點裡面。
要說我立場是這樣，這倒是沒錯的。但幹你老師綠共現在不是在抄中國防疫措施嗎？
入境驗三次，屏東封村普篩打疫苗，那個不是中國在幹過的？
給我上海復星BNT這就更是廢話了，BNT是目前世界上效果最好的疫苗之一，而且他可以打年輕人，上海復星是BNT大中華區唯一代理商，更誇張的是人家還不是代理，人家還是投資方跟研發單位，我們買的BNT可能就有5%, 3%的中國成份疫苗在內。什麼疫苗都要就是不要BNT，這政府沒有病是什麼？至於抨擊國產/國內相關措施，這更是他媽的廢話，我說要入境普篩現在有沒有？
一堆人在批評台北的相關措施，那台北就不算國內了嗎？另外，國產疫苗的處理過程好壞有眼睛的人應該都很清楚，不用我再多說什麼，我還有不只一次支持研發國產疫苗，甚至還幫國產疫苗說過話，我反對的是目前國產疫苗的過程。 https://www.ptt.cc/bbs/Gossiping/M.1621947532.A.A92.html
還有這篇文章去下定義「幫忙帶風向」跟「針砭時事」的定義作得非常之爛，因為 #他沒有作帳號的背景分析，除了IP之外，就 #驟下結論說這些帳號是在幫中共洗地，這是更是 #完全沒有遵守研究中立性的立場。甚至也不用繼續作資料探勘，你簡單查一下這些人的過去發文紀錄就知道，這些人的角度是什麼？
網軍會在股板發消息嗎？（幹你面板雙貓害我賠十幾萬） https://www.pttweb.cc/bbs/Stock/M.1626394403.A.85F
網軍會分享松島楓開微博的消息嗎？是不是因為微博要說我是中共同路人？ https://www.pttweb.cc/bbs/japanavgirls/M.1625998753.A.194
網軍會分享東奧熱身賽嗎？ https://www.pttweb.cc/bbs/NBA_Film/M.1625972483.A.39E
網軍會酸韓導酸到上自由時報嗎？ https://news.ltn.com.tw/news/politics/breakingnews/2733113
甚至還說因為這兩篇我是疫苗乞丐的發明人？ https://www.ptt.cc/bbs/Gossiping/M.1612146762.A.A76.html
拜託，這篇文章才7推耶，7推帶什麼風向？我何德何能7推就能帶風向，綠共還不請我當網軍頭子？
https://www.ptt.cc/bbs/Gossiping/M.1612181977.A.CB1.html
還有這篇，拜託，這篇也才16推，而且這兩篇都不是發文，只是回文，更好笑的是，#我這篇是在幫政府解釋以色列為什麼可以取得那麼多疫苗我們取得不了，#我是在幫政府說話，這作者是文盲嗎？#我是叫人不要事後諸葛耶？黑人問號。
#簡單來說啦，#這作者是半桶水，#而且很懶，#希望他是沒有領政府經費而是個人義務作這種研究的。』
Re: [討論] 國防安全研究院 PTT八卦板疫情輿論分析 https://disp.cc/b/163-dQvn
前情提要 laptic https://www.facebook.com/PttGossiping/posts/2374475356023448
osalucard https://www.facebook.com/PttGossiping/posts/2374418136029170
COCOCCC https://www.facebook.com/PttGossiping/posts/2374320616038922
Induction 1. https://www.facebook.com/PttGossiping/posts/2374187979385519
Induction 2. https://www.facebook.com/PttGossiping/posts/2374218949382422
DCSHK https://www.facebook.com/PttGossiping/posts/2374167766054207
CavendishJr https://www.facebook.com/PttGossiping/posts/2374128309391486
#認知作戰 #林瑋豐事件 #三級警戒 #新冠肺炎 #武漢肺炎 #COVID19 #COVID2019
資料科學ptt 在 Re: [問題] 統計與資工在資料科學的差異- 看板DataScience 的推薦與評價
也許我跟前一篇神人有共同神人朋友 小弟我是純統計人
大學碩士博士 都是念統計 博士畢業後在一家研究機構擔任
Research Scientist - Data Science
工作快滿四年 雖然只有在一間公司 但可以稍微分享我公司的情況
首先 不只我的背景是純統計 我的研究領域是實驗設計 電腦實驗
可以說離ML DL 非常遙遠 因為在我的世界裡 樣本數超過50個都要偷笑
說個題外話 之前幫一家做大型電器的公司做分析 42個樣本花了1 million (美金)
只是想先對統計人說 在資料科學的世界 不是單純的只有大數據
上班後 我選擇了走向比較偏ML DL的路 目前主要是在做NLP相關的案子
統計人學習ML 其實是不難的 因為大部分的ML 其實在統計的課程裡都有提過
也許著重的方向不一樣 我知道現在沒人在管殘差 normality test等等
如果單純的只是要 找尋適當地ML DL方法 來分析資料
有統計的背景 很快就可以抓到這些方法的精髓
你會說 資工 CS的人這些也都會啊 那統計的人優勢在哪裡
我認為是資料分析上對數字的敏感度 以及找出影響的因子
我的部門裡面大概是5個統計博士 1個應數博士 3個EE or CSE博士 一堆統計CS碩士
統計人通常比較能夠回答 為什麼會這樣 或者當預設的方法行不通的時候
統計人比較能夠想到其他做法 而不是ML 每一個方法是試一遍 用Precision/Recall/F1
來決定使用哪個模型
還記得一個小案子 一個別的部門的主管跟Texas A&M的博士生合作 用LSTM分析一組
Time series 的資料 預測結果非常糟糕 但他們找不出原因
因為LSTM基本上算DL裡面對Time series default 的方法了
那他們做了 LSTM不行 就試試RNN 再試ANN
但其實我只做了一件小事情就解決了問題 畫圖
統計老師最常說的一句話 拿到資料先畫圖 而不是先把資料丟進模型
結論是 哪組資料有四個outputs 有兩個跟另外兩個根本完全不一樣
那是一組石油的資料 灌水進去洞裡面 希望最多石油噴出來
其實有兩個production wells 最後被判定是有問題的
garbage in garbage out
另外 最後老闆跟Texam A&M最喜歡的模型是 Linear model with constraints
因為加了constrints的模型 可以符合其物理意義 而這是LSTM, RNN, ANN做不到的
ML DL的方法真的很厲害 我現在每天都在用BERT, XLNet等models
我都覺得 這些models出來一定讓很多人失業
我們公司之前NLP model 都是請一家專門的公司做的
一年要付他們$16,000 license fee
但在BERT出來後 三個月我們自己做的 就outperform 他們的NLP models
用一樣的training data 更何況我們team 還沒有人是有NLP背景的
當然 以現在工作上需要的東西來看 過去的統計訓練
我認為在 data base 跟 data structure 的方法 是真的比較欠缺的
但在中大型的公司 可能也不是問題
我們公司每個案子 基本上都是 統計跟CS的人配合 (在我們公司都叫DS)
他們負責抓資料 建立Web-service 而我們負責模型的部分
然後都被抱怨寫的code style 不對
而我們都抱怨他們 被他們改過 超難debug
結論 很多人認為資工比較好 統計也不差的 給統計人一點信心
只能說 資料科學家 這個名詞其實包含的很多種不同的工作型態
不同領域的人 在不同的行業會有其優勢
而我認為 要在資料科學家這領域生存
最重要的是不斷的學習 跟上模型進步的腳步
小小心得分享
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 98.31.7.190 (美國)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1592107034.A.B25.html
※ 編輯: allen1985 (98.31.7.190 美國), 06/14/2020 12:00:33
06/14 14:14
其實 我自己也常在想這個問題 因為原本的生涯規劃是要走學術界 一定得念博士
所以一路走來也沒想太多 大學畢業考碩士班 碩士畢業當兵 中研院研究助理
出國博士班
上班以後反而常在想 如果當初我就想走業界 是不是不需要浪費五年拿博士
五年可以賺很多錢的
只能分享在我公司看到的情況
對碩士進來的要求就是 在一個team裡面 主要做dirty work的人
所以8成的時間 可能都在R/Python
對博士進來的要求也是做dirty work 大概6成的時間也都在R/Python/SAS/Matlab
但對博士會要求 要有想法
業界不需要你從理論發展出一個新發法 但需要很快地找出哪個方法可能可以用
而且有東西讓你用 絕對不可能有budget 像博士班一樣 看到一篇paper
花幾個月的時間去implement it
另外就是常常在把A, B, C 方法結合起來 變成一個新的方法
你說 這要求 碩士畢業做不到嗎 其實很多人是可以的
差別就在於 有沒有那個機會 以及有沒有那個習慣
機會是說 PM可能有問題時 會習慣的問博士level的人
所以 機會是要給準備好的人 不管什麼學歷 只要你能一直在開會的時候
一直提出有用的建議 很快你就會進入決策中心 而不是只是單純寫程式的人
那博士班的好處呢
我個人覺得 博士班對於獨立研究的訓練 還是要有其幫助的
尤其遇到傳統方法結果不好的時候
博士level的 通常比較能快速地找出解決方案
大家都知道 資料分析 最不花時間的就是 套用package算出答案
想方法 整理資料 遠比最後一塊算答案的難
在美國大部分統計碩士 是不寫論文的
所以相對來說 只有碩士畢業的人 通常沒經歷過 paper的摧殘
以及如何在幾分鐘內就把paper丟掉 就算title再怎麼像是完美地符合你的需要
不用浪費時間去了解用不到的方法
不敢說不可能 但感覺機會不大 transfer learning 也要先有資料train一個模型啊
後來我們的做法是 因為這個實驗是有simulator的
雖然客戶也不相信simulator的準確率 但經過一些比較 認為simulator 還是有其效果
最後是用Bayesian Calibration Model 來利用真實物理實驗 來校正simulator
而用校正後的模型 來做預測 並找出最佳解
這模型是based on Gaussian process 可能做空間統計 或者電腦實驗的人才會聽過
※ 編輯: allen1985 (98.31.7.190 美國), 06/15/2020 11:55:07
沒這麼複雜喔 簡單地一個概念 灌多少水進去injection wells 理論上就有多少水
從production wells 出來 在這實驗裡 有五個injection wells 四個production wells
我們把迴歸的coefficients 想像成每一個injection well 會貢獻到每一個
production well的比例 所以constraints 是 sum of coefficients for each
injection well = 1 每個coefficients 是0-1的值
至於怎麼fit這樣的迴歸模型 想想了喔！
※ 編輯: allen1985 (98.31.7.190 美國), 06/15/2020 23:12:27
※ 編輯: allen1985 (98.31.7.190 美國), 06/15/2020 23:23:41
... <看更多>