derekhsu：『#沒有使用NLP，#沒有使用機器學習，#沒有使用有效的字典來源與統計方式，換句話說，這整篇研究，就是 #一篇一點參考價值沒有的主觀研究垃圾，#垃圾，垃圾。重要的東西說三次。
https://i.imgur.com/g5MsBl1.jpg
不但是垃圾研究，作者可能還有閱讀困難。上面這篇文章，是在2021年2月1號發表的，當時是針對大國拿走疫苗小國拿不到在那邊靠背發言，現在的疫苗乞丐，是說台灣不買疫苗，只會拿人家捐贈的，這個作者，連時間先後的關係都不懂，就是看到想要看到的。
而第二篇「為何以色列可以拿疫苗」這件事，通篇都在解釋以色列是如何出高價，如「如何出賣個資，如何保證施打，如何在自願當一批大規模施打者」在做解釋，並且對那些質疑「為什麼以色列拿得到我們拿不到的原因」解釋，這些質疑者都是「事後諸葛」。
結果幫忙這樣說的人，被他後面下了這樣的結論 https://i.imgur.com/l9pG2Xu.jpg
這個 #蔡榮峰 居然還有臉說「#並不涉及立場斷」？？？？？請蔡榮峰把全名打出來，國內是哪間學校畢業，國外是哪個學校畢業，你的碩士博士論文指導教授是誰，讓我們看看是哪些人在教你作研究的。
還有資策會就算了，還資策會助理.... 阿....
老實說啦，蔡先生用PTT，是因為只有PTT資料好取得，現在都有API可以拿。另外，沒有NLP跟ML，是你不會。』
Re: [新聞] 國防院解析PTT輿論 作者：僅就現象描述性分析 https://disp.cc/b/163-dQRb ｜新聞原文【中央社報導】 https://disp.cc/b/163-dQRc
#PTT47 #PTT浪人47 #認知作戰 #林瑋豐事件
統計碩士 ptt 在 Re: [問題] 統計與資工在資料科學的差異- 看板DataScience 的推薦與評價
也許我跟前一篇神人有共同神人朋友 小弟我是純統計人
大學碩士博士 都是念統計 博士畢業後在一家研究機構擔任
Research Scientist - Data Science
工作快滿四年 雖然只有在一間公司 但可以稍微分享我公司的情況
首先 不只我的背景是純統計 我的研究領域是實驗設計 電腦實驗
可以說離ML DL 非常遙遠 因為在我的世界裡 樣本數超過50個都要偷笑
說個題外話 之前幫一家做大型電器的公司做分析 42個樣本花了1 million (美金)
只是想先對統計人說 在資料科學的世界 不是單純的只有大數據
上班後 我選擇了走向比較偏ML DL的路 目前主要是在做NLP相關的案子
統計人學習ML 其實是不難的 因為大部分的ML 其實在統計的課程裡都有提過
也許著重的方向不一樣 我知道現在沒人在管殘差 normality test等等
如果單純的只是要 找尋適當地ML DL方法 來分析資料
有統計的背景 很快就可以抓到這些方法的精髓
你會說 資工 CS的人這些也都會啊 那統計的人優勢在哪裡
我認為是資料分析上對數字的敏感度 以及找出影響的因子
我的部門裡面大概是5個統計博士 1個應數博士 3個EE or CSE博士 一堆統計CS碩士
統計人通常比較能夠回答 為什麼會這樣 或者當預設的方法行不通的時候
統計人比較能夠想到其他做法 而不是ML 每一個方法是試一遍 用Precision/Recall/F1
來決定使用哪個模型
還記得一個小案子 一個別的部門的主管跟Texas A&M的博士生合作 用LSTM分析一組
Time series 的資料 預測結果非常糟糕 但他們找不出原因
因為LSTM基本上算DL裡面對Time series default 的方法了
那他們做了 LSTM不行 就試試RNN 再試ANN
但其實我只做了一件小事情就解決了問題 畫圖
統計老師最常說的一句話 拿到資料先畫圖 而不是先把資料丟進模型
結論是 哪組資料有四個outputs 有兩個跟另外兩個根本完全不一樣
那是一組石油的資料 灌水進去洞裡面 希望最多石油噴出來
其實有兩個production wells 最後被判定是有問題的
garbage in garbage out
另外 最後老闆跟Texam A&M最喜歡的模型是 Linear model with constraints
因為加了constrints的模型 可以符合其物理意義 而這是LSTM, RNN, ANN做不到的
ML DL的方法真的很厲害 我現在每天都在用BERT, XLNet等models
我都覺得 這些models出來一定讓很多人失業
我們公司之前NLP model 都是請一家專門的公司做的
一年要付他們$16,000 license fee
但在BERT出來後 三個月我們自己做的 就outperform 他們的NLP models
用一樣的training data 更何況我們team 還沒有人是有NLP背景的
當然 以現在工作上需要的東西來看 過去的統計訓練
我認為在 data base 跟 data structure 的方法 是真的比較欠缺的
但在中大型的公司 可能也不是問題
我們公司每個案子 基本上都是 統計跟CS的人配合 (在我們公司都叫DS)
他們負責抓資料 建立Web-service 而我們負責模型的部分
然後都被抱怨寫的code style 不對
而我們都抱怨他們 被他們改過 超難debug
結論 很多人認為資工比較好 統計也不差的 給統計人一點信心
只能說 資料科學家 這個名詞其實包含的很多種不同的工作型態
不同領域的人 在不同的行業會有其優勢
而我認為 要在資料科學家這領域生存
最重要的是不斷的學習 跟上模型進步的腳步
小小心得分享
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 98.31.7.190 (美國)
※ 文章網址: https://www.ptt.cc/bbs/DataScience/M.1592107034.A.B25.html
※ 編輯: allen1985 (98.31.7.190 美國), 06/14/2020 12:00:33
06/14 14:14
其實 我自己也常在想這個問題 因為原本的生涯規劃是要走學術界 一定得念博士
所以一路走來也沒想太多 大學畢業考碩士班 碩士畢業當兵 中研院研究助理
出國博士班
上班以後反而常在想 如果當初我就想走業界 是不是不需要浪費五年拿博士
五年可以賺很多錢的
只能分享在我公司看到的情況
對碩士進來的要求就是 在一個team裡面 主要做dirty work的人
所以8成的時間 可能都在R/Python
對博士進來的要求也是做dirty work 大概6成的時間也都在R/Python/SAS/Matlab
但對博士會要求 要有想法
業界不需要你從理論發展出一個新發法 但需要很快地找出哪個方法可能可以用
而且有東西讓你用 絕對不可能有budget 像博士班一樣 看到一篇paper
花幾個月的時間去implement it
另外就是常常在把A, B, C 方法結合起來 變成一個新的方法
你說 這要求 碩士畢業做不到嗎 其實很多人是可以的
差別就在於 有沒有那個機會 以及有沒有那個習慣
機會是說 PM可能有問題時 會習慣的問博士level的人
所以 機會是要給準備好的人 不管什麼學歷 只要你能一直在開會的時候
一直提出有用的建議 很快你就會進入決策中心 而不是只是單純寫程式的人
那博士班的好處呢
我個人覺得 博士班對於獨立研究的訓練 還是要有其幫助的
尤其遇到傳統方法結果不好的時候
博士level的 通常比較能快速地找出解決方案
大家都知道 資料分析 最不花時間的就是 套用package算出答案
想方法 整理資料 遠比最後一塊算答案的難
在美國大部分統計碩士 是不寫論文的
所以相對來說 只有碩士畢業的人 通常沒經歷過 paper的摧殘
以及如何在幾分鐘內就把paper丟掉 就算title再怎麼像是完美地符合你的需要
不用浪費時間去了解用不到的方法
不敢說不可能 但感覺機會不大 transfer learning 也要先有資料train一個模型啊
後來我們的做法是 因為這個實驗是有simulator的
雖然客戶也不相信simulator的準確率 但經過一些比較 認為simulator 還是有其效果
最後是用Bayesian Calibration Model 來利用真實物理實驗 來校正simulator
而用校正後的模型 來做預測 並找出最佳解
這模型是based on Gaussian process 可能做空間統計 或者電腦實驗的人才會聽過
※ 編輯: allen1985 (98.31.7.190 美國), 06/15/2020 11:55:07
沒這麼複雜喔 簡單地一個概念 灌多少水進去injection wells 理論上就有多少水
從production wells 出來 在這實驗裡 有五個injection wells 四個production wells
我們把迴歸的coefficients 想像成每一個injection well 會貢獻到每一個
production well的比例 所以constraints 是 sum of coefficients for each
injection well = 1 每個coefficients 是0-1的值
至於怎麼fit這樣的迴歸模型 想想了喔！
※ 編輯: allen1985 (98.31.7.190 美國), 06/15/2020 23:12:27
※ 編輯: allen1985 (98.31.7.190 美國), 06/15/2020 23:23:41
... <看更多>