我想，對於人工智慧的第三次復興，正在引領我們進入第四波工業革命這件事，已經越來越沒有歧見了。不管是 AI 的研究還是投資都在持續加快的此刻，包括我在內的每一位企業經營者，都應該很想知道：未來到底會是什麼樣？我們該拿出什麼策略才能搶得先機？
前總統馬英九在 4/30 日舉辦了一場眾星雲集的經濟論壇（重振台灣競爭力會議），包括馬前總統在內，台上坐了 11 個人，另外 10 位是：鴻海董事長 郭台銘、高雄市長 韓國瑜、前新北市長 朱立倫、前新北市長 周錫瑋、媒體人陳文茜、媒體人陳鳳馨、中小企業主代表劉智源、立法委員費鴻泰、立法委員賴士葆、立法委員 許毓仁。
由於之中有多位被視為即將問鼎總統大位的人物，論壇也變得像是總統辯論。看完整場論壇以及問答的我，儘管並不太滿意，但可從眾人談話中歸納出兩個主軸：第一就是「年輕人的未來」，第二就是「 AI 人工智慧」 。而這兩個我也非常關注的議題，其實是一體兩面：人工智慧被認為是創造未來、帶來希望的契機，但由於人工智慧也被認為將讓許多工作消失，因此也是讓年輕人覺得未來黯淡的因素之一，必須立即應對。
（ 論壇影片：https://www.youtube.com/watch?v=fKygCcdiPbI ）
（ 回溯閱讀：
鄭國威專欄：在人工智慧奪走工作之前
https://tw.appledaily.com/new/realtime/20180803/1403209/ ）
這讓我想到最近有一則令我哭笑不得的消息。在 5/2 日，有一位自稱 18 歲剛入社會工作的九年級 PTT 網友Metallicat，於八卦版發文問卦，他說他在「仔細探究」之後，發現都是七年級的老人趁著台灣經濟起飛的時候，賺了錢，然後又去炒房，才讓八、九年級生現在根本沒未來。
（ [問卦] 七年級炒房讓八九年級出社會買不起房?
https://www.ptt.cc/bbs/Gossiping/M.1556812192.A.E77.html ）
儘管這說法之荒謬令我這個七年級生不知從何吐槽起，總覺得是故意調侃，但若轉個念，我覺得不妨先問：即將邁入中年的七年級跟年輕的八、九年級生，有哪些差異？首先我想知道，在 2019 年的此刻，台灣到底有多少七年級生、八年級生、九年級生？
透過 國發會的「人口推估查詢系統」，我很快獲得答案：民國 70 -79 年出生的「七年級生」，目前在台灣約有 348 萬人，是所有「年級」中人數最多的。而民國 80-89 年出生的「八年級生」則驟降，約有 309萬人，足足比七年級生少了將近 40 萬人。
（ 人口推估查詢系統：https://pop-proj.ndc.gov.tw/ ）
更大的差距出現在八年級跟九年級生之間。於民國 90-99 年出生的「九年級生」，他們今年最小九歲，最大十八歲，總共只有 213 萬人，比八年級生少了將近百萬人。跟七年級生比起來則是少了 135 萬人。至於我的女兒所屬的「十年級生」（2011 年後出生）當然又比九年級生更少了，不過因為目前十年級生還沒全部出現，就不納入討論了。
少子化與老齡化是鐵錚錚的現實，然而從這些數字簡單來看，七年級其實是「僧多粥少」，競爭最激烈、又始終攀不上去的一個「緩衝世代」。
（借用作家黃麗群語，請見 〈在這個時代，當一個單打獨鬥的浪人──專訪黃麗群《我與貍奴不出門》〉https://okapi.books.com.tw/article/12035 ）
此刻的我們不夠老，又不夠年輕，「厭世」、「負能量」、「鬼島」、「崩世代」、「小確幸」、「佛系」這些時代氛圍都從七年級生的「悶」跟「喪」當中孵化出來。在這樣的情況下，我們迎來了人工智慧第三波復興。
關於這波人工智慧浪潮將如何影響年輕人的未來與工作，我們可以依照樂觀跟悲觀分成兩派。樂觀派認為技術革新造成的技術性失業只是暫時的，他們認為推動第一次跟第二次工業革命的技術，如蒸汽機或是電力，都帶來了更多就業機會、讓勞工的薪資提升、整體生產力也提高了。人工智慧這波新技術革命也不例外，甚至可以讓全球人類都過上富足的生活。
( 樂觀派的意見，可參考《富足：解決人類生存難題的重大科技創新》一書。
https://www.books.com.tw/products/0010591811 )
悲觀的人則認為，人工智慧帶動的第四次工業革命就是「例外」，而且從 30 年前起至今，由資訊科技推動的第三次工業革命，就已經與過去兩次工業革命有了不同的發展。特別是在已開發國家，資訊科技帶動生產力的提升，卻沒有讓人們的薪資與就業機會同步提升，反而還下降。什麼零工經濟、斜槓青年，恐怕都只是滑落到「無用階級」之前的美化用詞。
悲觀派的意見在《被壓榨的一代：中產階級消失真相，是什麼讓我們陷入財務焦慮與生活困境？》這本書中有深入的闡述。
然而，不論你是樂觀派還是悲觀派，都得先理解當前人工智慧最主要的價值所在。我在〈人工智慧，一個自我實現的預言〉(上篇) (中篇) 中引用過《AI 經濟的策略思維》一書作者的論點，其實現在的人工智慧提供的價值就是「平價的預測」。而人工智慧帶來的改變並非如科幻電影中那樣突如其來、征服地球，而是漸漸地改變我們生活中的一點一滴，例如當 Amazon 等電商平台越來越能預測消費者的購物偏好跟節奏，就可能將「先下單再送貨」的傳統模式，轉變為「先送貨再下單」的全新模式。
（ 上篇：https://medium.com/%E9%84%AD%E9%BE%9C%E7%85%AE%E7%A2%97%E9%BA%B5/%E4%BA%BA%E5%B7%A5%E6%99%BA%E6%85%A7%E6%99%82%E4%BB%A3-%E4%B8%80%E5%80%8B%E8%87%AA%E6%88%91%E5%AF%A6%E7%8F%BE%E7%9A%84%E9%A0%90%E8%A8%80-%E4%B8%8A-f7f344e8be0 ）
（ 中篇：https://medium.com/%E9%84%AD%E9%BE%9C%E7%85%AE%E7%A2%97%E9%BA%B5/%E4%BA%BA%E5%B7%A5%E6%99%BA%E6%85%A7%E6%99%82%E4%BB%A3-%E4%B8%80%E5%80%8B%E8%87%AA%E6%88%91%E5%AF%A6%E7%8F%BE%E7%9A%84%E9%A0%90%E8%A8%80-%E4%B8%AD-c8b845fa5637 ）
那麼，如果從政府的角度與總統的高度出發，面對人工智慧時代該如何應對呢？如果只是鬼打牆般地說「要利用 AI」、「邁向 AI」、「結合 AI」，不禁令我懷疑是否真的對這個重大議題有足夠的理解。若我身為那場論壇上需要回答問題的 2020 總統參選人，我會仿效最近政壇流行的五字訣，提出「政府得開放、企業更負責、人民要自覺」三個進入 AI 世紀重點。
大多數人期望生活變得更好，就算不發大財，也想安穩地小確幸，人工智慧具有極大的潛能幫助我們達到這個目標，但若政府想發揮這樣的潛能，就要更加開放。
首先，政府在投資與應用人工智慧上，需要獲得外界更多且更完善的監督，切記動輒以機密來迴避，而是要主動提高透明度。如果要使用人民的資料——例如現在有很多政府其他的單位、研究者、企業都想用台灣人的健保資料-——就必須獲得批准，而且這樣的批准流程也必須是公開可檢驗的。
而且，人工智慧作為一種人類創造出的科技，肯定是有漏洞的，政府應該主動修補絕大多數的系統漏洞，不要為了入侵跟監控的目的，而破壞產品或標準規格。例如，政府的警察/司法/國安單位，可能會為了各種目的，隱藏政府掌握的自動駕駛車或是物聯網家電設備的人工智慧安全性漏洞，如果後續因此出現問題，或是被揭露，人們對整個系統的信心都會受到嚴重打擊。
再者，就是企業得更負責。在 2016 年 AlphaGo 征服圍棋之後，先進國政府都不斷加碼，例如美國白宮科技辦公室在 2016 年就推出三份與人工智慧有關的策略報告。分別為「國家人工智慧研究發展戰略計劃書」( National Artificial Intelligence Research and Development Strategic Plan )：
https://www.nitrd.gov/PUBS/national_ai_rd_strategic_plan.pdf
「國家人工智慧、自動化與經濟計劃」( Artificial Intelligence, Automation, and the Economy )
https://www.whitehouse.gov/sites/whitehouse.gov/files/images/EMBARGOED%20AI%20Economy%20Report.pdf
以及「準備迎接人工智慧未來」( Preparing for the Future of Artificial Intelligence )。
https://obamawhitehouse.archives.gov/sites/default/files/whitehouse_files/microsites/ostp/NSTC/preparing_for_the_future_of_ai.pdf
中國國務院也在 2017 年 7 月發佈了《新一代人工智慧發展規劃》，定出三大策略目標，簡單來說就是期望在 2030 年，在人工智慧的理論、技術、與應用三方面都達到世界領先。英國則在 2017 年 10 月發佈了人工智慧發展報告，並在 2018 年 4 月推出《產業策略：人工智慧部門協議書》( AI sector deal ) （ https://www.gov.uk/government/publications/artificial-intelligence-sector-deal/ai-sector-deal ）
希望在面臨未來「人工智慧與數據經濟」、「行動未來」、「潔淨成長」以及「高齡化社會」四大挑戰下，推動英國成為人工智慧全球領先國家。
日本在 2017 年 3 月也提出了 人工智能技術戰略 （http://www.nedo.go.jp/content/100865202.pdf），目標是要建立一個跨領域的 AI 生活跟生態系，與日本原本的社會5.0 倡議結合，強調生產力，健康和行動化，特別重視要讓一般人能夠從 AI 發展中獲益。韓國政府在 2016 年人機大戰後， 立即宣布投入一兆韓元於人工智慧，2018 年又宣布新的五年計畫，將投資 2.2兆韓元，以加強在人工智能方面的研發。（舉例政策或法令），除了以上介紹到的幾個國家，加拿大、澳洲、印度、俄羅斯、法國、德國等國也都各自有類似的國家級AI策略，搭配既有的優勢，手段基本上都不脫離投資新創、人才教育、基礎建設、法規調適等項目。
（ 日本的社會 5.0 倡議
https://www.japan.go.jp/abenomics/_userdata/abenomics/pdf/society_5.0.pdf ）
各國卯起來希望自己能夠大有為地帶動本國的人工智慧產業，然而先行的企業積極投入研發跟打造應用場景，才是這一波人工智慧高潮不斷的動力。問題是，當人工智慧進入了企業運作的流程之後，可能讓企業得以規避責任，包括收集資料，侵犯隱私的責任，以及系統表現不良，造成客戶及使用者損失的責任。
「資料資本主義」主流化，代表資料超過了人力、土地、工廠、資本等等，成為最重要的經營資源。因此，當前企業傾向採取「用便利性換安全性」、「用免費換監控」等經營策略來推廣人工智慧產品，個別使用者很難抵禦。
當企業掌控的資料越多，在人工智慧，特別是深度學習的模式下，就佔據越大的優勢。資料也成為交易的貨幣跟競爭的籌碼，例如 Facebook 就藉由封鎖部分競爭公司，像是 Twitter 推出的 Vine 短視頻 App 使用他們的資料 API ，來阻止他們成長，同時也容許某些公司，像是 Netflix 跟 AirBnb 來使用 API ，藉此交換，讓 Facebook 也得以使用他們的用戶資料。擁有越多資料的公司，就能夠透過深度學習提升人工智慧的預測能力跟反應能力，讓產品更受市場青睞。
（ 延伸閱讀： Another scandal: Facebook user data reportedly at risk again
https://phys.org/news/2019-04-scandal-facebook-user-reportedly.html ）
Facebook 這種作法雖然有違反市場競爭，打壓對手之嫌，而且在我們這些用戶毫無所悉的情況下，就私相授受，也有爭議。但這早已是業界常態，專門的資料仲介商更是如雨後春筍般成立，人工智慧與資料資本主義只會逼得這些企業更加大力道競爭，不擇手段，包括更全面的監控、對隱私跟人權的迫害、以及讓系統漏洞被政府、企業、犯罪者錯誤以及惡意地剝削。
因此政府應該幫人民把關，要求企業告知使用者在使用人工智慧服務時，應該設想不同情境與影響，，包括政府單位可能會向企業索取使用者的資料、犯罪者跟駭客可能會將人工智慧系統視為目標而讓資料外洩、企業也可能會與其他單位交易使用者的資料。這些問題通常都隱藏在沒人看的服務條款或隱私聲明等頁面，並預設為同意，使用者都被迫說謊，假裝自己都看了、同意了這些複雜冗長的條款，這種現況需要被改變。歐盟從推出「一般資料保護規定」(GDPR) 到最近提出的人工智慧道德準則，都值得台灣借鏡。
延伸閱讀：
〈沒有人是局外人！史上最嚴個資法衝擊全球，帶你搞懂什麼是GDPR〉
https://www.bnext.com.tw/article/49249/gdpr-general-data-protection-regulation-eu-
〈Ethics guidelines for trustworthy AI〉
https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai
最後，人民需要更自覺。消費者有時候需要跟政府聯手，強迫企業坦承他們的人工智慧系統實際蒐集到哪些資料，並要求他們用比較少的資料來做事，儲存最少的時間，降低前面提到的各種風險。最重要的是，要讓使用者擁有處理個資的權利，能夠選擇在結束使用服務之後，把資料刪除。
就像網路一樣，我們已經無法迴避人工智慧，不管是用 Google 還是 Facebook，用手機app修圖、看機器寫的新聞、還是坐自動駕駛汽車、或是接受機器醫生的診斷，我們不自覺地與人工智慧展開共同生活，某方面來說是好事，代表我們正在適應新的時代，而且還沒有出什麼問題。
但從另一方面來說，這也代表我們不太清楚哪些生活中的場景（如前面所提到的案例），已經大量或全面使用人工智慧，哪些政府機關跟企業組織已經採用人工智慧，而且使用了大量來自人民的資料來訓練機器學習。要是我們對人工智慧不了解，我們可能不知道自己的權益被侵犯，就算知道了也不知道該怎麼辦。
如果政府不夠開放、企業不夠負責、而人民缺乏自覺。就會如歷史學者與暢銷作家哈拉瑞說的，人類的天然愚蠢，藉由強大的人工智慧放大，帶來糟糕的結果。例如過度的政府監控、無止境的軍備競賽、不受控的資料壟斷、更嚴峻的社會分裂，以及由人民發起，對人工智慧的全面否定與不信任。
以上是我試著角色扮演，以一個總統參選人的身份，設想出的回答，雖然我也不是專家，但這大概是我期待聽到、及格的回答方式。
然而回到一個公民的身份，我想對有志於總統大位的政治人物說的是：你們當中或許有人是一時之間無法妥善回答，或是被迫不懂裝懂，想靠著喊人工智慧跟發大財就獲得選票，但我想我們其實都更期盼人工智慧讓人不用在馬路上因車禍死於非命、相信藉由人工智慧能解開能源危機與環境惡化的難題、讓少子化跟老齡化不再是危機而是機會，甚至讓人類再也不用從事無意義的工作。
我們都不是奇異博士，未來會是什麼樣，我們都還不知道，但一個更理想的未來，需要我們從現在開始做出許多正確的選擇。選出誰是下一任總統，只是其中之一。
-----
如果你是總統參選人，針對人工智慧與年輕人的未來這一題，你會怎麼回答呢？歡迎投稿給 PanX （contact@panx.asia）切磋～（也歡迎真正要參選總統的人來稿喔～）
-----
今天的 #鄭龜嗑什麼 暫停一天。
機器學習 工作 ptt 在 Re: [請益] 想從零開始轉行當AI軟體工程師- 看板Soft_Job 的推薦與評價
來用自己的例子勸退一些想跳機器學習的人
首先是數學程度，
我是數學系的，什麼線代，微積分，機率，統計的都很熟其實工作也會用到，
描述一些比較有印象的工作用過的數學，
比較有趣關於微積分的經驗:
老闆把問題用一個式子 exp(-rx)*((1/delta)*sqrt(A))*exp(-x^2/(A))來解釋，
並要對x積整個實數範圍。
在場大家都面面相覷我就被要求積了。
但這其實不難積，就高斯積分，有背整理一下秒解，
沒背也不難推。我大學微積分沒在背的所以是當場直接推，然後才繼續那場會議。
機率統計就那些常見的像是:
在一堆數據中給一些想法假設然後檢定，
或是想辦法對一直變動pattern的資料去建對應的機率模型。
但我具體數學程度到哪，舉兩個例子一個是深度學習WGAN一個是經典的random forest。
https://arxiv.org/pdf/1701.07875.pdf 這是WGAN。
https://link.springer.com/article/10.1023/A:1010933404324 這是RF。
基本上裡面的純數推導我幾乎都理解，
WGAN用到實分析跟線性規劃，
RF則是機率。
以上大概描述一下我的數學程度。
接著是我的電腦技能，
我熟悉的語言有C++跟PYTHON，基本上各有兩年以上的工作實務經驗。
python就絕大部份公司機器學習用的語言不解釋。
C++曾被公司要求所有演算法都要自己刻，這之中還包刮神經網路，
連 backpropagation 都要自己刻，
然後資料結構演算法，計算機組織，作業系統都讀過。
至於程度到哪我也不好說，我自知去參加程式比賽會被電死，但基本程度應該是有。
資料結構的程度至少是在刷題的時候不會卡在"天啊這個是什麼資料結構"，
跟曾經在工作被要求刻了一個紅黑樹，雖然我現在忘了而且skip list太好用。
演算法就刷題的時候不會無止境一直設條件，
會嘗試用一些演算法想法比如 divide and conquer or dp 來解題。
計組作業系統就是那些什麼cpu pipeline 記憶體管理緩存設計都懂。
資料庫則是公司用什麼我就學什麼。
機器學習的部分就是幾乎現在大家喊得出名字的我都可以實作，
有要證明的模型我都可以證明，不過需要回憶準備一下哈哈因為模型太多沒全記。
大致用書來表示一下我懂得大概範圍好了。
https://www.deeplearningbook.org/
deep learning 的經典不解釋。
https://www.cs.cmu.edu/~tom/mlbook.html
machine learning 也算經典但很老的一本了。
https://www.tenlong.com.tw/products/9787302275954
各種經典的機器學習模型的推導書，雖然這個作者幾乎只是翻譯論文，但翻的還滿好的。
新技術太多我就不提了我都有在追。
以上大致描述一下我的程度，目前的結果是我近半年完全找不到工作XD
不管國內國外，丟履歷都沒回覆，基本上連面試機會都沒有。
搞得現在只能送foodpanda，
真的是能力不足阿...
希望這慘痛的經歷能拯救還想再跳AI的人阿。
==================================================
發現太多人執著實作的部分，其實要求手刻的只有一家公司，雖然我也在那邊做很久
除了那間公司其他的我也是用包啦，Tensorflow，cntk 之類的都會用。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.88.3 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1636524507.A.D68.html
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 14:12:47
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 14:23:19
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 14:31:53
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 14:42:43
改丟國內的國內也都沒回覆，慘
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 14:54:17
爛的資料神經網路無法處理因為神經網路是強逼近，就垃圾進垃圾出
但數學反倒可以找到很好的方向，
比如說我處理過那種雜訊很多就算了，哪些是雜訊還都不知道的數據。
方法就把資料換個方便我弄成隨機過程的樣子，
然後抽特徵的時候隨機，根據大數法則我可以期待他會逼近一個我要的值，
且也可以淡化雜訊的影響畢竟是隨機取，最終效果很好這樣
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 15:16:24
我只是想表示這麼基本的東西我都有公司也是不要阿
真的要說的話不然你試著準備一下那個WGAN的中為什麼Wasserstein比原本的GAN的cost function 還要好的證明然後試試?
最好還要問李航那本書沒有的，像是PCA為什麼是用特徵值，還有上面說的RF為什麼可行
L1 L2 為什麼會有那些效果怎麼用數學分析，BLABLABLA的
哀我真的只是想勸退還想進AI的人啦
這個東西真的水很深而且缺很少啦
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 17:34:07
不過主要是我都把時間拿來唸書了。
我沒在經營github，我是不知道自己的讀書心得丟那有沒有用，
我應徵時到是有附一些讀書的筆記，
像是上面提到的GAN的一些東西，為什麼強大，為什麼難訓練，WGAN為什麼強大，
能怎麼修正的一些整理都一起寄過去，展現我不是嘴巴說說有在讀書，是真的有在讀深入的
且工作上工也有用到，但一樣沒用哈哈哈哈
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 18:04:21
所以我才真心建議不要再跳進AI了，沒想像地這麼美好
本職學能持續精進，有需要再碰就好了。
其實我在找工作，現在大部分的缺都是傾向:他們方法有了。
機器學習工程師就是架構一個data pipeline，然後建模型訓練，接著實際應用。
最終就是要自動化。實際有關機器學習的問題去跟公司的data scientist 討論即可，本質?
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 18:11:18
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 18:13:02
kaggle還要考慮我手邊的的裝備，所以能做的題目大概也都是那些普通的題目
最主要的問題就是我學經歷不夠，所以我相信現在有想跳AI的一定都是一樣的狀態
所以這篇的重點一直都是:拜託，別在專門跳機器學習的領域，好好點高自己的技能比較實?
而不是討論我為什麼沒工作沒面試阿。一直討論我為什麼沒工作不是很好笑嗎= =
現在就是僧多粥少，不只如此，那些還不是僧只是剃光頭阿。
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 18:56:44
不過撇開這個，我是有考慮分析不少事情。
而結論是:
那個時間成本不如拿去刷題，從SDE的路進公司，在從公司內部轉比較有機會。
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 19:02:56
其實我不強啦哈哈我不是四大數學系的哈哈，我只是愛讀書而已。
其實專案量化成績是有啦，但我不知道是不是命運使然還是怎樣。
我舉的這個例子，是我進公司之前他們搞了快兩年都沒結果，因為一直在用傳統的CNN做
真的是各種花俏CNN，連deepfake都被拿來用
但我進去觀察一下資料就覺得不適合，所以花了很多時間在搞數學方法
然後撇開新創有的沒的雜事和動不動就換目標，七八個月後也是不容易地搞出來了。
然後老闆很高興地拿去做了一些事，後續的一些計畫也開始在動時，老闆走了...
結果業務端好像都是老闆在搞，老闆一去世公司就炸掉了。
所以這個就沒下文啦，後續是有人私底下要跟我買，我覺得麻煩也不道義就沒賣了。
但我其實不想講太細節就是因為這看起來超像嘴砲，所以想著重在方法跟技術知識面而已
不過就算被當嘴砲也沒差反正人生是我自己的哈哈
所以我比較願意刷題而起也滿享受的。但請注意我知道這之中的差異，
KAGGLE"可能"會讓我"多一點"面試的機會，而刷題會讓我現階段往SDE的方向走。
我刷題是為了增強自己的能力，而不是為了"機器學習相關工作的面試"
不過話說回來我真的覺得太聚焦我的狀況了
直接說我目前的打算，我還想工作只是為了存點應急錢去唸博士，
現在應該就是不會在嘗試存應急錢直接去唸博士，我也確定我愛研究，
我直覺判斷我讀博時intern應該會好找，應該啦。
所以大家別在聚焦在這個啦哈哈哈
※ 編輯: stmilk (223.137.88.3 臺灣), 11/10/2021 22:11:49
當時我處理的影像超稀疏的。gan難train是在那個模型非常
容易被一個函數分開，也就是可以找到完美的discriminato
r，這是這兩個機率support的問題，而且條件還不用是這兩
個support不相交，只要幾乎處處不相交就可以，這個至少廣
大的實驗告訴我們非常容易發生。所以本質上只要是那個co
st function，初始值不好不管做甚麼調整丟什麼模型進去都
會遇到這個問題。然後可能是我的處理的影像真的太稀疏，
應該是可以理解成這個pattern的support超小，基本上根本
train不起來。所以我那時的想法是就是想要一個理論上直接
可行的結果。這樣我不用把模型弄得巨爆幹複雜，設計一堆
有的沒的只為了能先train，與其想辦法各種嘗試引導訓練，
抽象地說就是想辦法找一個先驗讓兩個pattern的support能
重合。不如直接一個理論可行的再去處理wgan模型的問題,因
為比較具體有方向。順便說之前的別組也是各種花式加self
-attention在decoder和encoder中也是沒用，至於原因因為
不是我做的我沒去也不想去深思，或許也可以就是~可能有錯
，多包涵啦。
※ 編輯: stmilk (223.137.88.3 臺灣), 11/11/2021 01:46:54
※ 編輯: stmilk (223.137.88.3 臺灣), 11/11/2021 01:56:19
我稍微想到可能比較有創意(?)你可以嘗試的方法。
從sample的特徵下手，而且我會傾向不用up sample因為我不喜歡人工數據XD。
雜訊很多的情況就上面有提到，從sample中隨機取特徵，然後創個新sample。
但因為我的問題是哪些是雜訊也不知道，
所以這樣的好處是資料都是是自然環境產生的，
我不用去考慮這樣取是不是會有bias，反正隨機數拉高一定會逼近我要的樣子。
注意如果特徵彼此之間獨立性高，這樣做會有問題，
依我的經驗我還想不到哪些可能的題目可以用這個XD
然後是特徵少且彼此獨立性高且樣本數也很少的話，
這種的就麻煩因為你的資訊本來就少，大概只能用加雜訊的方式去up sample了，
然後是特徵少且獨立性高然後樣本高，那這樣我會採down sample，
我現在直觀想到就 greedy 地去做。
先根據你的問題，觀察哪個特徵最重要(簡單的方法就隨機森林)，
從這個特徵來看聚的狀況，但注意這個聚集狀況可以用不同的方式來定義，
就是用不一樣的距離公式來嘗試，
把這個群體中sample數偏高的類別刪掉一些，
基本假設就是因為這個特徵影響大，
那又特別多的sample聚集在一起的東西可能影響會太大有bias
同樣地你可以反過來從不重要的特徵下手去砍，這樣對整個資料的影響會最小
然後反過來特徵多且獨立性高樣本數多，因為這種狀況可能會有為度災難的可能
所以會特徵一起砍
觀察不重要的特徵的聚的狀況，
直接砍掉這個特徵，並砍掉不平衡的那個地方，然後一直持續到樣本平衡
特徵多且獨立性高樣本少，其實會發現樣本少就是麻煩，
所以我一樣會砍最沒影響往上的特徵，然後觀察從最重要往下的特徵的群，
去砍裏面不平衡的那方
不過樣本數少可能會有問題，我應該還是傾向up sample就是
然後我現在想的到的終極狀況之一是特徵沒有特別的群聚現象，
因為這個太抽象可能個別問題有不同的方法XD
在目前抽象的假設下我只能建議加雜訊 up sample
或是隨機去 down sample
以上你參考一下，但畢竟我不知道你做的題目，
所以我盡量先考慮比較一般只考慮抽象特徵的情況了
但對某些特定題目不一定可行你要小心使用哈哈
最後我上面除了雜訊那個都假設獨立性高，這個可以很簡單地用PCA達成，
所以如果你想要維持原本的特徵，不用獨立性高的假設其實應該差別也不大
對不起我昨天其實滿累得沒注意到你應該就是問樣本數很少還稀疏的情況，
樣本數少的時候方法想得很混。
如果樣本數少，並假設超級極端狀況99%比1%。
一樣觀察特徵附近(注意這個"附近"一樣是根據你的距離定義，根據不同問題是用的距離定義)，
因為資訊實在太少，基本只能假設這個樣本附近可能會有同樣的標注。
所以從附近去生成樣本，
如果這個某個標注還在另外一個標注的某個聚落附近，你也可以考慮降低這個聚落的影響，
就是在這個聚落去砍掉多數的樣本。
其實概念上都差不多，就是根據你的問題，看有沒有某些前提資訊可用，然後去resample。
根據你的問題，這個特徵的選法就不同，探討聚落的方式也不同(像是KNN，T-SNE)。
若是你用的是隨機森林的方法，你甚至可以考慮把這個算法啟發化。
其他的方式想啟發化也不是不行，但是就是沒有tree model這麼乾淨俐落就是
以上就是我目前想的到的處理方法哈哈
※ 編輯: stmilk (223.137.88.3 臺灣), 11/11/2021 21:46:44
※ 編輯: stmilk (223.137.88.3 臺灣), 11/11/2021 21:58:18
※ 編輯: stmilk (223.137.88.3 臺灣), 11/12/2021 12:27:45
... <看更多>
相關內容