為了讓 AI 不斷打怪升級,DeepMind 打造「宇宙」
作者 雷鋒網 | 發布日期 2021 年 07 月 30 日 8:15 |
DeepMind 又給我們小驚喜。我們都知道,強化學習苦於類化能力差,經常只能針對單個任務從頭學習。
DeepMind之前開發的AlphaZero,儘管可以玩圍棋、西洋棋和日本將棋,但每種棋牌遊戲都只能從頭訓練。類化能力差也是AI一直被詬病為人工智障的一大原因。人類智慧的厲害之處,就在藉鑑之前經驗迅速適應新環境。
但類化能力不是一蹴而就,就像玩遊戲,也是先做簡單任務,逐步升級到複雜任務。《空洞騎士》(Hollow Knight)一開始只需要隨意走動揮刀砍怪,但噩夢級難度的「苦痛之路」關,沒有前面累積的技巧,只能玩寂寞。
多任務宇宙
DeepMind此次採用「課程學習」,讓智慧體於不斷擴展升級的開放世界學習。也就是說,AI新任務(訓練資料)是基於舊任務不斷生成。智慧體可盡情鍛鍊自己,簡單的如「靠近紫色立方體」,複雜點的如「靠近紫色立方體或將黃色球體放在紅色地板」,甚至和其他智慧體玩耍,如捉迷藏──「找到對方,且不要被對方發現」。
每個小遊戲存在世界小角落,千千萬萬個小角落拼成龐大的物理模擬世界,如下圖的幾何「地球」。總體來說這個世界的任務由三個要素構成,即任務=遊戲+世界+玩家,並根據三要素關係,決定任務的複雜度。
複雜度的判斷有四個維度:競爭性、平衡性、可選項、探索難度。
比如「搶方塊」遊戲,藍色智慧體需要把黃色方塊放到白色區域,紅色智慧體需要把黃色方塊放到藍色區域。這兩個目標矛盾,因此競爭性較強;同時雙方條件對等,平衡性比較高;因目標簡單,所以可選項少;DeepMind把探索難度評為中上,可能是因定位區域算較複雜的場景。
再如「球球喜歡和方塊一起玩」遊戲,藍色和紅色智慧體有共同目標,讓相同顏色的球體和方塊放在相近位置。
這時競爭性自然很低,平衡性毋庸置疑很高的;可選項比上面遊戲高很多;探索難度沒有定位區域,智慧體隨便把球體和方塊放哪都行,難度就變小了。
基於這四個維度,DeepMind打造超大規模「宇宙」任務空間,幾何「地球」也只是這宇宙的小角落,是四維任務空間的一點。DeepMind將「宇宙」命名為XLand,包含數十億個任務。
來看XLand的全貌,由一系列遊戲組成,每個遊戲在許多模擬世界進行,這些世界的拓樸和特徵平滑變化。
終生學習
數據有了,接下來得找到合適的算法。 DeepMind發現,目標注意代理(GOAT)可學習更通用的策略。
具體來說,智慧體輸入包括第一視角的RGB圖像、本體感覺以及目標。經過初步處理後,生成中間輸出,傳遞給GOAT模組,會根據智慧體目前目標處理中間輸出的特定部分,邏輯分析目標。
邏輯分析是指,每個遊戲可藉由一些方法,構建另一個遊戲,並限制策略的價值函數的最優值上限或下限。
DeepMind提出一個問題:對每個智慧體,什麼樣的任務是最好的?換句話說,打怪升級時,什麼樣的關卡設置才讓玩家順利升級為「真」高手,而不是一刀9999?
DeepMind的答案是,每個新任務都基於舊任務生成,「不會太難,也不會太容易」。其實恰好是讓人類學習時感覺「爽」的興奮點。
訓練開始時,太難或太容易的任務可能會鼓勵早期學習,但會導致訓練後期的學習飽和或停滯。不要求智慧體某任務非常優秀,而是鼓勵終身學習,即不斷適應新任務。所謂太難、太容易是較模糊的描述。需要量化方法,在新任務和舊任務之間彈性連接。
怎麼不讓智慧體做新任務時不適應而「暴死」?進化學習就提供很好的靈活性。總體來說,新任務和舊任務同時進行,且每個任務有多智慧體參與「競爭」。舊任務適應好的智慧體,會選拔到新任務繼續學習。
新任務中,舊任務的優秀智慧體權重、瞬間任務分佈、超參數都會複製,參與新一輪「競爭」。除了舊任務的優秀智慧體,還有很多新人參與,這就引進隨機性、創新性、靈活性,不用擔心「暴死」問題。
當然,因任務不斷生成、動態變化,一個任務可訓練不同長處的智慧體,並往不同方向演化(隨著智慧體相對性能和強健性進行)。最終每個智慧體都會形成擅長任務的集合,就像春秋戰國時期「百家爭鳴」。說打怪升級顯得格局小,簡直是模擬地球。
DeepMind表示,「這種組合學習系統的特性是,不最佳化有界性能指標,而是更新定義的通用能力範圍,這使智慧體開放式學習,僅受環境空間和智慧體的神經網路表達能力的限制。」
智慧初現
最終這複雜「宇宙」升級、進化、分流的智慧體長成了什麼優秀物種?DeepMind說,智慧體有很明顯的零樣本學習能力,比如使用工具、合圍、數數、合作+競爭等。
來看具體例子。首先智慧體學會臨機應變。目標有三個:
黑色金字塔放到黃色球體旁邊
紫色球體放到黃色金字塔旁邊
黑色金字塔放到橙色地板
AI一開始找到一個黑色金字塔,想拿到橙色地板(目標3),但搬運過程瞄見黃色球體,瞬間改變主意,「我可以實現目標1啦」,將黑色金字塔放到黃色球體旁邊。
第二個例子是,不會跳高,怎麼拿到高台上的紫色金字塔?智慧體需要想辦法突破障礙,取得高台上的紫色金字塔,高台周邊並沒有類似階梯、斜坡的路。
因不會跳高,所以智慧體「掀桌子」,把周邊幾塊豎起來的板子弄倒。然後一塊黑色石板剛好倒在高台邊,「等等,這不就是我要的階梯嗎?」這過程是否體現了慧體的智慧,還無法肯定,可能只是一時幸運。關鍵還是,要看統計數據。
經過5代訓練,智慧體在XLand的4千個獨立世界玩了約70萬個獨立遊戲,涉及340萬個獨立任務,最後一代每個智慧體都經歷2千億次訓練步驟。智慧體已能順利參與幾乎每個評估任務,除了少數即使人類也無法完成的任務。
DeepMind的研究,或許一定程度體現「密集學習」重要性。也就是說,不僅資料量要大,任務量也要大。這也使得智慧體在類化能力有很好表現,如資料顯示,只需對一些新複雜任務進行30分鐘集中訓練,智慧體就可快速適應,而從頭開始用強化學習訓練的智慧體根本無法學習這些任務。
往後我們也期待這「宇宙」更複雜和生機勃勃,AI經過不斷演化,不斷給我們帶來驚喜(細思極恐)的體驗。
資料來源:https://technews.tw/2021/07/30/deepmind_xland/
同時也有557部Youtube影片,追蹤數超過4萬的網紅吳老師教學部落格,也在其Youtube影片中提到,台師大試算表進階應用與程式設計2020_2第10次上課 上課內容: 01_重點回顧與樂透彩中獎機率統計 02_定義名稱與COUNTIF與RANK函數 03_改為定義名稱與用VBA輸出 04_用VBA做格式化資料與清除 05_列出前七名VBA程式說明 完整影音 http://goo.gl/aQTM...
「函數定義域」的推薦目錄:
函數定義域 在 緯育TibaMe Facebook 的最讚貼文
#每日5分鐘快速添補ai知識與技能
深度學習是讓機器模擬人腦的運作方式,
進而和人類一樣具備學習的能力。
而人類提供的函數集
是由類神經網絡的結構所定義,
「簡單說,深度學習就是一個函數集。」
⠀⠀
透過三步驟來運作神經元:
1 類神經網絡就是函數集
2 定義函數的優劣
3 找出最佳函數
⠀⠀
那類神經網絡最常用的學習方法
「梯度下降法」是什麼?
分享 AlphaGo就使用此方法設計👇
https://blog.tibame.com/?p=19026
⠀⠀
#AI60問 #深度學習 #人工智慧 #資料科學家
【AI/資料科學不可不知的60道問題】
每週4篇AI新知識,一次只要5分鐘,
具備AI跨域知識,為職場技能加分💪
#TibaMe #緯育TibaMe #知識 #學習 #科技
函數定義域 在 台灣物聯網實驗室 IOT Labs Facebook 的精選貼文
AI加值智慧製造 鋼鐵傳產乘浪而起
芮嘉瑋/專欄 2021-01-28 02:45
2020年面對COVID-19(新冠肺炎)的襲擊,疫情籠罩之下各行各業幾乎空轉一年,投資購買設備及原料的腳步也都放緩,預期新的一年,隨著疫情穩定與經濟復甦,許多企業勢必加速添購設備和增加庫存料,鋼材需求可望隨著市場回升而轉強,且至少旺到第2季。
舉例來說,在汽車的構造上,有相當高的比例是使用鋼板,包括車門、引擎蓋、後車箱、底盤、車頂等,所以汽車業的好壞,間接影響了鋼材的需求。這2年汽車上游原材料反應了因電動車興起所展開的換車潮,從而鋼市好轉、鋼價高漲,幾乎各國都是如此。
隨著消費型態轉變,產品生命週期縮短,各行各業面臨客製化的挑戰,並在智慧工廠生產流程的訴求下,往往需要智慧機械、智慧製造設備以從事更複雜的生產工作,鋼鐵傳產業也不例外。然而,現有機器人或製造機台受限於原本功能單一又無法擴充的窘境,必須藉由人工智慧、物聯網、大數據等各種新興技術多元化功能的整合,以利製造業數位轉型升級,因應瞬息萬變的市場挑戰,凸顯「智慧製造」的概念是企業轉型升級的唯一出路。
何謂智慧製造?
經歷4次工業革命的演進,第4次工業革命被視為「工業4.0」,且因智慧製造是工業4.0的核心部件,在製造產業兩者幾乎可劃上等號,從而「工業4.0」常被稱為「智慧製造」。
在工業4.0的時代驅動下,現今製造業不斷與數種新興技術結合,從而工業4.0被定義為「製造技術中整合了網路安全(cybersecurity)、擴增實境(AR)、大數據、自主機器人(autonomous robots)、積層製造(additive manufacturing)、模擬(simulation)、系統整合(system integration)、雲端運算(cloud computing)和物聯網等技術使之具有自動化、聯網、數據交換以及智能工廠所需功能的系統平台」 。
因此,智慧製造實際上需要整合以上所述之各種關鍵領域技術的同步發展以建構出相應的產業生態體系,並在生產過程的每一個環節都能達到高度自動化、客製化與智慧化的先進製造模式,使生產環境具備自我感知、自我學習、自我決策、自我執行以及自我適應的能力,以適應快速變化的外部市場需求。
如何利用AI加持智慧製造
由於智慧製造包括連網(connection)、轉化(conversion)、虛擬(cyber)、認知(cognition)和自我配置(configure)等能力 ,其中利用機器學習、深度學習等AI技術使機器具備自我診斷並即時做出判斷的認知能力,就是AI之所以成為智慧製造核心技術之所在,它可以從大量原始數據中自動提取關鍵特徵及製造業中規律性的模式,進而學習過往曾經發生過的錯誤,以提前作預測及預警,藉此不僅可降低停機時間、提升製程效率,也可適時的根據產線作調整。
至於該如何利用AI加持智慧製造,讓我們看看國內鋼鐵龍頭中國鋼鐵股份有限公司(簡稱中鋼公司),在其智慧生產技術中導入AI實現智慧製造的專利布局,提供製造業者掌握AI加值智慧製造,讓工廠轉型升級邁向智慧工廠。
中鋼發明一種透過人工智慧演算模組在生產製程中進行估測及控制的系統(TWI704019),具體而言,係透過人工智慧演算模組所產生的估測鋼帶翹曲模型對鋼帶翹曲量進行估測,而該人工智慧演算模組係利用機器學習模組、深度學習模組或者使用一雲端伺服器模組評估該製程參數及該翹曲量。
該專利提供一種包含熱浸鍍鋅設備100、矯正機構130、感測模組150、人工智慧演算模組160以及最佳化演算模組165的熱浸鍍鋅鋼帶翹曲量估測系統。其中,該人工智慧演算模組160連接該感測模組150及該熱浸鍍鋅設備110,用以收集且評估該熱浸鍍鋅設備110中諸如產線速度、張力、鋼帶鋼種、鋼帶寬度、鋼帶厚度、鋼帶剛性等製程參數及翹曲量,進而可產生估測鋼帶翹曲模型,且該估測鋼帶翹曲模型包含一矯正干涉量,用以供矯正機構130矯正鋼帶。
經過大量數據的累積,該估測鋼帶翹曲模型還可以包含來自該最佳化演算模組165的製程參數最佳值,當類似或相同的製程參數(例如類似或相同鋼種)的鋼帶需要進行熱浸鍍鋅時,該估測鋼帶翹曲模型就會顯示諸如最佳張力、最佳產線速度、最佳矯正干涉量等製程參數最佳值,供操作者參考,從而獲得翹曲量最少且鍍鋅厚度一致的鍍鋅鋼帶。
再者,由於一般的鋼捲產品需要經過諸如煉鋼、熱軋和冷軋等許多生產階段,為了讓產品的機械性質符合預定的規範,過去往往依賴人為經驗調整生產階段的製程參數,然而,人為經驗難以即時反應生產線狀況,中鋼就此發明一種適用於一軋延系統之製程參數的調控方法(TWI708128),當執行完一部分的生產階段以後,可以即時地計算下一個生產階段的製程參數,其中之製程參數的調控方法包括根據歷史資料建立一機器學習模型,後續並將測試資料輸入至機器學習模型以預測目前產品的機械性質等步驟。
在該專利之軋延系統的運作流程示意圖中,在步驟220,可根據這些歷史資料來建立一個機器學習模型221,此機器學習模型221是要根據生產參數來預測產品諸如拉伸強度、降伏強度和伸長率等的機械性質,換言之在訓練階段中生產參數是作為機器學習模型221的輸入,機械性質則作為機器學習模型221的輸出。機器學習模型221可以是卷積神經網路、支持向量機、決策樹或任意合適的模型。
在步驟230,對目前在線上的產品執行部分的生產階段。在步驟240中,將測試資料輸入至機器學習模型221以預測目前產品的機械性質,並判斷所預測的機械性質是否符合一規範。在步驟250中,依照預設生產參數進行下一個生產階段。
如果步驟240的結果為否,則執行一搜尋演算法以取得最佳的生產參數,並據此實施下一個生產階段(步驟260)。其中,執行搜尋演算法以取得調控後參數的步驟包括:設定一利益函數;將尚未完成生產階段的可調控參數與線上資料合併後輸入至機器學習模型以取得預測機械性質,並根據利益函數計算出預測機械性質的誤差值;以及取得最小誤差值所對應的可調控參數以作為調控後參數。
此外,中鋼亦發明一種設備監診方法(I398629),係在設備故障監診分析流程的邏輯下導入類神經網路(neural network)之人工智慧,以便在決策分析時有效解決故障類型分類方面問題。
給台灣製造業的建議與展望導入AI技術、配合感測器收集各類數據以及大數據分析進行諸如產線異常診斷或品質監控,以維持機器正常運作無虞是智慧工廠有效運作的基礎。然而,智慧製造除了藉由智慧機械建構智慧生產線、透過雲端和物聯網分析資料、AI自主監測診斷調整產線產能之外,虛實整合系統(或稱網路實體系統,Cyber-physical systems)也是構成工業4.0創建智慧製造所需的功能之一,整合物理模型、感測器資料和歷史數據,在虛擬空間即時模擬呈現生產狀態,透過遠程監視或跟踪與工廠現有的資訊管理系統緊密整合,建立完整資訊生態系統才能透過AI即時彙整資訊進行決策。
未來製造業仍將是全球產業不可或缺的一環,隨著工業4.0的蓬勃發展,台灣製造業在邁向智慧製造過程中,所有智慧化的步驟都需要運用AI來執行分析、診斷、預測或決策等工作,欣見國內鋼鐵龍頭已率先落實AI加值智慧製造,然而若能整合虛擬(Cyber),強化與工業物聯網之整合,更可提升透過AI提高組織運作效率及效能的目的。
過去製造業藉由大量生產與低價競爭已非決勝關鍵,如何協助國內產業在後疫情時代轉型升級,是當前的重要議題。持續強化在地製造業與資訊業領域的技術整合優勢,透過機器學習、類神經網路或深度學習等AI技術的導入,並與使用者/消費者連結形成完整的製造服務體系,將可望從傳統製造體系中依賴人為經驗、人力需求及規格一致的常態,轉換為自動化、客製化、智慧化和靈活彈性化的智慧製造。本文以鋼鐵龍頭之典範轉移為例,以期台灣所有製造產業均應具備智慧製造的軟硬實力,才能持續在全球製造體系中發光發熱。
附圖:鋼帶翹曲量估測及控制系統結構示意圖。芮嘉瑋
台灣專利號I708128之軋延系統的運作流程示意圖。芮嘉瑋
資料來源:https://www.digitimes.com.tw/tech/dt/n/shwnws.asp?cnlid=1&cat=140&id=0000602586_r1c6gnef7wl2247ink60m
函數定義域 在 吳老師教學部落格 Youtube 的最佳貼文
台師大試算表進階應用與程式設計2020_2第10次上課
上課內容:
01_重點回顧與樂透彩中獎機率統計
02_定義名稱與COUNTIF與RANK函數
03_改為定義名稱與用VBA輸出
04_用VBA做格式化資料與清除
05_列出前七名VBA程式說明
完整影音
http://goo.gl/aQTMFS
教學論壇:
https://groups.google.com/forum/#!forum/excel2vba2020_2
課程理念:
1.以循序漸進的方式, 透過詳細的說明和實用的50個Excel VBA範例,
帶領您輕鬆進入 Excel VBA 設計的領域, 並逐步了解整個 VBA 的架構與輪廓,進而學習
VBA 變數、常數、函式及邏輯的觀念, 即使沒有任何程式設計基礎,也能自己親手撰寫
VBA 程序來提昇工作效率, 晉身職場 Excel 高手!
2.進而解說EXCEL與資料庫的結合,甚至將EXCEL當成資料庫來使用,
結合函數、VBA等更深入的功能,讓資料處理和分析的應用更上層樓。
五大類函數與自訂函數
一、文字和資料函數
二、邏輯函數
三、日期和時間函數
四、數學和三角函數
五、檢視和參照函數
上課用書:
Excel VBA一點都不難:一鍵搞定所有報表
超圖解 Excel VBA 基礎講座
吳老師 110/5/17
函數,元智大學,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻
![post-title](https://i.ytimg.com/vi/SD4hPEKFbWk/hqdefault.jpg)
函數定義域 在 吳老師教學部落格 Youtube 的最佳貼文
台師大試算表進階應用與程式設計2020_2第10次上課
上課內容:
01_重點回顧與樂透彩中獎機率統計
02_定義名稱與COUNTIF與RANK函數
03_改為定義名稱與用VBA輸出
04_用VBA做格式化資料與清除
05_列出前七名VBA程式說明
完整影音
http://goo.gl/aQTMFS
教學論壇:
https://groups.google.com/forum/#!forum/excel2vba2020_2
課程理念:
1.以循序漸進的方式, 透過詳細的說明和實用的50個Excel VBA範例,
帶領您輕鬆進入 Excel VBA 設計的領域, 並逐步了解整個 VBA 的架構與輪廓,進而學習
VBA 變數、常數、函式及邏輯的觀念, 即使沒有任何程式設計基礎,也能自己親手撰寫
VBA 程序來提昇工作效率, 晉身職場 Excel 高手!
2.進而解說EXCEL與資料庫的結合,甚至將EXCEL當成資料庫來使用,
結合函數、VBA等更深入的功能,讓資料處理和分析的應用更上層樓。
五大類函數與自訂函數
一、文字和資料函數
二、邏輯函數
三、日期和時間函數
四、數學和三角函數
五、檢視和參照函數
上課用書:
Excel VBA一點都不難:一鍵搞定所有報表
超圖解 Excel VBA 基礎講座
吳老師 110/5/17
函數,元智大學,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻
![post-title](https://i.ytimg.com/vi/bGwCb7A1XwQ/hqdefault.jpg)
函數定義域 在 吳老師教學部落格 Youtube 的最佳貼文
台師大試算表進階應用與程式設計2020_2第10次上課
上課內容:
01_重點回顧與樂透彩中獎機率統計
02_定義名稱與COUNTIF與RANK函數
03_改為定義名稱與用VBA輸出
04_用VBA做格式化資料與清除
05_列出前七名VBA程式說明
完整影音
http://goo.gl/aQTMFS
教學論壇:
https://groups.google.com/forum/#!forum/excel2vba2020_2
課程理念:
1.以循序漸進的方式, 透過詳細的說明和實用的50個Excel VBA範例,
帶領您輕鬆進入 Excel VBA 設計的領域, 並逐步了解整個 VBA 的架構與輪廓,進而學習
VBA 變數、常數、函式及邏輯的觀念, 即使沒有任何程式設計基礎,也能自己親手撰寫
VBA 程序來提昇工作效率, 晉身職場 Excel 高手!
2.進而解說EXCEL與資料庫的結合,甚至將EXCEL當成資料庫來使用,
結合函數、VBA等更深入的功能,讓資料處理和分析的應用更上層樓。
五大類函數與自訂函數
一、文字和資料函數
二、邏輯函數
三、日期和時間函數
四、數學和三角函數
五、檢視和參照函數
上課用書:
Excel VBA一點都不難:一鍵搞定所有報表
超圖解 Excel VBA 基礎講座
吳老師 110/5/17
函數,元智大學,程式設計,線上教學excel vba教學電子書,excel vba範例,vba語法,vba教學網站,vba教學講義,vba範例教學,excel vba教學視頻
![post-title](https://i.ytimg.com/vi/S9eehBrnszc/hqdefault.jpg)
函數定義域 在 遠得要命的數學王國- [賽局理論 的推薦與評價
」(Fixed Point) 指的是函數的定義域=值域的情況例如:f(2)=2 最開始的時候各位會學到的是連續 ; 函數的版本, 即Brouwer's Fixed Point Theorem 在偏微分 ... ... <看更多>
函數定義域 在 函數定義域跟對應域的問題 - 數學板 | Dcard 的推薦與評價
想問E選項,定義域跟對應域都是實數,但如果帶負數進入根號出來應該會有i,那不是複數C了嗎?謝謝- 函數,問題. ... <看更多>