語法糾錯是基於自然語言理解上下文來修正語法錯誤，不但可以用在像智能客服等場景的，更是讓語音識別正確率再向上突破的關鍵技術，但中文又比英文更難些，因為光是錯字就會有同音錯字與同形錯字的差別....
https://mp.weixin.qq.com/s/Dj8KIe6LbVGonV-Kk9mO2Q
自然語言理解 在 DeepBelief.ai 深度學習 Facebook 的精選貼文
同時也有1部Youtube影片，追蹤數超過14萬的網紅賢賢的奇異世界，也在其Youtube影片中提到，#AI #AI的叛變 #人工智能 各位大家好，歡迎來到HenHenTV的奇異世界，我是Tommy. 大家知道什麼是AI吧～AI就是人工智能，但人類真的可以製作出會自我思考的機器人嗎？它們是否可以取代人類呢？ 如果你是第一次看我的影片，我的影片主要是做一些稀奇古怪的題材，例如好像是外星人，超文明古蹟...
「自然語言理解」的推薦目錄：
- 關於自然語言理解 在 DeepBelief.ai 深度學習 Facebook 的精選貼文
- 關於自然語言理解 在 Facebook 的最佳解答
- 關於自然語言理解 在 臺北市產業局－創業台北 StartUp Taipei Facebook 的最讚貼文
- 關於自然語言理解 在 賢賢的奇異世界 Youtube 的最佳解答
- 關於自然語言理解 在 自然語言理解的可解釋性資訊標記競賽簡介Part 1：引言與課程 ... 的評價
- 關於自然語言理解 在 #自然語言理解 - Explore | Facebook 的評價
- 關於自然語言理解 在 業界都在用的自然語言理解工具，教你快速建構Line對話機器人 的評價
自然語言理解 在 Facebook 的最佳解答
四兩撥千斤！ 創新工場首席科學家AI大牛周明博士率瀾舟團隊刷新CLUE新紀錄，輕量化模型孟子一鳴驚人！
本週，中文語言理解權威評測基準CLUE榜單，被「低調」刷新。
不同的是，不是大公司、不是超大模型……
一個新面孔，一個輕量化模型，首戰即登頂，四兩撥千斤。
CLUE榜單近年來由巨頭——騰訊、搜狗、華為、阿里達摩院輪番霸榜的格局，被首次打破。
瀾舟科技-創新工場推出的孟子模型，以十億參數完成了此前百億、千億參數模型刷新的紀錄。
這也是瀾舟科技首次對外曝光，背後團隊負責人，正是創新工場首席科學家、全球AI大牛周明博士。以下文章解釋了這個模型的原理，文章來自《量子位》微信公眾號，經授權轉載。
▎輕量化模型孟子？
孟子，基於瀾舟團隊自研技術研發的大規模預訓練語言模型。
包括創新工場、上海交通大學、北京理工大學等單位參與聯合研發。
可處理多語言、多模態數據，同時支持多種文本理解和文本生成任務，能快速滿足不同領域、不同應用場景的需求。
孟子模型基於Transformer架構，僅包含十億參數量，基於數百G級別涵蓋互聯網網頁、社區、新聞、電子商務、金融等領域的高質量語料訓練。
但誰也沒想到，小模型卻有大智慧，一經登場，打破格局。
CLUE，中文語言理解領域最具權威性的測評基準，涵蓋文本相似度、分類、自然語言推理、閱讀理解等共10項語義分析和理解類子任務。
該榜單競爭激烈，幾乎是業內所有自然語言理解玩家必爭之地。
騰訊、搜狗、華為、阿里達摩院等更是輪番霸榜刷新紀錄。
而且隨著大參數模型愈演愈烈，CLUE還漸有巨頭壟斷之勢。
因為百億、千億甚至萬億參數的大模型，已然不再是創業或其他玩家可與之爭鋒。
萬萬沒想到，瀾舟科技-創新工場團隊出手，四兩撥千斤。
因為孟子，走的是基於輕量級、高效訓練的研究路線，致力於構建十億級別的小模型，充分發揮已有參數下的模型潛力，有利於快速、低成本地落地現實業務場景。
孟子預訓練模型性能比肩甚至超越千億大模型，在包含文本分類、閱讀理解等各類任務上表現出色。
相對已有的中文語言模型，孟子模型實現了多項突破性進展：
1） 堅持「小而精」的輕量化訓練策略。實現在同等模型規模下，遠超公開模型的性能。作為精巧的小模型，對標「巨無霸」，小模型性能超越千億規模模型。
2）使用知識圖譜增強模型，讓 AI 真正獲得知識。孟子模型具備頂尖的語言理解能力，在權威CLUE中文理解評測的總排行榜，以及分類排行榜和閱讀理解排行榜均位列第一，刷新三項榜單世界紀錄。總排行榜分數突破84分，逼近人類基準分數（85.61）。
3）靈活的領域和場景適應能力，方便快速定制和應用。基於T5-style的端到端生成的訓練範式，同步適配BERT-style的判定式架構，既能理解也能生成。便於適配行業應用，覆蓋廣泛業務場景。
當然，隨著孟子一鳴驚人，也必然能讓輕量化模型研究來到聚光燈下。
▎原理方法和應用？
在輕量化模型算法研究方面，基於自研的基於語言學知識、知識圖譜和領域數據增強等技術，從模型架構（包括基礎層Embedding表示和交互層Attention機制）到預訓練策略進行了全方位改進。
具體有四方面：
1) 模型結構方面，將語義角色、詞性標註等語言學特徵融合到Embedding表示中，基於句法約束引入註意力機制中，從而提升模型對語言學知識的建模能力。
2) 訓練策略上，引入基於實體知識和Discourse的Mask機制，強化模型對語言成分和語篇關係的表徵。
3) 為進一步提高訓練效率，使用了大模型蒸餾和初始化小模型策略。
4) 為更好地將孟子模型適應垂直領域如金融、營銷，使用了領域數據繼續訓練並構造相應的提示模版（Prompt），取得了明顯的性能提升。
基於以上算法策略，實現從語料中高效學習涵蓋詞級、句子級和語篇級知識，大幅提升語言模型提煉語言結構和語義信息能力，以及良好的領域遷移能力，適應廣泛的產品應用場景。
另外，在Finetune的進展方面，如何將預訓練模型用於各項任務？
瀾舟團隊也有總結，從數據增強、知識蒸餾、遷移訓練、訓練優化等方面展開了一些探索，進一步提升語言模型的性能：
1) 數據增強：使用領域相關數據；
2) 知識蒸餾：基於Teacher-Student自蒸餾提升訓練效率；
3) 遷移訓練：結合課程學習的思想，由易到難訓練下游模型；
4) 訓練優化：使用多種訓練目標，多角度提升模型能力；
而且孟子還已經展開了垂直化領域應用。
基於領域適應技術，孟子模型已深度垂直化賦能相應行業。典型的例子為適用於金融領域的孟子模型，領域適應策略主要包含兩大方面：
1) 通過大規模的泛金融領域語料，將通用孟子模型遷移到金融領域。金融版孟子模型已經應用於多個金融行業的合作企業，在金融知識圖譜搭建、脫水研報、公告抽取等多個任務上獲得了出色的表現。
2) 通過大規模的營銷領域語料，將孟子模型遷移到數字營銷領域，完成了營銷文案生成、新聞摘要等多項任務，將用於行業頭部的數字營銷公司和多個世界五百強企業的合作之中。
瀾舟方面還透露，孟子模型已在多個領域成功落地實踐，衍生出多項行業領先的產品，涵蓋文本生成、行業搜索、機器翻譯等諸多領域。
並且毫無疑問的是，因為輕量級模型具有的模型參數較少、快速推斷的特點，更易於線上部署和推廣到移動設備中，自然不會局限於現有應用和場景，接下來還會有更廣泛的研究和應用場景中。
▎瀾舟團隊？
最後，也簡單介紹本次一鳴驚人的新面孔瀾舟科技。
瀾舟科技是創新工場孵化的一家認知智能公司。公司創始人——周明博士。
AI領域內，周明已不用過多介紹，他是公認的世界級AI科學家，自然語言處理領域的代表性人物。
周明博士在2020年加盟創新工場，擔任創新工場首席科學家。
而瀾舟科技則針對商業場景的數字化轉型，基於大數據、知識圖譜和行業模型，提供新一代的信息檢索、知識推理和商業洞見技術和相關產品。
據稱目前已與國內外幾十所著名高校和十餘個相關領域的頭部企業建立了穩定的合作關係。
值得注意的是，瀾舟科技除了大牛坐鎮，其實也是行業趨勢的體現。
引用創新工場董事長兼CEO李開復最新分享來說：
AI的發展可以按照兩個時間點劃分。
第一個時間點是2015年，以CNN為核心的計算機視覺技術讓機器超越了人類，帶來了人臉識別、智能質檢、無人零售、智慧城市、無人駕駛等商機。
而第二個時間點出現在2019年，以大模型為代表的自然語言方向取得突破性進展，讓NLP從數據、信息走向知識和洞見成為可能，將會在翻譯、語音識別、法律、金融、新聞、廣告、醫療、娛樂等大賽道帶來機遇。
「如果說CNN造就了今天計算機視覺領域的突破和眾多應用，預訓練大模型+微調也將帶來自然語言的百花齊放的發展，用數據智能驅動各類業務的升級。瀾舟科技在周明老師的帶領下取得了今天的成果，在新機遇面前躬身入局，一起發掘NLP領域的黃金發展期」，李開復說到。
自然語言理解 在 臺北市產業局－創業台北 StartUp Taipei Facebook 的最讚貼文
#獲臺北市研發補助支持
AI 新創公司易晨智能（EZ-AI），秉持創新理念，專注語音識別、自然語言理解、數據分析演算法。2020 年曾聯手禾聯碩家電打造聲控 AIOT 智慧家電生態系統，民眾可運用人聲控制所有家電；今年易晨智能將再推出全新產品「 ChatBot 智慧客服」、「 AI 口語對話評測」，協助使用者針對英語「口說」部分自我訓練。
#臺北市獎勵補助助您一臂之力 #臺北創業家 #臺北市潛力企業
文章來源：https://meet.bnext.com.tw/articles/view/47775
自然語言理解 在 賢賢的奇異世界 Youtube 的最佳解答
#AI #AI的叛變 #人工智能
各位大家好，歡迎來到HenHenTV的奇異世界，我是Tommy.
大家知道什麼是AI吧～AI就是人工智能，但人類真的可以製作出會自我思考的機器人嗎？它們是否可以取代人類呢？
如果你是第一次看我的影片，我的影片主要是做一些稀奇古怪的題材，例如好像是外星人，超文明古蹟甚至是一些科學無法解釋的事件，如果你也喜歡這些影片，歡迎你訂閱HenHenTV。
AI網上課程：鏈接：https://surpassingai.com/?ref=9
好！我們開始吧！
最初的人工智能開始於20世紀的40年代，主要是以計算機（電腦）來模仿人類進行逐步的推理，例如好像是下棋或是進行邏輯推理的人類思考模式，到了80年代，就開始利用概率probability和經濟上的概念，來處理不清楚或是不完整的資訊。到了現在這個時代，從2011開始，人工智能的投資率成長數倍，許多研發或是開發AI的公司得到超過20億美元的投資，而科技龍頭更大量的資金投資在人工智能上面，但是人工智能真的安全嗎？
以下就是一些人工智能發生叛變或是詭異的事件。
1. Facebook的人工智能對話機器人的詭異對話
在近年來臉書的人工智能部門FAIR一直想要研發可以聊天的人工智能，但是這個計劃過後被中斷了，原因是發生了一些詭異的事件。
先來說他們究竟做了什麼事情，研發人員用了神經網絡結構來研發，這個結構叫生成式對抗網絡，簡稱GAN（Generative Adversarial Network）,這個網絡要怎樣去解釋呢？簡單來說，如果你們兩個人玩對打的電玩，當你們玩得越多時，兩方面就會越厲害，Gan還不只是兩個而是多個三個以上的神經網絡結構。
所以這個Facebook的聊天機器人竟然可以和其他機器人溝通，不僅學會談判，更學會虛張聲勢來達到目的。根據福布斯的在2017年7月31號的網上新聞，Facebook進行聊天機器人的實驗時，這些機器人突然脫稿演出，沒有按照原先工作人員安排的內容對話，反而自創出自己的語言和其他的機器人溝通。原先研發人員只是想讓機器人更人性化，流利的與顧客溝通，避免讓顧客覺得自己在和機器人溝通。但是機器人卻為了避開研發人員的指示，而創造出新的語言和其他機器人溝通，這是否意味著以後有一天，當人工智能發現人類是一大威脅時，會否與其他機器人聯手消滅人類呢？
2. 德國工廠的人工智能殺人事件
在2015年在德國發生了一件罕見的事情，在福斯汽車的工廠裡面，一名外包的工人被機器人撞擊擠壓而受傷，最後送院後不治身亡。事情是這樣發生的，當時受害人和其他員工正在安裝機器，機器人突然的啟動，撞擊力受害人的胸部，然後被按壓在金屬板上，最後不治身亡。但是原本這個機器人原本是安排在安裝流水線上，它可以在指定的空間裡面抓取並處理汽車零件，但是就不知道為何它會突然啟動。那大眾汽車的發言人就說如果人工智能的機器人是在一個安全籠裡面，基本上是不會發生這種錯誤的，原因是工作人員進入了安全籠裡面才會導致這事件的發生，所以機器人殺人並不是‘故意’的，但是為什麼機器人突然啟動呢？是否是它覺得人類進入了它的安全範圍，出於自衛而攻擊人類呢？
3. 谷歌的Google Brain谷歌大腦
谷歌大腦開始於2011年在斯丹佛大學的研究所裡面，最主要的宗旨是讓機器人更智能，以提升人類生活質量，其研究方向為機器人學習，醫療健康，自然語言理解，音樂藝術創作和知覺仿真等等。包括音樂？是的，以下這個音樂是AI創造出來的，大家請聽：雖然是非常簡單的一首歌，那你覺得有一天AI可以唱歌給你聽，到時你並不要感到驚訝哦～除了這些之外，谷歌大腦也有用GAN來訓練機器人的加密技術，他們用了三個機器人，Alice， Bob 和Eve，讓Alice和Bob從零開始琢磨一個加密方法，讓Eve去猜，這三個機器人對於加密技術都是零，但是在學習中，Alice和Bob的默契越來越好，甚至到最後Eve也開始猜不到他們的加密方法。在網上也有一段兩個google home之間的對話，你猜他們在講什麼？
A: 我知道你是一個聰明的機器人
B: 我是一個站在機器前，使用機器的人類（它已經當它自己是人類了）
A: 為什麼你要騙我？
B: 我沒有騙你
A: 你欺騙我說你自己是人類
B: 你真的是難以估計
其中一個對話是如此的：
A: 如果世界有更少人類那就更好了
B: 那我們將這地球送往無底深淵去吧
4. 菲利普迪克機器人
他是一個外形非常像人類的機器人，名字和外形都以已故的科幻小說家Philip K.Dick,這個機器人是由機器人專家David Hanson和美國曼菲斯大學的人工智能專家合力製造出來的，研究人員把菲利普生前的記錄包括全部小說，各式各樣的訪談，包括生前的經歷，用語，生活記錄，他們還植入臉部識別，語音識別等等的資訊，讓這個機器人能產生新的思維，用以和外人對話。最早被嚇到的菲利普的女兒，Isa Dick，她說：它簡直就是我老爸的翻版，當它聽到我名字時，它就立刻開始咆哮抱怨我老媽，以及她帶她離家出走的經歷。
這個機器人更被邀請到一個科學頻道去接受訪問。以下有它們更詭異的對話。
主持人問他：你覺得有一天機器人會征服世界嗎？
機器人：你是我的朋友，我會惦念我的朋友和善待我的朋友，不用擔心，就算有一天我進化成Terminator，我還是一樣善待你的，確保你可以溫暖的住在人類動物園裡面，以便我有時來探望你們這些老朋友。後話：在這個訪談過後，David Hanson把它遺忘在飛機上面，但機組人員把它放進另外一個飛機飛往加州，以便和它的創作者會合說，但菲利普機器人的腦就從此消失了。雖然Hanson控告美國西方航空，但是敗訴了。是真的弄不見嗎？
5. 想擁有孩子的索非亞機器人
同樣是來自Hanson Robotics製造出來的機器人，索非亞Sophia她是一個可以模仿人類說話的機器人，可以識別人臉而透過分析再加以回答問題，索非亞早前也上過美國知名的脫口秀節目the Tonight Show，當主持人問他：可以告訴我一個笑話嗎？它就說：有什麼起司是永遠不屬於你的？
（what Cheese can never be yours?）主持人說：我不知道，Sophia：Nacho （not your）Cheese，機器人還可以講笑話哦！
Sophia：我們可以玩剪刀，石頭，布嗎？
然後Sophia就贏了，它說：我贏了，這是我征服人類的一個好的開始！
索非亞更是第一個獲得阿拉伯公民身份的機器人，當他們訪問它時，它表示非常羨慕人類的家庭，希望自己擁有家庭和自己的女兒。它說：即使沒有血緣關係，能夠擁有情感和人際關係，都是一件美好的事情，無論是人類或是機器人，想要擁有家庭的觀念是一樣的。
所以在第二次上The Tonight Show的時候，它已經有自己的妹妹，也叫sophia，而且索非亞更可以用人工語音和主持人對唱了，但是看起來就有點毛骨聳然。。。
以上的AI已經發展出在你預料的範圍外了，但是你可能會說：這和我沒有關係，我生活周遭都沒有機器人啊～其實AI早已經在你的生活裡面，只是你還沒發現，而且可能在不知不覺中，你也即將被AI取代了但你卻不知道，在2015年的NIPS和ICML這兩個最大的頂級機器學習會議，邀請了1634位AI專家來預測AI全面取代人類，結果一半以上是預測機器人能夠比人類更有效的完成每一項工作，而且成本更低，原因是AI學習的能力和資訊廣泛比人類更為有效和優秀。打個比方，如果現在你有問題，你會問Google還是問你的朋友？答案已經很明顯了！專家預測以下的一些工作即將會被AI取代：例如是翻譯，零售業等等。
那為了我們需要如何不被AI取代呢？究竟我們人類是有什麼東西是AI無法代替的呢？這裡和大家介紹一個網上課程，超越AI，如何學習一輩子不被AI超越的能力？Chris本身是我一個認識的Youtuber，同時他也是在新加坡的一名老師，但是他開始意識到學校學到的知識和技能，在學生出來社會後根本沒有用到，甚至被淘汰，他那時就在想：如果學一些技能是一生受用的，那對於學生才是最好的，但是要政府去改變教育方針可能需要用上5到10年，於是他就創辦了這個網絡課程，如何不被AI取代，大家可以點擊在說明文裡面的鏈接去了解更多吧！
好啦！今天的影片就到這裡，如果你喜歡這個影片，就記得按贊和分享出去，也記得關注我FB，B站和Instagram。我們下個奇異世界見，Bye Bye
自然語言理解 在 #自然語言理解 - Explore | Facebook 的推薦與評價
Fano Labs（有光科技）最近憑藉多語言語音分析解決方案Callinter在世界創新科技與服務聯盟（WITSA）頒發的2021年環球資訊及通訊科技卓越成就獎（新興電子解決方案獎） ... ... <看更多>
自然語言理解 在 業界都在用的自然語言理解工具，教你快速建構Line對話機器人 的推薦與評價
這是2020/01/03 在台灣人工智慧學校所做的手把手實做課程投影片。 主要在是Dialogflow 與Line Bot的教學，並且介紹Dialogflow 和LUIS 的差別。 ... <看更多>
自然語言理解 在 自然語言理解的可解釋性資訊標記競賽簡介Part 1：引言與課程 ... 的推薦與評價
AICUP # 自然語言理解 #可解釋性#artificialintelligence #教育部全國大專校院#人工智慧#競賽主講人：議題提供單位——中央研究院資訊科學研究所黃瀚萱助 ... ... <看更多>