四兩撥千斤! 創新工場首席科學家AI大牛周明博士率瀾舟團隊刷新CLUE新紀錄,輕量化模型孟子一鳴驚人!
本週,中文語言理解權威評測基準CLUE榜單,被「低調」刷新。
不同的是,不是大公司、不是超大模型……
一個新面孔,一個輕量化模型,首戰即登頂,四兩撥千斤。
CLUE榜單近年來由巨頭——騰訊、搜狗、華為、阿里達摩院輪番霸榜的格局,被首次打破。
瀾舟科技-創新工場推出的孟子模型,以十億參數完成了此前百億、千億參數模型刷新的紀錄。
這也是瀾舟科技首次對外曝光,背後團隊負責人,正是創新工場首席科學家、全球AI大牛周明博士。以下文章解釋了這個模型的原理,文章來自《量子位》微信公眾號,經授權轉載。
▎輕量化模型孟子?
孟子,基於瀾舟團隊自研技術研發的大規模預訓練語言模型。
包括創新工場、上海交通大學、北京理工大學等單位參與聯合研發。
可處理多語言、多模態數據,同時支持多種文本理解和文本生成任務,能快速滿足不同領域、不同應用場景的需求。
孟子模型基於Transformer架構,僅包含十億參數量,基於數百G級別涵蓋互聯網網頁、社區、新聞、電子商務、金融等領域的高質量語料訓練。
但誰也沒想到,小模型卻有大智慧,一經登場,打破格局。
CLUE,中文語言理解領域最具權威性的測評基準,涵蓋文本相似度、分類、自然語言推理、閱讀理解等共10項語義分析和理解類子任務。
該榜單競爭激烈,幾乎是業內所有自然語言理解玩家必爭之地。
騰訊、搜狗、華為、阿里達摩院等更是輪番霸榜刷新紀錄。
而且隨著大參數模型愈演愈烈,CLUE還漸有巨頭壟斷之勢。
因為百億、千億甚至萬億參數的大模型,已然不再是創業或其他玩家可與之爭鋒。
萬萬沒想到,瀾舟科技-創新工場團隊出手,四兩撥千斤。
因為孟子,走的是基於輕量級、高效訓練的研究路線,致力於構建十億級別的小模型,充分發揮已有參數下的模型潛力,有利於快速、低成本地落地現實業務場景。
孟子預訓練模型性能比肩甚至超越千億大模型,在包含文本分類、閱讀理解等各類任務上表現出色。
相對已有的中文語言模型,孟子模型實現了多項突破性進展:
1) 堅持「小而精」的輕量化訓練策略。實現在同等模型規模下,遠超公開模型的性能。作為精巧的小模型,對標「巨無霸」,小模型性能超越千億規模模型。
2)使用知識圖譜增強模型,讓 AI 真正獲得知識。孟子模型具備頂尖的語言理解能力,在權威CLUE中文理解評測的總排行榜,以及分類排行榜和閱讀理解排行榜均位列第一,刷新三項榜單世界紀錄。總排行榜分數突破84分,逼近人類基準分數(85.61)。
3)靈活的領域和場景適應能力,方便快速定制和應用。基於T5-style的端到端生成的訓練範式,同步適配BERT-style的判定式架構,既能理解也能生成。便於適配行業應用,覆蓋廣泛業務場景。
當然,隨著孟子一鳴驚人,也必然能讓輕量化模型研究來到聚光燈下。
▎原理方法和應用?
在輕量化模型算法研究方面,基於自研的基於語言學知識、知識圖譜和領域數據增強等技術,從模型架構(包括基礎層Embedding表示和交互層Attention機制)到預訓練策略進行了全方位改進。
具體有四方面:
1) 模型結構方面,將語義角色、詞性標註等語言學特徵融合到Embedding表示中,基於句法約束引入註意力機制中,從而提升模型對語言學知識的建模能力。
2) 訓練策略上,引入基於實體知識和Discourse的Mask機制,強化模型對語言成分和語篇關係的表徵。
3) 為進一步提高訓練效率,使用了大模型蒸餾和初始化小模型策略。
4) 為更好地將孟子模型適應垂直領域如金融、營銷,使用了領域數據繼續訓練並構造相應的提示模版(Prompt),取得了明顯的性能提升。
基於以上算法策略,實現從語料中高效學習涵蓋詞級、句子級和語篇級知識,大幅提升語言模型提煉語言結構和語義信息能力,以及良好的領域遷移能力,適應廣泛的產品應用場景。
另外,在Finetune的進展方面,如何將預訓練模型用於各項任務?
瀾舟團隊也有總結,從數據增強、知識蒸餾、遷移訓練、訓練優化等方面展開了一些探索,進一步提升語言模型的性能:
1) 數據增強:使用領域相關數據;
2) 知識蒸餾:基於Teacher-Student自蒸餾提升訓練效率;
3) 遷移訓練:結合課程學習的思想,由易到難訓練下游模型;
4) 訓練優化:使用多種訓練目標,多角度提升模型能力;
而且孟子還已經展開了垂直化領域應用。
基於領域適應技術,孟子模型已深度垂直化賦能相應行業。典型的例子為適用於金融領域的孟子模型,領域適應策略主要包含兩大方面:
1) 通過大規模的泛金融領域語料,將通用孟子模型遷移到金融領域。金融版孟子模型已經應用於多個金融行業的合作企業,在金融知識圖譜搭建、脫水研報、公告抽取等多個任務上獲得了出色的表現。
2) 通過大規模的營銷領域語料,將孟子模型遷移到數字營銷領域,完成了營銷文案生成、新聞摘要等多項任務,將用於行業頭部的數字營銷公司和多個世界五百強企業的合作之中。
瀾舟方面還透露,孟子模型已在多個領域成功落地實踐,衍生出多項行業領先的產品,涵蓋文本生成、行業搜索、機器翻譯等諸多領域。
並且毫無疑問的是,因為輕量級模型具有的模型參數較少、快速推斷的特點,更易於線上部署和推廣到移動設備中,自然不會局限於現有應用和場景,接下來還會有更廣泛的研究和應用場景中。
▎瀾舟團隊?
最後,也簡單介紹本次一鳴驚人的新面孔瀾舟科技。
瀾舟科技是創新工場孵化的一家認知智能公司。公司創始人——周明博士。
AI領域內,周明已不用過多介紹,他是公認的世界級AI科學家,自然語言處理領域的代表性人物。
周明博士在2020年加盟創新工場,擔任創新工場首席科學家。
而瀾舟科技則針對商業場景的數字化轉型,基於大數據、知識圖譜和行業模型,提供新一代的信息檢索、知識推理和商業洞見技術和相關產品。
據稱目前已與國內外幾十所著名高校和十餘個相關領域的頭部企業建立了穩定的合作關係。
值得注意的是,瀾舟科技除了大牛坐鎮,其實也是行業趨勢的體現。
引用創新工場董事長兼CEO李開復最新分享來說:
AI的發展可以按照兩個時間點劃分。
第一個時間點是2015年,以CNN為核心的計算機視覺技術讓機器超越了人類,帶來了人臉識別、智能質檢、無人零售、智慧城市、無人駕駛等商機。
而第二個時間點出現在2019年,以大模型為代表的自然語言方向取得突破性進展,讓NLP從數據、信息走向知識和洞見成為可能,將會在翻譯、語音識別、法律、金融、新聞、廣告、醫療、娛樂等大賽道帶來機遇。
「如果說CNN造就了今天計算機視覺領域的突破和眾多應用,預訓練大模型+微調也將帶來自然語言的百花齊放的發展,用數據智能驅動各類業務的升級。瀾舟科技在周明老師的帶領下取得了今天的成果,在新機遇面前躬身入局,一起發掘NLP領域的黃金發展期」,李開復說到。
同時也有11部Youtube影片,追蹤數超過2萬的網紅SoniaSu TV,也在其Youtube影片中提到,哈囉大家好,我是Sonia! 目前人在洛杉磯/台灣🇺🇸🇹🇼 歡迎收看〖美妝保養悄悄畫#37〗超神奇化妝品,一秒變霧面唇膏 [ASMR][睡眠][中文]|洛杉磯生活 美妝保養日常對我來說就像每天都要呼吸一樣的自然且必須,於是想挑戰一週5po的〖美妝保養悄悄畫〗系列💪 雖然現在人在洛杉磯,之前在舊金...
「transformer中文」的推薦目錄:
- 關於transformer中文 在 Facebook 的最讚貼文
- 關於transformer中文 在 DeepBelief.ai 深度學習 Facebook 的精選貼文
- 關於transformer中文 在 DeepBelief.ai 深度學習 Facebook 的最讚貼文
- 關於transformer中文 在 SoniaSu TV Youtube 的最讚貼文
- 關於transformer中文 在 Elaine Hau Youtube 的最佳貼文
- 關於transformer中文 在 翼 WingsThunder Youtube 的最佳貼文
- 關於transformer中文 在 ckiplab/ckip-transformers - GitHub 的評價
- 關於transformer中文 在 Transformers:Devastation 全中文劇情過場動畫 - YouTube 的評價
- 關於transformer中文 在 [AI學習筆記] 李宏毅課程Transformer 機制解說(上) - 1010Code 的評價
transformer中文 在 DeepBelief.ai 深度學習 Facebook 的精選貼文
尹相志老師所開發可以讓tensorflow與pytorch使用99%以上相同代碼開發的trident api,釋出新版本 0.7.3
除了bug修復之外,這版本多了下功能
- 全新文字轉換: 隨機對調字元,隨機插入字元,轉換至半形,隨機遮罩,隨機轉注音文,中文繁簡互轉,隨機轉中文同音錯字,隨機轉中文同型錯字
- Pytorch lstm支援雙向lstm以及attention,tensorflow版lstm也開始提供
- Pytorch transformer開始提供
- 全新視覺轉換:馬賽克拼貼圖像
- GANBuilder支援條件式Conditional GAN以及跳轉連接網路結構
- 提供可微分色彩空間轉換函數 (rgb2lab, rgb2xyz, rgb2hsv...
- 新的神經層: TemporalConv1d_Block, FullConnect_Block
https://github.com/AllanYiin/trident
transformer中文 在 DeepBelief.ai 深度學習 Facebook 的最讚貼文
中文的本質是圖片而非序列,用卷積能夠學習到許多rnn與transformer無法理解的語意
transformer中文 在 SoniaSu TV Youtube 的最讚貼文
哈囉大家好,我是Sonia! 目前人在洛杉磯/台灣🇺🇸🇹🇼
歡迎收看〖美妝保養悄悄畫#37〗超神奇化妝品,一秒變霧面唇膏 [ASMR][睡眠][中文]|洛杉磯生活
美妝保養日常對我來說就像每天都要呼吸一樣的自然且必須,於是想挑戰一週5po的〖美妝保養悄悄畫〗系列💪 雖然現在人在洛杉磯,之前在舊金山住了三年,所以就算人不在舊金山但我的心也在舊金山!
歡迎大家在每天台灣的晚上(我美國的白天)陪我化妝,看我的美妝保養悄悄畫~大家最想知道的問題,包含美妝保養的問題,我都回答在資訊欄底下囉,記得去看!#SoniaSuTV #洛杉磯生活 #美妝保養悄悄畫 #asmr中文 #睡眠 #ASMR #支持領養代替購買
【影片的目標是讓大家可以睡覺時聽著或看著我的影片休息,走一個“舒服”的系列!搭配著我平日每天都要美妝保養,你平日每天都要休息睡覺的時間,讓大家下課下班後可以紓壓,這是影片中走ASMR的原因】
【ASMR是(取自Wikipedia):自發性知覺高潮反應(Autonomous sensory meridian response)也稱自發性知覺經絡反應,是一種對於視覺、聽覺、觸覺、嗅覺等其他知覺,顱內、頭皮、後背以及四肢等周邊部位受到刺激而產生愉悅反應的感知現象,例如頭頸部皮膚酥癢、起雞皮疙瘩等反應。】
▼▼更多美妝保養日常影片▼▼
【Naked HEAT palette】詳細版教學。清新日常妝|SoniaSu TV
https://www.youtube.com/watch?v=rqG7F4N0NPU&list=PLf6BL8fGbkwmpoM6FGHCoSFF68-8Huazk&index=29
[如何幫女友化妝]挑戰!! 男友幫我化妝 | SoniaSu TV|[How to Challenge]Boyfriend does my makeup | SoniaSu TV
https://www.youtube.com/watch?v=Pm5eJXLWmwE&list=PLf6BL8fGbkwmpoM6FGHCoSFF68-8Huazk&index=9&t=0s
[抽獎 X 2017感謝] 我與小編❤️的迪士尼禮物交換。+Urban Decay Vice Lipstick Palette/ belif travel kit | Giveaway!!
https://www.youtube.com/watch?v=SEARVgIQoAU&list=PLf6BL8fGbkwmpoM6FGHCoSFF68-8Huazk&index=12
♥ ♥其他看得到我的地方♥ ♥
♡ Instagram🔍soniasutv
♡ Facebook🔍soniasutv
✉ Contact me - soniasutv@gmail.com
YouTube履歷表:http://sukyhoini8.wixsite.com/soniasutv
製片人/剪輯: Jason Kuo(https://mosicstudios.wixsite.com/mosic)
p.s.這部片不需要剪輯XD 但你還是必須去看他的作品集
Sonia其實是演員~ Sang Chi Su - Acting Demo Reel:
https://www.youtube.com/watch?v=sHHATEQOuWc&t=2s
但實在太愛舊金山所以拍了...【舊金山留學】5件你不來舊金山就一定不會知道的事!|SoniaSu TV:
https://www.youtube.com/watch?v=HXvWEmLYkh0&t=1s
然後不喜歡吃正餐,但很愛零食尤其是巧克力...所以也拍了【舊金山零食】試吃15種有趣的美國糖果!|SoniaSu TV:
https://www.youtube.com/watch?v=9EuC_MY1icA
_______________________________
我所使用的產品 products I used:
法令紋面膜 Sleeping Mask: 森下仁丹 Matsukiyo 10 mouth pack sheets
化妝水 toner: HABA VC美白潤白柔膚化妝水
保養油 Beauty Oil: Tatcha山茶花美颜油 Pure One Step Camellia Cleansing Oil #24K的金箔片
晚霜 night cream: Tatcha The Indigo Cream - Soothing Skin Protectant
校正膚色遮瑕盤 color correcting concealer: NYX cache-kernes correcteur
粉底液 foundation: 媚點粉嫩保濕礦物粉底霜 OC-D1
美妝蛋 sponge: JUNO & CO MICROFIBER FUSION SPONGE
粉餅 pressed powder: SO NATURAL powder4room makeup powder FIXX
眉筆 eyebrow pencil: 1028 我型我塑持色眉筆 03灰褐色 Longwear Eyebrow Definer
腮紅 blush: NARS 高潮腮紅 Orgasm peachy pink with shimmer
打亮(超激光) Highlighter: MAC x Pony 燙金塔羅超激光炫彩餅 Sky’s The Limit (淺金色那款)
護唇膏 Lip balm: CAMELLIA GOLD SPUN LIP BALM
水潤唇膏 LIQUID BALM: YSL VOLUPTÉ LIQUID BALM 9 Strip Me Fuchsia
唇膏 Lip TInt: OPERA Lip TInt #102朦朧奶茶米
一秒霧面唇 INSTA-MATTE: smashbox INSTA-MATTE Lipstick Transformer
_______________________________
▼▼ FAQs ▼▼
My skin type: dry
CAMERA: iPhone 6s
LIGHT: UBeesize 8 inches Selfie Ring Light
EDITING SOFTWARE: premiere pro
MUSIC & SFX SOURCES: Logic Pro X
MICROPHONE: Shure MV 88
DISCLAIMER: This is not a sponsored video.
〖美妝保養悄悄畫〗#SoniaSuTV, #洛杉磯生活, #美妝保養悄悄畫, 洛杉磯 生活, #洛杉矶, 洛杉矶, Los Angeles, #asmr中文, 睡眠, ASMR, #支持領養代替購買, Adopt don’t shop
![post-title](https://i.ytimg.com/vi/DdHvczJW4wU/hqdefault.jpg)
transformer中文 在 Elaine Hau Youtube 的最佳貼文
Please check out my business Luxury Fashion Rentals, a luxury handbag rental e-commerce website: https://luxuryfashionrentals.com
中文字幕請打開[字幕](右下方):)
如果仍然看不到中文字幕,請轉到“設置”(右下方),然後轉到“字幕”,然後“自動翻譯”,然後點擊“中文”
Please turn on [CC] for English subtitles :)
If you still can't see English subtitles, then go to "Settings", then "Subtitles/CC", then "English"
中文字幕请打开[字幕] (右下方) :)
如果仍然看不到中文字幕,请转到“设置”(右下方),然后转到“字幕”,然后"自动翻译",然后点击“中文”
First of all I would like to thank you guys for watching this video :) Sorry, I wanted to let you know that I was unaware the rebecca minkoff pom poms were made from rabbit fur. I wouldn't have purchased them if I knew :( Thank you for bringing this to my attention. I appreciate everyones support ??
Products Mentioned:
Ikea Billy Bookcase: http://www.ikea.com/us/en/catalog/products/00263850/?query=002.638.50
Ikea Billy Extra Book Glass Shelf: http://www.ikea.com/us/en/catalog/products/10286752/?query=102.867.52
Ikea Oxberg Glass Door: http://www.ikea.com/us/en/catalog/products/90275617/?query=902.756.17
Ikea Omlopp Led Spotlight: http://www.ikea.com/us/en/catalog/products/90288342/?query=90288342
Ikea Ansluta Power Supply Cord: http://www.ikea.com/us/en/catalog/products/30121411/?query=30121411
Ikea Ansluta Electronic transformer: http://www.ikea.com/us/en/catalog/products/50288339/?query=50288339
Chanel Vanity Case: https://api.shopstyle.com/action/apiVisitRetailer?id=629118591&pid=uid3209-35281547-73
Letter Fur Pom Pom: https://api.shopstyle.com/action/apiVisitRetailer?id=607412502&pid=uid3209-35281547-73
Louis Vuitton Alma BB: http://us.louisvuitton.com/eng-us/products/alma-bb-monogram-vernis-000478
Louis Vuitton Neverfull GM: http://us.louisvuitton.com/eng-us/products/neverfull-gm-damier-azur-008066
Mary Frances Graceland Handbag: http://www.maryfrances.com/graceland-embellished-guitar-handbag.html
~Rebecca Mini M.A.C: https://api.shopstyle.com/action/apiVisitRetailer?id=618790511&pid=uid3209-35281547-73
~Rebecca Mini M.A.C: https://api.shopstyle.com/action/apiVisitRetailer?id=618790505&pid=uid3209-35281547-73
Louis Vuitton Eva: http://us.louisvuitton.com/eng-us/products/eva-damier-azur-000559
Gucci Dionysus GG Supreme Shoulder Bag: https://api.shopstyle.com/action/apiVisitRetailer?url=https%3A%2F%2Fwww.gucci.com%2Fus%2Fen%2Fpr%2Fwomen%2Fwomens-handbags%2Fdionysus-gg-supreme-shoulder-bag-p-400249KHNRN8698%3Fposition%3D4%26listName%3DVariationOverlay&pid=uid3209-35281547-73
Moschino Leather Moto Jacket Shoulder Bag: https://api.shopstyle.com/action/apiVisitRetailer?url=http%3A%2F%2Fwww.neimanmarcus.com%2FMoschino-Leather-Moto-Jacket-Shoulder-Bag-Pink%2Fprod179190514%2Fp.prod&pid=uid3209-35281547-73
Gucci Blooms GG Supreme Mini Chain Bag: https://api.shopstyle.com/action/apiVisitRetailer?id=490851752&pid=uid3209-35281547-73
Moschino "SHOP" Stop Sign Shoulder Bag: https://api.shopstyle.com/action/apiVisitRetailer?url=http%3A%2F%2Fwww.neimanmarcus.com%2FMoschino-SHOP-Stop-Sign-Shoulder-Bag-Black-Red%2Fprod182540175%2Fp.prod&pid=uid3209-35281547-73
Louis Vuitton Palm Springs Backpack Mini: http://us.louisvuitton.com/eng-us/products/palm-springs-backpack-mini-monogram-012159
Louis Vuitton Palm Springs Backpack MM: http://us.louisvuitton.com/eng-us/products/palm-springs-backpack-mm-monogram-012142
Moschino Chains Quilted Leather Backpack: https://api.shopstyle.com/action/apiVisitRetailer?url=http%3A%2F%2Fwww.neimanmarcus.com%2FMoschino-Chains-Quilted-Leather-Backpack-Pink%2Fprod183800234%2Fp.prod&pid=uid3209-35281547-73
送大禮 - Kate Spade Crossbody Bag
- 1位得主
- 只可參與一次
- 國際參加
如何參加:
1. "喜歡"這個影片
2. 分享這個影片
3. 務必訂閱我的頻道
http://youtube.com/littleelainehau
4. Follow 我的Instagram, Facebook, Snapchat
http://instagram.com/littleelainehau
http://facebook.com/elaine.elaine.hau
Snapchat: LittleElaineHau
5. (1)你最喜歡我的哪個包包? (2)你最喜歡的品牌包包是什麼?
**我會從這個video上隨機選擇1位贏家 :)
贈品將結束於2017年3月13日
祝你好運!:)
**這不是一個贊助的視頻,我用我自己的錢購買的。
**This video is not sponsored. I purchased the items with my own money.
**这不是一个赞助的视频,我用我自己的钱购买的。
感謝您的收看!
Thank you for watching!!
感谢您的收看!
工作電郵:e_style@live.com
For business inquiries: e_style@live.com
工作电邮: e_style@live.com
記得follow我instagram @littleelainehau
Don't forget to follow me on Instagram @littleelainehau
记得跟随我instagram @littleelainehau
http://instagram.com/littleelainehau
Snapchat: littleelainehau
Facebook Page: https://www.facebook.com/elaine.elaine.hau
Weibo: http://weibo.com/LittleElaineHau
Youku: http://i.youku.com/LittleElaineHau
Bilibili/B站: http://space.bilibili.com/175967309/#!/
IG Shop: http://instagram.com/jaine_beauty
![post-title](https://i.ytimg.com/vi/86et7dUjIwc/hqdefault.jpg?sqp=-oaymwEbCKgBEF5IVfKriqkDDggBFQAAiEIYAXABwAEG&rs=AOn4CLDxJHeB9mXFD-252oWc6Re8AaXo9Q)
transformer中文 在 翼 WingsThunder Youtube 的最佳貼文
訂講5月份 Lootaku 寶箱!: http://bit.ly/WingsLTKSub
今次呀樂返左來香港, 我地來一齊開呢個機械人既寶箱
不過裏面既野好多都係80年代既野...?
好彩仲有Transformer既變形車仔!
======================================
獲取我的最新最快影片資訊: http://bit.ly/WingsNotice
翼 VLOG: http://bit.ly/WingsVlog
遊戲湯麵 GameNoodleSoup: http://youtube.com/gamenoodlesoup
翼的Google+: http://plus.google.com/+wingsthunder
翼的Facebook專頁: http://facebook.com/aywingsthunder
翼的Instagram: http://instagram.com/wingsthunder
翼的Twitter: http://twitter.com/aywingsthunder
Home Base影片播放清單: http://bit.ly/WingsHB
WingsOS - 手機遊戲系列: http://bit.ly/WingsOS
我們的學園日常: http://bit.ly/WingsSchool
Production Music courtesy of Epidemic Sound: http://www.epidemicsound.com
![post-title](https://i.ytimg.com/vi/1kmEmeQRQaA/hqdefault.jpg)
transformer中文 在 [AI學習筆記] 李宏毅課程Transformer 機制解說(上) - 1010Code 的推薦與評價
以下實驗將中文文字轉成台羅拼音,再將拼音轉成聲音訊號。 在文字上也有廣泛使用Seq2seq 模型,例如對話機器人。輸入一句話,經過模型判斷吐出回應的句子 ... ... <看更多>
transformer中文 在 ckiplab/ckip-transformers - GitHub 的推薦與評價
Contribute to ckiplab/ckip-transformers development by creating an account ... 這個專案提供了繁體中文的transformers 模型(包含ALBERT、BERT、GPT2)及自然語言 ... ... <看更多>