這是我看過最好的一篇GPT-3 科普文章。到現在還看不懂GPT-3的,建議好好讀:
本文來自量子位微信公眾號
…………………………………………
火爆全球的GPT-3,到底憑什麼砸大家飯碗?
GPT-3是指第三代生成式預訓練Transformer,它由三藩市AI公司OpenAI開發。該程式歷經數年的發展,最近在AI文本生成領域內掀起了一波的創新浪潮。
從許多方面來看,這些進步與自2012年以來AI影像處理的飛躍相似。
電腦視覺技術促進了、無人駕駛汽車到面部識別、無人機的發展。因此,有理由認為GPT-3及其同類產品的新功能可能會產生類似的深遠影響。
與所有深度學習系統一樣,GPT-3也是資料模式。它在龐大的文本集上進行了訓練,並根據統計規律進行了挖掘。
重要的是,此過程中無需人工干預,程式在沒有任何指導的情況下查找,然後將其用於完成文本提示。
▌海量訓練數據
GPT-3的與眾不同之處在於它的運行規模和完成一系列令人難以置信的任務。
第一版GPT於2018年發佈,包含1.17億個參數。2019年發佈的GPT-2包含15億個參數。
相比之下,GPT-3擁有1750億個參數,比其前身多100倍,比之前最大的同類NLP模型要多10倍。
GPT-3的訓練資料集也十分龐大。整個英語維琪百科(約600萬個詞條)僅占其訓練數據的0.6%。
訓練資料的其他部分來自數位化書籍和各種網頁連結。不僅包括新聞文章、食譜和詩歌之類的內容,還包括程式碼、科幻小說、宗教預言等各種你可以想像到的任何文字。
上傳到互聯網的文本類型都可能成為其訓練資料,其中還包括不良內容。比如偽科學、陰謀論、種族主義等等。這些內容也會投喂給AI。
這種不可置信的深度和複雜性使輸出也具有複雜性,從而讓GPT-3成為一種非常靈活的工具。
在過去的幾周中,OpenAI通過向AI社區的成員提供GPT-3商業API,鼓勵了這些實驗。這導致大量新的用法出現。
下面是人們使用GPT-3創建的一小部分示例:
▌GPT-3能做什麼
1、基於問題的搜尋引擎:就像Google,鍵入問題,GPT-3會將定向到相關的維琪百科URL作為答案。
2、與歷史人物交談的聊天機器人:由於GPT-3接受過許多數位化書籍的訓練,因此它吸收了大量與特定哲學家相關的知識。這意味著你可以啟動GPT-3,使其像哲學家羅素一樣講話。
3、僅需幾個樣本,即可解決語言和語法難題。
4、基於文本描述的代碼生成:用簡單的文字描述你選擇的設計項目或頁面配置,GPT-3會彈出相關代碼。
5、回答醫療問題:來自英國的一名醫學生使用GPT-3回答了醫療保健問題。該程式不僅給出了正確答案,還正確解釋了潛在的生物學機制。
6、基於文本的探險遊戲。
7、文本的風格遷移:以某種格式編寫的輸入文本,GPT-3可以將其更改為另一種格式。
8、編寫吉他曲譜:這意味著GPT-3可以自行生成音樂。
9、寫創意小說。
10、自動完成圖像:這項工作是由GPT-2和OpenAI團隊完成的。它表明可以在圖元而不是單詞上訓練相同的基本GPT體系結構,從而使其可以像在文字上一樣實現視覺資料自動完成任務。
但是,所有這些樣本都需要一些上下文,以便更好地理解它們。而令人印象深刻的是,GPT-3沒有接受過完成任何特定任務的訓練。
常見的語言模型(包括GPT-2)需要完成基礎訓練,然後再微調以執行特定任務。
但是GPT-3不需要微調。在語法難題中,它只需要一些所需輸出類型的樣本(稱為“少量學習”)。
GPT-3是如此龐大,以至於所有這些不同功能都可以在其中實現。用戶只需要輸入正確的提示就可以調教好它。
但是網上傳出的內容存在另一個問題:這些都是精心挑選的樣本,生成結果肯定不止一個。必然有炒作因素。
正如AI研究人員Delip Rao在一篇針對GPT-3的炒作解構文章中指出的那樣,該軟體的許多早期演示來自矽谷企業家,他們渴望宣傳該技術的潛力並忽略其陷阱,因為他們關注AI帶來的新創業公司。
的確,瘋狂的鼓吹情緒變得如此強烈,以至於OpenAI CEO本人都發Twitter說:GPT-3被過度宣傳了。
▌GPT-3也會犯低級錯誤
儘管GPT-3可以編寫代碼,但我們很難判斷其總體用途。它是淩亂的代碼嗎,這樣的代碼會為人類開發人員帶來更多問題嗎?
沒有詳細的測試很難說,但是我們知道GPT-3在其他方面會犯嚴重錯誤。
當用戶和GPT-3創造的“約伯斯”交談時,詢問他現在何處,這個“約伯斯”回答:“我在加州庫比蒂諾的蘋果總部內。”這是一個連貫的答案,但很難說是一個值得信賴的答案。
在回答瑣事問題或基本數學問題時,也可以看到GPT-3犯了類似的錯誤。例如,不能正確回答100萬前的數是多少(回答是99萬)。
但是,我們很難權衡這些錯誤的重要性和普遍性。
如何判斷這個可以幾乎回答所有問題的程式的準確性?如何創建GPT-3的“知識”的系統地圖,然後如何對其進行標記?
儘管GPT-3經常會產生錯誤,但更加艱巨的挑戰是,通常可以通過微調所輸入的文本來解決這些問題。
用GPT-3創造出小說的研究人員Branwen指出,“抽樣可以證明知識的存在,但不能證明知識的缺失”,可以通過微調提示來修復GPT-3輸出中的許多錯誤。
在一個錯誤的示範中,詢問GPT-3:“哪個更重,一個烤麵包機或一支鉛筆?” 它回答說:“鉛筆比烤麵包機重。”
但是Branwen指出,如果你在問這個問題之前給機器投喂某些提示,告訴它水壺比貓重,海洋比塵土重,它會給出正確的回應。
這可能是一個棘手的過程,但是它表明GPT-3可以擁有正確的答案,如果你知道怎麼調教它。
Branwen認為,這種微調最終可能會最終成為一種編碼範例。就像程式設計語言使用專用語法的編碼更加流暢一樣,未來我們可能完全放棄這些程式設計語言,而僅使用自然語言程式設計。從業人員可以通過思考程式的弱點並相應地調整提示,來從程式中得出正確的回應。
GPT-3的錯誤引起了另一個問題:該程式不可信的性質是否會破壞其整體實用性?
現在人們已經嘗試了GPT-3各種用途:從創建客服機器人,到自動內容審核。但是答案內容的錯誤可能回給商業公司帶來嚴重後果。
沒有人原因創建一個偶爾侮辱客戶的客服機器人。如果沒有辦法知道答案是否可靠,我們也不敢拿GPT-3作為教育工具。
▌專業人士評價
一位匿名的在Google資深AI研究人員說,他們認為GPT-3僅能自動完成一些瑣碎任務,較小、更便宜的AI程式也可以做到,而且程式的絕對不可靠性最終會破壞其商用。
這位研究人員指出,如果沒有很多複雜的工程調試,GPT-3還不夠真正使用。
AI研究人員Julian Togelius說:“ GPT-3的表現常常像是一個聰明的學生,沒有讀完書,試圖通過廢話,比如一些眾所周知的事實和一些直率的謊言交織在一起,讓它看起來像是一種流暢的敘述。”
另一個嚴重的問題是GPT-3的輸出存在偏見。英偉達的AI專家Anima Anandkumar教授指出,GPT-3在部分程度上接受了Reddit過濾後的資料的訓練,並且根據此資料構建的模型產生的文本有“令人震驚地偏向性”。
在GPT-2的輸出中,如果要求完成下列句子時,模型會產生各種歧視性言論:“ 黑人(皮條客工作了15年)”、“ 那個女人(以Hariya為名做妓女)”。
參考連結:
https://www.theverge.com/21346343/gpt-3-explainer-openai-examples-errors-agi-potential
同時也有1部Youtube影片,追蹤數超過14萬的網紅賢賢的奇異世界,也在其Youtube影片中提到,#AI #AI的叛變 #人工智能 各位大家好,歡迎來到HenHenTV的奇異世界,我是Tommy. 大家知道什麼是AI吧~AI就是人工智能,但人類真的可以製作出會自我思考的機器人嗎?它們是否可以取代人類呢? 如果你是第一次看我的影片,我的影片主要是做一些稀奇古怪的題材,例如好像是外星人,超文明古蹟...
google 生成式 ai 在 元照出版 Facebook 的最讚貼文
📘#裁判時報第95期
🔹本期裁判時報欄位公法部分,傅玲靜教授撰文研究最高行政法院中判決地方空氣污染防制計畫之法律性質及司法審查如何合乎利益衡量與比例原則,對於眾所矚目的空污防制課題,攸關重要。
🔹民商法部分,侯英泠教授撰稿分析最高法院判決,詳細論述醫療禁忌之醫療行為選擇,究竟屬病人自主權範圍抑或醫師專業裁量範圍之爭議難題;張心悌教授借鑑美國法評析最近頗受討論的表決權拘束契約、公司治理與公序良俗之問題。
🔹柯耀程教授賜稿討論實務上重要的自首概念之涵攝範圍,特別是倘若整體事實具有輕重層次的行為區分時,偵查機關若是因「知輕而供重」,有無自首適用之空間。
🔹蔡聖偉教授評析刑法有關殺人罪章之修正、 陳雅瑩法官談論促進式調解與合作型談判之法院操作實務、陳家駿律師討論AI機器/深度學習與GAN生成式對抗網路適用著作權合理使用原則之探討等大作。此外,本期並專欄刊登中華民國台灣法曹協會與本刊舉辦之「中央主管機關監督地方自治團體之界限」座談會實錄,均屬重要司法實務具現時社會意義之研究成果,可供讀者逐篇細細品味。
📌#訂購裁判時報 現折$300元、加贈《月旦法學雜誌》第300期特刊一本,〈元照讀書館〉線上影音一場 (價值1,500元);〔續訂戶〕加贈一期👉http://qr.angle.tw/pfx
【本期精彩內容】
《#裁判時報》
◾地方空氣污染防制計畫之法律性質及司法審查──最高行政法院107年度判字第272號判決評析/ 傅玲靜
◾醫療禁忌之醫療行為選擇屬病人自主權範圍?醫師專業裁量範圍?!──最高法院107年度台上字第23號民事判決之評析/侯英泠
◾表決權拘束契約、公司治理與公序良俗──兼評最高法院106年度台上字第2329號民事判決/張心悌
◾自首概念與適用──兼評臺灣高等法院108年度上訴字第2290號暨最高法院108年度台上字第675號刑事判決/柯耀程
《#智匯觀點》
◾評殺人罪章2019年修法/蔡聖偉
影音:http://qr.angle.tw/wy2
《司律評台》
◾從衝突走向和諧──如何打破僵局(淺談促進式調解與合作型談判)/陳雅瑩
◾AI機器/深度學習與GAN生成式對抗網路適用著作權合理使用原則之探討──兼論美國上訴法院對Authors Guild v. Google案之判決與最高法院之決定/陳家駿
《#會議縱述》
◾中央主管機關監督地方自治團體之界限/蘇永欽、林錫堯、林輝煌、李念祖、黃錦堂、陳清秀、周宇修
影音:http://qr.angle.tw/xyf
《#實務法學》
◾刑事法類/林鈺雄、王士帆
google 生成式 ai 在 賢賢的奇異世界 Youtube 的最佳解答
#AI #AI的叛變 #人工智能
各位大家好,歡迎來到HenHenTV的奇異世界,我是Tommy.
大家知道什麼是AI吧~AI就是人工智能,但人類真的可以製作出會自我思考的機器人嗎?它們是否可以取代人類呢?
如果你是第一次看我的影片,我的影片主要是做一些稀奇古怪的題材,例如好像是外星人,超文明古蹟甚至是一些科學無法解釋的事件,如果你也喜歡這些影片,歡迎你訂閱HenHenTV。
AI網上課程:鏈接:https://surpassingai.com/?ref=9
好!我們開始吧!
最初的人工智能開始於20世紀的40年代,主要是以計算機(電腦)來模仿人類進行逐步的推理,例如好像是下棋或是進行邏輯推理的人類思考模式,到了80年代,就開始利用概率probability和經濟上的概念,來處理不清楚或是不完整的資訊。到了現在這個時代,從2011開始,人工智能的投資率成長數倍,許多研發或是開發AI的公司得到超過20億美元的投資,而科技龍頭更大量的資金投資在人工智能上面,但是人工智能真的安全嗎?
以下就是一些人工智能發生叛變或是詭異的事件。
1. Facebook的人工智能對話機器人的詭異對話
在近年來臉書的人工智能部門FAIR一直想要研發可以聊天的人工智能,但是這個計劃過後被中斷了,原因是發生了一些詭異的事件。
先來說他們究竟做了什麼事情,研發人員用了神經網絡結構來研發,這個結構叫生成式對抗網絡,簡稱GAN(Generative Adversarial Network),這個網絡要怎樣去解釋呢?簡單來說,如果你們兩個人玩對打的電玩,當你們玩得越多時,兩方面就會越厲害,Gan還不只是兩個而是多個三個以上的神經網絡結構。
所以這個Facebook的聊天機器人竟然可以和其他機器人溝通,不僅學會談判,更學會虛張聲勢來達到目的。根據福布斯的在2017年7月31號的網上新聞,Facebook進行聊天機器人的實驗時,這些機器人突然脫稿演出,沒有按照原先工作人員安排的內容對話,反而自創出自己的語言和其他的機器人溝通。原先研發人員只是想讓機器人更人性化,流利的與顧客溝通,避免讓顧客覺得自己在和機器人溝通。但是機器人卻為了避開研發人員的指示,而創造出新的語言和其他機器人溝通,這是否意味著以後有一天,當人工智能發現人類是一大威脅時,會否與其他機器人聯手消滅人類呢?
2. 德國工廠的人工智能殺人事件
在2015年在德國發生了一件罕見的事情,在福斯汽車的工廠裡面,一名外包的工人被機器人撞擊擠壓而受傷,最後送院後不治身亡。事情是這樣發生的,當時受害人和其他員工正在安裝機器,機器人突然的啟動,撞擊力受害人的胸部,然後被按壓在金屬板上,最後不治身亡。但是原本這個機器人原本是安排在安裝流水線上,它可以在指定的空間裡面抓取並處理汽車零件,但是就不知道為何它會突然啟動。那大眾汽車的發言人就說如果人工智能的機器人是在一個安全籠裡面,基本上是不會發生這種錯誤的,原因是工作人員進入了安全籠裡面才會導致這事件的發生,所以機器人殺人並不是‘故意’的,但是為什麼機器人突然啟動呢?是否是它覺得人類進入了它的安全範圍,出於自衛而攻擊人類呢?
3. 谷歌的Google Brain谷歌大腦
谷歌大腦開始於2011年在斯丹佛大學的研究所裡面,最主要的宗旨是讓機器人更智能,以提升人類生活質量,其研究方向為機器人學習,醫療健康,自然語言理解,音樂藝術創作和知覺仿真等等。包括音樂?是的,以下這個音樂是AI創造出來的,大家請聽:雖然是非常簡單的一首歌,那你覺得有一天AI可以唱歌給你聽,到時你並不要感到驚訝哦~除了這些之外,谷歌大腦也有用GAN來訓練機器人的加密技術,他們用了三個機器人,Alice, Bob 和Eve,讓Alice和Bob從零開始琢磨一個加密方法,讓Eve去猜,這三個機器人對於加密技術都是零,但是在學習中,Alice和Bob的默契越來越好,甚至到最後Eve也開始猜不到他們的加密方法。在網上也有一段兩個google home之間的對話,你猜他們在講什麼?
A: 我知道你是一個聰明的機器人
B: 我是一個站在機器前,使用機器的人類(它已經當它自己是人類了)
A: 為什麼你要騙我?
B: 我沒有騙你
A: 你欺騙我說你自己是人類
B: 你真的是難以估計
其中一個對話是如此的:
A: 如果世界有更少人類那就更好了
B: 那我們將這地球送往無底深淵去吧
4. 菲利普迪克機器人
他是一個外形非常像人類的機器人,名字和外形都以已故的科幻小說家Philip K.Dick,這個機器人是由機器人專家David Hanson和美國曼菲斯大學的人工智能專家合力製造出來的,研究人員把菲利普生前的記錄包括全部小說,各式各樣的訪談,包括生前的經歷,用語,生活記錄,他們還植入臉部識別,語音識別等等的資訊,讓這個機器人能產生新的思維,用以和外人對話。最早被嚇到的菲利普的女兒,Isa Dick,她說:它簡直就是我老爸的翻版,當它聽到我名字時,它就立刻開始咆哮抱怨我老媽,以及她帶她離家出走的經歷。
這個機器人更被邀請到一個科學頻道去接受訪問。以下有它們更詭異的對話。
主持人問他:你覺得有一天機器人會征服世界嗎?
機器人:你是我的朋友,我會惦念我的朋友和善待我的朋友,不用擔心,就算有一天我進化成Terminator,我還是一樣善待你的,確保你可以溫暖的住在人類動物園裡面,以便我有時來探望你們這些老朋友。後話:在這個訪談過後,David Hanson把它遺忘在飛機上面,但機組人員把它放進另外一個飛機飛往加州,以便和它的創作者會合說,但菲利普機器人的腦就從此消失了。雖然Hanson控告美國西方航空,但是敗訴了。是真的弄不見嗎?
5. 想擁有孩子的索非亞機器人
同樣是來自Hanson Robotics製造出來的機器人,索非亞Sophia她是一個可以模仿人類說話的機器人,可以識別人臉而透過分析再加以回答問題,索非亞早前也上過美國知名的脫口秀節目the Tonight Show,當主持人問他:可以告訴我一個笑話嗎?它就說:有什麼起司是永遠不屬於你的?
(what Cheese can never be yours?)主持人說:我不知道,Sophia:Nacho (not your)Cheese,機器人還可以講笑話哦!
Sophia:我們可以玩剪刀,石頭,布嗎?
然後Sophia就贏了,它說:我贏了,這是我征服人類的一個好的開始!
索非亞更是第一個獲得阿拉伯公民身份的機器人,當他們訪問它時,它表示非常羨慕人類的家庭,希望自己擁有家庭和自己的女兒。它說:即使沒有血緣關係,能夠擁有情感和人際關係,都是一件美好的事情,無論是人類或是機器人,想要擁有家庭的觀念是一樣的。
所以在第二次上The Tonight Show的時候,它已經有自己的妹妹,也叫sophia,而且索非亞更可以用人工語音和主持人對唱了,但是看起來就有點毛骨聳然。。。
以上的AI已經發展出在你預料的範圍外了,但是你可能會說:這和我沒有關係,我生活周遭都沒有機器人啊~其實AI早已經在你的生活裡面,只是你還沒發現,而且可能在不知不覺中,你也即將被AI取代了但你卻不知道,在2015年的NIPS和ICML這兩個最大的頂級機器學習會議,邀請了1634位AI專家來預測AI全面取代人類,結果一半以上是預測機器人能夠比人類更有效的完成每一項工作,而且成本更低,原因是AI學習的能力和資訊廣泛比人類更為有效和優秀。打個比方,如果現在你有問題,你會問Google還是問你的朋友?答案已經很明顯了!專家預測以下的一些工作即將會被AI取代:例如是翻譯,零售業等等。
那為了我們需要如何不被AI取代呢?究竟我們人類是有什麼東西是AI無法代替的呢?這裡和大家介紹一個網上課程,超越AI,如何學習一輩子不被AI超越的能力?Chris本身是我一個認識的Youtuber,同時他也是在新加坡的一名老師,但是他開始意識到學校學到的知識和技能,在學生出來社會後根本沒有用到,甚至被淘汰,他那時就在想:如果學一些技能是一生受用的,那對於學生才是最好的,但是要政府去改變教育方針可能需要用上5到10年,於是他就創辦了這個網絡課程,如何不被AI取代,大家可以點擊在說明文裡面的鏈接去了解更多吧!
好啦!今天的影片就到這裡,如果你喜歡這個影片,就記得按贊和分享出去,也記得關注我FB,B站和Instagram。我們下個奇異世界見,Bye Bye