#島讀回顧 #人工智慧
今年島讀網站被搜尋最多次的關鍵字是「人工智慧」(AI)。
人工智慧近年的發展迅速,許多領域都能看到其應用。
島讀今年一篇《機器學習 — 知識工作者的未來》,以「文字產生器」GPT-3 討論人工智慧,獲得不少會員迴響。
---
寫論文很痛苦。有些人痛苦到整份照抄別人的論文。現在出現一線曙光,美國 OpenAI 公布機器學習模型 GPT-3(Generative Pretrained Transformer),堪稱是「萬用」的文字產生器。最近 GPT-3 開始封測,推出 API,更在矽谷引發轟動。目前已知有人用 GPT-3 寫程式、請牛頓解釋地心引力、回答醫學問題、摘要文章,甚至寫詩。
先說 OpenAI。OpenAI 是一個非營利組織,贊助者包括 PayPal 創辦人 Peter Thiel、Elon Musk 與 Salesforce 創辦人 Marc Benioff 等。其使命是確保通用人工智慧(Artificial General Intelligence)將用於服務人類,而非迫害人類。
GPT-3 則是其開發的語言生成模型,第三代的「文字產生器」(島讀去年討論過第二代)。使用者輸入一段文字,它就會生出下一個字,再繼續生出下一個字,不斷重複下去,直到人類喊停或是達到約 1,000 個英文字為止。例如我輸入:「天下分久必合,合久必 ___」,GPT-3 大概會預測下一個字是「分」。
如果我沒喊停,也沒有設定明確的任務,GPT-3 就會繼續生成下一個字,寫出一段故事或一篇文章。
或許你會問:「世界上文字千萬種,GPT-3 怎麼知道要寫論文或小說呢?」
這就是 GPT-3 驚人的地方:它是通用模型。只要使用者稍許提示,它就會自動調整輸出內容類型,不需要使用者另外精調(fine tune)。就像一個真的有用的 Siri,不管你丟什麼任務,只要是文字,它都接得下來。
例如有人簡短的提示(prompt) GPT-3「用 19 世紀作家 Jerome k. Jerome 的語氣寫一篇關於 Twitter 的文章」,GPT-3 就生出相當完整的作品。
只要是需要文字的任務,不論是回覆 email、寫新聞稿、翻譯外文、「翻譯」法律術語、編吉他和弦,甚至是寫程式,GPT-3 都能做得還不錯。一篇網路文章《GPT-3 可能是比特幣以來最重要的創新》更是格外轟動,因為讀者讀完才發現整篇都是 GPT-3 寫的。
相較於 GPT-2,GPT-3 效能是「暴力式」的飛越性成長。換言之,GPT-3 的基本架構與 GPT-2 幾乎一樣,只是參數由 15 億增加到 1,750 億(117 倍),但效果隨之大幅成長。這讓矽谷圈精神為之一振,因為代表機器學習仍可以透過擴大規模來成長。
雖說使用成本也等比增加 — 訓練一次 GPT-3 需要 460 萬美金 — 但能用錢解決的都是小問題。目前已知人類大腦的突觸約 1 百萬億個(100 trillion),是 GPT-3 的 1 萬倍。許多人不免幻想如果再來兩次升級 100 倍(共一萬倍),是不是就能逼近人類大腦了?
有成本就需要收入。OpenAI 現在提供 API,就是為將來商業化營運作準備。其他雲服務商如微軟、AWS、Google 也都開始提供機器學習「模型即服務」(Model as a Service, MaaS)。這大致可分三種應用:
● 垂直情境,簡單但量大的工作:如辨識異常、偵測錯字、回覆 email、回答客服基本問題等。這有點類似聘僱國中生實習,但聘雇的是無限個實習生。
● 垂直情境內,困難但狹隘的工作:以 AlphaGo 為代表。它打敗所有人,但只會下圍棋。
● 不限情境,多樣性比正確性重要的工作:以 GPT-3 為代表,如虛擬秘書、虛擬陪伴(《雲端情人》)、發想劇本、草擬程式碼、撰寫科技分析電子報(咦)等。
MaaS 固定成本高,因此會傾向集中於大型平台,特別是擁有資料的企業,如 Google。邊際成本現在也很高,但應該會逐漸降低,因此有利於擁有最多客戶(用量)的企業,如 AWS、微軟。
目前 GPT-3 率先大步起跑,將引發其他企業加大投資。其他企業需要差異化,因此會開發封閉的模型;GPT-3 則會是開放或開源的形式。同時,週邊的企業也需要開發工具,形成生態圈。例如目前運算的延遲嚴重,因此雲端的速度必須跟上。有更多相容的 app 提供更精準的提示,才能發揮 GPT-3 的價值。
⠀
想知道文章對 GPT-3 的原理、隱憂的討論,歡迎試用島讀的 1 元訂閱方案:https://bit.ly/3myOL0D
---
更多人工智慧內容:
[Podcast] 從邊緣挑戰雲上的人工智慧|特別來賓耐能智慧創辦人劉峻誠(公開)
https://apple.co/2WrmCgC
臉部辨識 — 30 億張照片的資料庫|執法機關熱烈採用|三條路線(會員限定)
https://bit.ly/3p791an
蛋白質的 50 年難題|AlphaFold 遙遙領先|諾貝爾獎在望(會員限定)
https://bit.ly/2LSzIBt
prompt程式 在 紀老師程式教學網 Facebook 的最佳解答
[筆記分享] 我如何在 Anaconda 上,安裝 TensorFlow 2.x,並開啟 GPU 加速
Evernote 網址: https://bit.ly/33K77F9
--------------
最近我正在台大計算機中心,教授「深度學習」這門課程。整門深度學習,用得最多的函式庫就是 TensorFlow 了。它可以用來建構深度學習所需要的「神經網路」架構,所以任一個深度學習工程師,都得要會安裝。
深度學習的開發環境很多!我個人偏好 Google Colab(線上環境)與 Anaconda(本地端環境)。Colab 的執行環境,Google 工程師已經幫你裝好了。你只要點擊 https://colab.research.google.com 就能用。比泡麵還簡單!但你也只能被動接受 Google 工程師幫你裝好的執行環境。畢竟「線上平台」彈性還是比「本地端平台」要小一點。
早期(TensorFlow 1.x 時期)要裝 TensorFlow,並開啟 GPU 圖形加速功能,只要開啟 Anaconda Prompt 命令列視窗,輸入下面這一行就可以了:
conda install tensorflow-gpu
但 TensorFlow 2.x 之後,Anaconda 並沒有把 conda 這個指令調整得很好。大家已經用到 TensorFlow 2.3 了,conda 安裝出來的最新版居然只到 TensorFlow 2.1。更慘的是,開啟 GPU 加速時,所需搭配的 cuDNN 函式庫與 CUDA Toolkit 版本,也跟 TensorFlow 2.1 這個版本衝得亂七八糟!總之,就是一堆同學裝不起來!機器空有獨立顯卡,但無法發揮 GPU 加速平行運算的能力!
有鑑於此,我今天早上就親自「試水溫」,想辦法找出這幾樣東西的排列組合,到底怎麼樣是對的:
Python版本 x nVidia驅動程式版本 x TensorFlow版本 x cuDNN 函式庫版本 x CUDA Toolkit版本
也順便找出最順暢的安裝流程,分享給大家。希望有需要的朋友能喜歡!
祝福大家都能釋放顯卡平行處理的威力,讓你跑神經網路時,硬是比別人快好幾倍!
有我說明不足的地方,歡迎在下方留言。不敢說一定有能力解決,但我會盡力的! :-)
PS: 本文歡迎轉發、按讚、留言鼓勵我一下!您的隻字片語,都是讓我繼續提供好物的動力喔!
--------
看更多的紀老師,學更多的程式語言:
● YOTTA Python 課程購買: https://bit.ly/2k0zwCy
● YOTTA 機器學習 課程購買: https://bit.ly/30ydLvb
● Facebook 粉絲頁: https://goo.gl/N1z9JB
● YouTube 頻道: https://goo.gl/pQsdCt
如果您覺得這個粉絲頁不錯,請到「評論區」給我一個好評喔!
https://www.facebook.com/pg/teacherchi/reviews/
prompt程式 在 男孩媽媽的育兒手記 Facebook 的最讚貼文
這陣子,我學習運用了幾個網路的社交和教育的應用程式。第一個,是 Twitter,我 2009 年已經有 account 了,卻一直沒有用,直至上年返送中運動的初段,我重新發 tweets,然而後來因為本來的 Facebook、WhatsApp 訊息已經夠多,無暇兼顧,就掉空了。有感於香港抗爭的國際線非常重要,又重新學習 follow 外國政要人物、香港手足,retweet 重要資訊,把香港的新聞發 tweet 宣揚,完成 telegram 群組的 twitter 任務。自己總有一個位置去貢獻。我雖勢弱言輕,決不虛作無聲。
其他就是新的 teaching tools 了。第一個,Boom Cards,set up 了 teacher account,因為有些 teacher bloggers 免費送出一些 Boom Cards,所以我的 library 也有好一些學習活動。教師戶口可以add 一個 classroom,再 add 學生(那是我家的三個孩子),再 assign 活動讓不同的學生去完成。不過我自己沒有在 Boom Cards DIY 教材,所以也不算熟悉功能。
第二個,是 Seesaw,因為朋友的鼓勵,我就學習自己去 DIY 教材。Seesaw 跟 Boom Cards 非常類似,先開一個教師戶口,建一個或多個 classrooms,再 add 學生,每個學生被分發了一個 QR code 作登入戶口用。我有一些 teacher bloggers 的 learning activities,我自己也設計了一些適合我 3 個孩子程度與興趣的活動,並可以分享給其他「教師」用。Seesaw 可以上載圖片、影片、pdf 等,孩子可以聆聽、錄音、手寫(有畫筆提供)、drag and drop 圖片。我的 library 裡,有我自己製作的 phonics song video,scan 了圖書各頁讓孩子錄音閱讀,連線練習、drag and drop 的小遊戲等(見圖片)。
第三個,是一個叫 Read Theory,提升孩子閱讀能力的免費網站。一樣先 set up teacher account,add classroom,add 學生,建立學生的 username 和 password,不過這個你不用 assign 作業或者自建任何活動,Read Theory 提供閱讀材料和問題。學生首先做一個 pretest,電腦便知道他的閱讀能力,然後依據他的閱讀能力提供閱讀理解練習,在進行的過程中,電腦會不斷依據成績來增加或減少難度(grade 1 to grade 12),教師會收到報告,告訴你學生實質的閱讀 grade level 或能夠閱讀哪個 lexile level 的文章。報告非常清楚(見圖),而正仔本身又好喜歡向難度挑戰,他很願意努力練習突破他現在(grade 5)的成績。
我自製的 Seesaw video:https://app.seesaw.me/pages/shared_activity?share_token=-8CATfORTk6JzUJtyHarSw&prompt_id=prompt.9facc26f-bd9b-4f3b-9e4e-2921661f81de
我自製的 Seesaw 閱讀功課,孖仔一份功課,重複錄音四、五次,很想以最好的質素遞交:https://app.seesaw.me/pages/shared_activity?share_token=wy-ZvpLGRF6hFaCeWxjIOg&prompt_id=prompt.bd43691e-aacc-430c-af95-eb7d54c76559
#全部都是免費建立的教師戶口
#請看圖片caption
#幾有用也幾好玩
#不過孩子也不能太多screentime
#抗疫停課的日子我每天也有學習新知識
#有不斷學習的能力是非常值得感恩的事