Cái này có lẽ là đáy bể mò kim nhưng trong nhóm mình có ai quan tâm đến compilers cho học máy không?
Mình mang tiếng là kỹ sư nhưng trước giờ rất sợ hệ thống (systems engineering). Nên mỗi khi thấy chủ đề compilers thì chạy không còn dép. Nhưng càng làm trong ngành trí tuệ nhân tạo và đưa models vào các thiết bị cạnh (edge devices), mình càng thấy chủ đề compilers quan trọng.
Đại loại là: các phần cứng khác nhau có những yêu cầu khác nhau. CPU khác với GPU khác với TPU khác với một con chip từ ARM. Để model của bạn chạy ngon lành trên một phần cứng nào đó, bạn cần compiler để: 1/ chuyển đổi ứng dụng của bạn từ framework bạn dùng sang ngôn ngữ phần cứng đó hiểu được và 2/ tối ưu hoá ứng dụng đó trên phần ứng đó.
Về mặt lý thuyết, kỹ sư học máy như mình không cần biết về compilers. (Như người lập trình C++ không cần biết về C++ compiler để viết C++). Nhưng ngành học máy vẫn còn non trẻ, nên hiểu về compilers có thể giúp kỹ sư học máy chạy model của họ trên thiết bị họ muốn một cách hiệu quả.
Mình dành khá nhiều thời gian 3 tháng vừa qua học về compilers cho học máy từ nhiều người chuyên sâu trong ngành này. Đây là bài mình viết tóm tắt những gì mình học được. Bài viết hướng đến những người chưa hiểu sâu về compilers, như mình 3 tháng trước đây. Hy vọng bài viết có ích cho bạn!
Mình cũng đang học về mảng này, nên bạn nào có ý kiến đóng góp hay gợi ý nào mình cảm ơn.
同時也有1部Youtube影片,追蹤數超過6萬的網紅ホソP channel,也在其Youtube影片中提到,▶︎私が買ったiPad第8世代一式 ◯iPad第8世代 32GB Wi-Fiモデル https://amzn.to/2RIuqbd ◯iPad第8世代用ガラスフィルム NIMASO https://amzn.to/3mIthz0 ◯iPad第8世代用ケース https://amzn.to/3my...
「tpu, gpu」的推薦目錄:
- 關於tpu, gpu 在 Facebook 的最佳貼文
- 關於tpu, gpu 在 台灣物聯網實驗室 IOT Labs Facebook 的最讚貼文
- 關於tpu, gpu 在 台灣物聯網實驗室 IOT Labs Facebook 的最讚貼文
- 關於tpu, gpu 在 ホソP channel Youtube 的最佳解答
- 關於tpu, gpu 在 CPU vs GPU vs TPU explained visually - YouTube 的評價
- 關於tpu, gpu 在 Google Tensor 處理器是什麼?厲害在哪?Pixel 7 Pro 跑分差 ... 的評價
- 關於tpu, gpu 在 WARNING - No GPU/TPU found, falling back to CPU. (Set ... 的評價
- 關於tpu, gpu 在 Google Colab TPU takes more time than GPU - Stack Overflow 的評價
- 關於tpu, gpu 在 Enabling GPU and TPU | Kubeflow on Google Cloud Platform 的評價
- 關於tpu, gpu 在 【 Google Colaboratory 可以用TPU 了! 】... - Python 資料 ... 的評價
tpu, gpu 在 台灣物聯網實驗室 IOT Labs Facebook 的最讚貼文
摩爾定律的瓶頸,未來會靠「AI 設計晶片」突破
TO 精選觀點2021-08-26
【為什麼我們要挑選這篇文章】晶片尺寸逐漸逼近物理極限,市場皆在討論,摩爾定律是否走到極限。然而隨著 AI 晶片設計技術的發展,摩爾定律會交由 AI 來延續。但未來晶片設計工程師會失業嗎?還是工程師會與 AI 協作,推動晶片設計邁進人工智慧時代?(責任編輯:郭家宏)
AI 設計的晶片,性能十年內將提高 1,000 倍。
作為 Synopsys 執行長、晶片設計自動化的先驅之一,Aart de Geus 在 Hot Chips 在線晶片大會上表示,現在人工智慧設計的晶片,性能可能會在未來十年內提高 1,000 倍。
自 80 年代以來,自動化一直都是晶片設計的一部分。但現在,每兩年晶片性能翻一倍的「摩爾定律」似乎已經達到了瓶頸。要突破這個瓶頸,最好的辦法或許就是你我都熟知的:人工智慧。
一篇刊登在 Nature 上的文章指出,經過訓練的機器學習系統,在晶片設計上的表現超過人類。
不少晶片架構師都擔心自己的飯碗未來會被 AI 搶走。不過 De Geus 卻認為,晶片架構師不僅不會下崗,還會轉移到產業鏈的上遊,比現在負責更多任務。
Synopsys 從去年開始就使用 AI 來設計客戶的晶片,與人工設計的晶片相比有了相當大的改進。目前,三星也正在使用 Synopsys 的工具 DSO.ai 來設計 Exynos 晶片。而它的競爭對手 Cadence Design Systems 也在今年推出了自己的人工智慧晶片設計專案。
用 AI 設計晶片,有望打破摩爾定律的瓶頸
De Geus 在 1986 年創立了 Synopsys,一家電子設計自動化(EDA)軟體公司。憑借多年尖端半導體設計經驗,Synopsys 利用這個寶貴的資產制作了第一代 AI 晶片軟體 DSO.ai。
要超越摩爾定律,就要利用 AI 來解決複雜性、功耗和擴展要求,最終實現 1,000 倍性能的目標。
「機器學習出現在我們使用的每一種工具中,這個設計空間優化(DSO)的新工具的不同之處在於,它不適用於單個設計步驟,而是適用於整個設計流程。」
這就是 Synopsys 採用的自主晶片設計方法,從綜合方法進行晶片設計,而不僅僅是晶片布局。
晶片設計的一個早期步驟是 floor planning,其確定了晶片的尺寸、標準單元的排列形式、IO 單元及宏單元的位置、電源地網絡的分布等。
由於宏單元潛在配置數量巨大(約為 10^2500),規劃就會變得非常複雜,而且隨著邏輯電路設計的發展,還需要進行多次疊代。如果每次疊代都由人類工程師手動生成,就要耗時數天或數週。
但如果用 AI 設計晶片,它就能夠利用強化學習,優化晶片的功率、性能和面積大小。還能解決針對特定應用程式以及系統的所有維度的快速定制晶片:硬體(物理)、軟體(功能)、可製造性和架構(形式)。
隨著 AI 接管更多任務,以往負責設計少量電晶體的工程師,現在可能負責設計更大晶片中的 10 億個電晶體。
這樣就能夠在更短的時間內設計出更快的晶片,改變晶片的架構,將晶片性能提高 10 倍、100 倍甚至是 1,000 倍。
Google、NVIDIA 正在用 AI 設計晶片
與使用最先進設計工具的世界一流設計團隊相比,DSO.ai 能夠將功耗降低 25%,性能是當下最好的 AI 晶片設計工具的 5 倍。
而在未來的 AI 晶片設計時代,晶片能夠根據各個垂直行業進行設計。
面對特定專案的差異化需求,DSO.ai 可以用來優化輸入參數以及晶片設計工作流程的選擇。
工程師可以使用 DSO.ai 進行更多設計流程中的參數輸入,例如微調庫單元以提供最佳頻率或最低功率,採用現有平面圖並盡量縮小晶片尺寸,確定多高的工作電壓會實現功耗與性能的最佳權衡等。
全球「缺晶片」,雖然說不少產業都受到影響,但人們也深刻認識到了晶片的重要性。晶片雖小,但卻是一個重要的基礎設施。
除了 Synopsys,Google、NVIDIA 也開始嘗試使用人工智慧技術設計晶片。Google 的 TPU(張量處理單元)晶片即將發布新版本,優化了人工智慧計算。目前 NVIDIA 也專注於使用 AI 技術生產更好的 GPU 和雲端運算 TPU 平台,以增強自身競爭力。
晶片設計的工程師不會失業。而人工及 AI 相結合的設計思路將會推動晶片設計邁進人工智慧時代。
附圖:人類設計的晶片平面圖(a)與機器學習系統生成的平面圖(b)
摩爾定律逐漸扁平,晶片設計重任落到了 AI 肩上。
在晶片設計的新時代,自動化大不相同。
晶片定制會更普遍
資料來源:https://buzzorange.com/techorange/2021/08/26/ai-sustain-moore-law/
tpu, gpu 在 台灣物聯網實驗室 IOT Labs Facebook 的最讚貼文
Google AI 設計晶片速度大勝人類!不到 6 小時完成平面圖
作者 林 妤柔 | 發布日期 2021 年 06 月 11 日 12:26 |
Google 聲稱,新 AI 設計晶片的速度比人類還快,能在不到 6 小時內設計出人類至少要花數個月才能完成的晶片設計,論文刊登在《自然》期刊。
AI 已用於開發 Google 最新一代 TPU 加速器,這項突破將對半導體產業有著重大影響。換言之,Google 正在使用 AI 設計晶片,這些晶片能用來創造更複雜的人工智慧系統。
Google 的新 AI 能繪製晶片的「平面圖」,這涉及繪製 CPU、GPU 和內存等組件在晶片的相對位置,這些位置將影響晶片的功耗和處理速度,且在功耗、性能、晶片面積等關鍵參數指標,都優於人類設計的平面圖。
一般來說,人類晶片設計師通常以整齊的線條排列組件,並花數個月的時間改進這些平面圖設計,但 Google 的 AI 則使用更分散的方法設計晶片,並藉由深度強化學習系統 6 小時內完成。
2016 年,南韓棋王李世乭代表人類出戰 AlphaGo,以一勝四敗成績輸給 AlphaGo,震驚全世界;這狀況 AI 的演算法訓練為移動棋子,增加棋局獲勝的機會。研發晶片部分,AI 訓練找出組件的最佳組合,盡可能提高運算效率,AI 系統會植入 10,000 張晶片平面圖,以便學習哪些有效、哪些無效。
《自然》期刊認為,Google 的研究可說是重要突破,有助於加快供應鏈速度,但這項技術必須廣泛分享共用,以確保 Google 生態系統全球化,此外產業也要確保節省時間的技術不會趕走擁有核心技術的人才。
資料來源:https://technews.tw/2021/06/11/google-uses-a-i-to-design-chips-faster-than-humans/?fbclid=IwAR3rE_KhmcAaLuL-LGA4XfV9osYScugR7uxMRHvC8LXN4lyRUF0_Rs0cXrQ
tpu, gpu 在 ホソP channel Youtube 的最佳解答
▶︎私が買ったiPad第8世代一式
◯iPad第8世代 32GB Wi-Fiモデル
https://amzn.to/2RIuqbd
◯iPad第8世代用ガラスフィルム NIMASO
https://amzn.to/3mIthz0
◯iPad第8世代用ケース
https://amzn.to/3myMcfv
◎ソフトバンクへの乗り換えで【"2万円"キャッシュバック!!】
iPhone買うならここがお得!/スマホ乗り換え.com
まずは見積もりをして今のプランと比較するのがおすすめです。
https://mobile-norikae.com/?acode=YxFSZWQ8aL
▶︎iPhone 11を買ったら揃えておきたいグッズ
◯ガラスフィルム
★Nimaso iPhone 11 / iPhone XR 用 強化ガラス液晶保護フィルム ( 6.1 インチ iPhone11 / iPhoneXR用 保護フィルム )【ガイド枠付き】【3枚セット】
https://amzn.to/2xjABvE
★OAproda iPhone 11 / iPhone XR ガラスフィルム 全面保護 強化ガラス【ガイド枠付き/ケースに干渉しない】
https://amzn.to/38ypewy
◯ケース
★パワーサポート iPhone 11用 ハードケース Air Jacket(Clear)
https://amzn.to/2PQ0ZUj
★TORRAS iPhone 11用 ケース 日本旭硝子製 背面9H強化ガラス+TPUバンパー Fancy Series(クリア)
https://amzn.to/2wFrSUk
★【Spigen】 iPhone 11 ケース 6.1インチ 対応 高透明 クリアカバー
https://amzn.to/2PWqgvX
★iFace Reflection iPhone 11 ケース クリア 強化ガラス [ネイビー]
https://amzn.to/39xav6l
◯充電器セット
★Anker PowerPort III Nano (PD対応 18W USB-C 超小型急速充電器)
https://amzn.to/2TvnHmH
★Anker PowerLine II USB-C & ライトニング ケーブル【Apple MFi認証取得】
https://amzn.to/2xbPdNo
▶︎ホソPの愛用品
◎お手入れグッズ
★DABLOCKS クリーニングクロス メガネ拭き マイクロファイバー
https://amzn.to/2WQ7dWS
★エレコム クリーニングリキッド ディスプレイ用 除菌 帯電防止効果 CK-DP60
https://amzn.to/2WUeJjx
◯スマホ、タブレットスタンド
★超使いやすいタブレットスタンド
https://amzn.to/3k78hzJ
★スマホ用のスタンドもおすすめ!
https://amzn.to/2Gjkdh3
◎本は、聴こう!Amazon Audible【無料で1冊聴ける】
※最初の1冊は無料!今すぐ聴こう。
https://www.amazon.co.jp/b/ref=adbl_JP_as_0068?ie=UTF8&node=5816607051&tag=corincreati0d-22
-------------------------------------------------------------------
◯おすすめ動画
iPhone SE 第2世代を快適に使うためにやっておきたい7つの基本設定を紹介!!
https://youtu.be/JLRqULqQ_P4
-------------------------------------------------------------------
◯ホソP channelのTwitter
https://twitter.com/kazu_hosop
◯ホソP channelのInstagram
https://www.instagram.com/hosop_ch/
◯ホソP channelのBlog
https://www.hosopblog.com/
◯ホソP channelの公式LINE
https://line.me/R/ti/p/%40xbu8078f
◯ホソPのサブチャンネル
https://www.youtube.com/channel/UCPxuTpz1rqFgqtKNehdIOOQ
◯しゅふちゃんねる(ホソP 妻のチャンネル)
https://www.youtube.com/channel/UCIrWAR-NJjhGBUqlfleAT4w
-------------------------------------------------------------------
※上記製品リンクURLは
Amazonアソシエイトのリンクを使用しています。
<目次>
00:00 本日の概要
01:04 iPad第8世代の位置付けと魅力
03:31 第6世代と第8世代のベンチマーク比較
07:08 PUBGの動作チェック
12:24 まとめ
#ホソPチャンネル #iPad第8世代
![post-title](https://i.ytimg.com/vi/-ehndTecc-M/hqdefault.jpg)
tpu, gpu 在 Google Tensor 處理器是什麼?厲害在哪?Pixel 7 Pro 跑分差 ... 的推薦與評價
![影片讀取中](/images/youtube.png)
00:40 打開Google Tensor 一探究竟01:34 TPU 、CPU、 GPU 傻傻分不清? 04:10 狂開產線的 GPU 提升處理效率06:20 「礦工」挖礦、人臉辨識就靠 GPU 08:40 ... ... <看更多>
tpu, gpu 在 WARNING - No GPU/TPU found, falling back to CPU. (Set ... 的推薦與評價
WARNING - No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.) ... <看更多>
tpu, gpu 在 CPU vs GPU vs TPU explained visually - YouTube 的推薦與評價
In this video we will explain at a high level what is the difference between CPU , GPU and TPU visually and what are the impacts of it in ... ... <看更多>