Search
#成功案例
#數位無限
義守大學借助 AI-Stack 管理 GPU 共用資源，加速推動 AI 醫學創新研究
有感於 AI 運算資源有限、但校方期望做更多的學術／產學研究，認為未來可能出現排隊爭取資源的景況，所以務求分配機制公平合理，且須杜絕資源濫用現象，因而需要透過「金錢」、「時間」來控制資源使用效率；數位無限軟體藉由完整細緻的功能設計，妥善滿足這些期望。
建置過程當中較大的挑戰在於容器鏡像；因部份系所要求安裝的鏡像帶有較複雜的參數，需要被設定在 AI-Stack中，算是不甚輕鬆的工作。所幸原廠數位無限軟體發揮優異的技術力與執行力，協助義大順利克服這項挑戰。
舉例來說，經常用於醫學影像處理的 MATLAB 鏡像，帶有認證授權機制，假使 AI-Stack 未做對應的參數調整，意謂使用者每次啟動 MATLAB 時，皆須通過帳密驗證，導致使用體驗不佳。後來數位無限軟體悉心將授權碼寫入 AI-Stack 平台程式，使帳密驗證程序能夠被 Bypass，方便使用者在登入 AI-Stack 後可以直接進入 MATLAB 環境執行訓練工作。
數位無限AI PaaS產品AI-Stack提供NVIDIA GPU最佳算力效率
AI-Stack平台提供Web操作介面與統一用戶入口門戶(user portal)，以圖形化方式進行深度學習容器自助式申請建立容器與日常操作，能對不同使用者進行資源自動分配與部署，同時內建NVIDIA優化並廣泛使用的TensorFlow、Caffe、PyTorch、MXnet、RAPIDS以及Matlab、Chainer與TensorRT等AI框架，並可依需求自行定義AI鏡像，具備優異AI框架擴充設計，大幅節省重複下載深度學習與AI框架的時間。而透過系統流程管控與資源申請機制，搭配批次建立任務與排程作業，使個人和開發團隊能更高效的使用GPU資源。
數位無限身為NVIDIA Inception Program會員，時刻密切關注NVIDIA產品發展動向，AI-Stack符合面向NVIDIA DGX POD參考架構的管理節點發展方向，永遠提供最新NVIDIA GPU技術支援，是客戶選擇使用GPU搞AI的最佳管理平台。
👉閱讀全文 https://supr.link/xZGj3
#NVIDIA #GPU #AI_PaaS
#成功案例
[數位無限AI-Stack成功案例]
義守大學借助 AI-Stack 管理 GPU 共用資源，加速推動 AI 醫學創新研究
有感於 AI 運算資源有限、但校方期望做更多的學術／產學研究，認為未來可能出現排隊爭取資源的景況，所以務求分配機制公平合理，且須杜絕資源濫用現象，因而需要透過「金錢」、「時間」來控制資源使用效率；數位無限軟體藉由完整細緻的功能設計，妥善滿足這些期望。
建置過程當中較大的挑戰在於容器鏡像；因部份系所要求安裝的鏡像帶有較複雜的參數，需要被設定在 AI-Stack中，算是不甚輕鬆的工作。所幸原廠數位無限軟體發揮優異的技術力與執行力，協助義大順利克服這項挑戰。
舉例來說，經常用於醫學影像處理的 MATLAB 鏡像，帶有認證授權機制，假使 AI-Stack 未做對應的參數調整，意謂使用者每次啟動 MATLAB 時，皆須通過帳密驗證，導致使用體驗不佳。後來數位無限軟體悉心將授權碼寫入 AI-Stack 平台程式，使帳密驗證程序能夠被 Bypass，方便使用者在登入 AI-Stack 後可以直接進入 MATLAB 環境執行訓練工作。
👉閱讀全文 https://www.ithome.com.tw/pr/143385
#義守大學 #GPU #NVIDIA #A100 #數位無限
#零壹最佳代理商
Matlab 的许多内置函数支持GPU运算，使用GPU计算可以大大加速诸如矩阵乘法之类的操作。那么，如何在Matlab中使用GPU来加速运算呢？ 首先，要启用GPU ... ... <看更多>
目前小弟在優化基因演算法的計算速度， 因為我的資料量大約是1000*1000的矩陣做運算，每次計算時間都花了大約20分鐘左右，目前在想是否可以用GPU運算 ... ... <看更多>
matlab使用gpu 在 [討論] 初學者GPU 運算觀念- 看板MATLAB 的推薦與評價
上網找一些資料，發現目前研究的題目似乎很適合用GPU來進行計算，所以最近想要學習
使用GPU來增加工作效率，不過有些基本觀念想問一下
我先參考了張正星老師的網頁範例(最後一個範例)
https://goo.gl/tnoJai
運算時間可以壓縮到1/1000以下，不過網頁裡有提到這個時間不包含資料搬移，後來發現
這個範例在我的電腦上用GPU計算總消耗時間還比CPU更多，我就認為問題應該是出在資料
搬移消耗太多時間，如果沒有這個步驟應該就會非常快
但是後來我又找到下面這個MATLAB官網的教學影片，他有提到可以直接在GPU上定義變數
https://goo.gl/4mQU3K
這樣一來就可以減少用gpuArray搬移資料所花費的時間，我預期計算總消耗時間應該可
以大幅降低，不過我在我的電腦上跑發現跟先在CPU上定義再搬移資料比起來差不了多少
我直接照抄他的程式(影片4分15秒左右)，另外多加了一個用gpuArray搬移資料的case
M=300;
K=500;
N=100;
P=200;
tic;
A=rand(M,K);
B=rand(K,N,P);
C=zeros(M,N,P);
for I=1:P
C(:,:,I)=A*B(:,:,I);
end
t=toc;
disp(['CPU ' num2str(t)])
tic;
A=gpuArray(A);
B=gpuArray(B);
C=gpuArray(C);
for I=1:P
C(:,:,I)=A*B(:,:,I);
end
wait(gpuDevice)
t=toc;
disp(['CPU transfer to GPU ' num2str(t)])
tic;
A=rand(M,K,'gpuArray');
B=rand(K,N,P,'gpuArray');
C=zeros(M,N,P,'gpuArray');
for I=1:P
C(:,:,I)=A*B(:,:,I);
end
wait(gpuDevice)
t=toc;
disp(['GPU ' num2str(t)])
tic;
A=rand(M,K,'gpuArray');
B=rand(K,N,P,'gpuArray');
C3=pagefun(@mtimes,A,B);
wait(gpuDevice)
t=toc;
disp(['GPU pagefun ' num2str(t)])
執行結果是
CPU 1.3239
CPU transfer to GPU 2.5428 (用gpuArray搬移)
GPU 2.3113
GPU pagefun 0.78102
雖然直接在GPU上定義是比用從CPU上搬移過去快，但是快不了多少，而且還是比用CPU慢
請問這是為什麼? 我原本是預期因為沒有搬移，所以速度應該遠快於用CPU，還是除了
張老師那個網頁提到的搬移資料之外有其他的原因會拖慢計算時間呢?
感恩~
====
順帶一提我的電腦是acer windows 8.1 筆電
處理器 Intel(R) Pentium(R) CPU N3540 @ 2.16 GHz
顯示卡 NVIDIA GEFORCE 810M
還有為了能在MATLAB上用GPU運算今天剛安裝的driver CUDA version 7.5
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 140.114.235.65
※ 文章網址: https://www.ptt.cc/bbs/MATLAB/M.1506101491.A.93C.html
※ 編輯: kanonehilber (27.247.43.35), 09/23/2017 12:17:48
... <看更多>