#物聯網IoT #機器視覺 #人工智慧AI #微控制器MCU #軟體開發套件SDK #Glow編譯器 #影像感測器 #擴增實境AR #虛擬實境VR
【機器視覺的感知&處理】
今年以來,肺炎疫情重傷不少產業,卻意外讓某些科技應用成為受惠者,機器視覺 (Machine Vision) 便是其一。研調機構預測,2025 年約有 98% 的邊緣裝置都將使用某種形式的機器學習 (ML)/人工智慧 (AI),這意味著:消費型裝置製造商和嵌入式物聯網 (IoT) 開發者需將機器學習框架最佳化,以便在微控制器 (MCU) 實現低功耗的邊緣嵌入式應用。
於是,有晶片廠推出業界首款用於 MCU 的 Glow 神經網路編譯器 (Neural Network Compiler),並已整合到自家機器學習軟體開發環境;如此一來,更容易與特定目標整合、省卻即時編譯程序、生成高度最佳化代碼,進而提升硬體平台的神經網路效能。除了智能相機,進一步內嵌整合圖像處理器 (Integrated Graphic
Processor, IGP) 的「智能視覺感測器」正引起關注。
基本上,畫素越高的智慧影像感測器,需要更大的數據量、更強的運算單元,功耗和儲存空間也會相應增加,AI 機器視覺需加以綜合考量。另一方面,當使用傳統 CMOS 影像感測器拍攝視訊時,必須發送每個單獨數據幀予 AI 單元處理,導致數據傳輸量增加且難以即時處理;所以,AI 機器視覺須因時空制宜。此外,攝影模式也是關鍵,特別是移動中或需要近紅外線照明的場景時。
相較於依序逐步擷取畫素數據、須經校正的「捲簾快門」(Rolling Shutter),同時保存每格畫面所有畫素資料的「全域快門」(Global Shutter) 是拍攝無失真影像的首選模式,適合擴增實境/虛擬實境 (AR/VR)、同時定位和地圖建置 (SLAM) 及 3D 掃描。雖然邊緣設備的就地處理能力日漸茁壯,但礙於有限運算和儲存資源,現階段仍多以推論或類似「學前教育」的預處理為主。
巨量資料的訓練,還是偏好在雲端進行。為此,催生一種新的商業模式:導將收集到的感測器數據送到雲端 ML 模型訓練、予以簡化後,再回頭部署至 Arm Cortex-M 之感測器、智能插座/燈泡或穿戴裝置等嵌入式設備,將精簡過的「輕量版」模型導入各大MCU 硬體平台,已與 Arduino、ST、Eta Compute 簽署協議;付費用戶還可使用雲端追蹤和共享功能,進一步針對特定用例調整模型。
延伸閱讀:
《機器學習進駐邊緣,Embedded Vision 亮起來》
http://compotechasia.com/a/feature/2020/0910/45716.html
#恩智浦NXP #eIQ #MCUXpresso #安森美半導體ON #AR1335 #意法半導體ST #VD56G3 #EdgeImpulse #工研院機械所
html compiler 在 COMPOTECHAsia電子與電腦 - 陸克文化 Facebook 的最佳貼文
#半導體製程 #電子設計自動化EDA #神經網路NN #機器學習MachineLearning #數位訊號處理器DSP
【半導體創新,EDA 來相助】
半導體製程創新,絕對離不開電子設計自動化 (EDA) 的幫襯。特定領域的處理器似乎是大型主機、微型電腦、筆記型電腦和無線技術的主要推力、是下一波浪潮,可惜受限於製程微縮,若想大力改善系統的結構性能,那麼包括模式識別等在內的多數情況,可能不適用浮點乘法。
擁有強大、經過驗證且可配置軟體的數位訊號處理器 (DSP),可自定義乘積累加運算 (MAC) 脈動陣列,再加上集成專用可預測編譯器 (compiler),可讀取來自軟體編程測試台的訊號或透過配置額度解決壅塞。此外,雖然標準化架構較省事,但每個設計者都傾向自定義內容,這意味著須進行系統結構分析、自定義編譯器、需有共同框架,可看到不同層面正在發生之事。
其次,了解功耗需求、做前期功耗分析很重要。實際運行各式工作負載是建置操作系統 (OS) 的關鍵;很多晶片開發商就是在此卡關,不得不回頭重做系統結構。在落實標準化前,業界正處於競爭激烈的硬體衝擊之中,其間產業聚合繁瑣。AI、機器學習以及整合方式仍存在混亂和局限性,迄今依然處於監督學習和訓練階段,也許我們應該關注生態系統,因為電子工程不再僅定格於 IC 設計。
延伸閱讀:
《EDA 成為電子&資訊工程的中介橋樑》
http://compotechasia.com/a/feature/2019/1011/42990.html
(點擊內文標題即可閱讀全文)
#國際半導體產業協會SEMI #西門子事業部SiemensBusiness #明導國際MentorGraphic #益華電腦Cadence #新思科技Synopsys
html compiler 在 COMPOTECHAsia電子與電腦 - 陸克文化 Facebook 的最佳解答
#微控制器MCU #功能驗證
【預見成果,降低 rework 徒勞】
微控制器 (MCU) 編程完畢,須將程式下載到 MCU 的記憶體中,才能依照既定的邏輯執行命令、實現我們想要的功能。hex 檔是最常見的下載格式,可避免因編譯 (compiler) 或函式庫 (library) 版本不同而造成無法預期結果;但若軟、硬體資源配置不當,恐將導致燒錄失敗、拖累開發進度。
現在,有元件供應商為開發者提供訂製入口,允許用戶將自定義代碼上傳並燒錄到 MCU 或儲存器,減少產品入手後,還得自行摸索、組態、編譯的痛苦。微芯科技 (Microchip) 的「microchipDIRECT」網站,便是這麼一個首開先例的中繼橋樑,可為用戶先行做功能驗證;只要登入帳戶、上傳代碼、選擇要編程的器件後依序操作,就能迅速寫入自訂代碼,且所有 hex 文檔皆已加密處理,不必擔心資安問題。
演示視頻:
《microchipDIRECT新手入門教程——程式設計中心》
http://www.compotechasia.com/a/CTOV/2017/0827/36502.html
P.S. Microchip 配對答題抽獎活動倒數中~~~把握最後一週的時間哦!
https://www.facebook.com/lookcompotech/posts/1543685619064056
#微芯科技Microchip #microchipDIRECT #Atmel #AVR
★★【智慧應用開發論壇】(FB 不公開社團:https://www.facebook.com/groups/smart.application/) 誠邀各界擁有工程專業或實作經驗的好手參與討論,採「實名制」入社。申請加入前請至 https://goo.gl/forms/829J9rWjR3lVJ67S2 填寫基本資料,以利規劃議題方向;未留資料者恕不受理。★★