#物聯網IoT #機器視覺 #人工智慧AI #微控制器MCU #軟體開發套件SDK #Glow編譯器 #影像感測器 #擴增實境AR #虛擬實境VR
【機器視覺的感知&處理】
今年以來,肺炎疫情重傷不少產業,卻意外讓某些科技應用成為受惠者,機器視覺 (Machine Vision) 便是其一。研調機構預測,2025 年約有 98% 的邊緣裝置都將使用某種形式的機器學習 (ML)/人工智慧 (AI),這意味著:消費型裝置製造商和嵌入式物聯網 (IoT) 開發者需將機器學習框架最佳化,以便在微控制器 (MCU) 實現低功耗的邊緣嵌入式應用。
於是,有晶片廠推出業界首款用於 MCU 的 Glow 神經網路編譯器 (Neural Network Compiler),並已整合到自家機器學習軟體開發環境;如此一來,更容易與特定目標整合、省卻即時編譯程序、生成高度最佳化代碼,進而提升硬體平台的神經網路效能。除了智能相機,進一步內嵌整合圖像處理器 (Integrated Graphic
Processor, IGP) 的「智能視覺感測器」正引起關注。
基本上,畫素越高的智慧影像感測器,需要更大的數據量、更強的運算單元,功耗和儲存空間也會相應增加,AI 機器視覺需加以綜合考量。另一方面,當使用傳統 CMOS 影像感測器拍攝視訊時,必須發送每個單獨數據幀予 AI 單元處理,導致數據傳輸量增加且難以即時處理;所以,AI 機器視覺須因時空制宜。此外,攝影模式也是關鍵,特別是移動中或需要近紅外線照明的場景時。
相較於依序逐步擷取畫素數據、須經校正的「捲簾快門」(Rolling Shutter),同時保存每格畫面所有畫素資料的「全域快門」(Global Shutter) 是拍攝無失真影像的首選模式,適合擴增實境/虛擬實境 (AR/VR)、同時定位和地圖建置 (SLAM) 及 3D 掃描。雖然邊緣設備的就地處理能力日漸茁壯,但礙於有限運算和儲存資源,現階段仍多以推論或類似「學前教育」的預處理為主。
巨量資料的訓練,還是偏好在雲端進行。為此,催生一種新的商業模式:導將收集到的感測器數據送到雲端 ML 模型訓練、予以簡化後,再回頭部署至 Arm Cortex-M 之感測器、智能插座/燈泡或穿戴裝置等嵌入式設備,將精簡過的「輕量版」模型導入各大MCU 硬體平台,已與 Arduino、ST、Eta Compute 簽署協議;付費用戶還可使用雲端追蹤和共享功能,進一步針對特定用例調整模型。
延伸閱讀:
《機器學習進駐邊緣,Embedded Vision 亮起來》
http://compotechasia.com/a/feature/2020/0910/45716.html
#恩智浦NXP #eIQ #MCUXpresso #安森美半導體ON #AR1335 #意法半導體ST #VD56G3 #EdgeImpulse #工研院機械所
同時也有10000部Youtube影片,追蹤數超過2,910的網紅コバにゃんチャンネル,也在其Youtube影片中提到,...
「mcuxpresso」的推薦目錄:
- 關於mcuxpresso 在 COMPOTECHAsia電子與電腦 - 陸克文化 Facebook 的最佳解答
- 關於mcuxpresso 在 新電子科技雜誌 Facebook 的最佳貼文
- 關於mcuxpresso 在 コバにゃんチャンネル Youtube 的最佳解答
- 關於mcuxpresso 在 大象中醫 Youtube 的最佳解答
- 關於mcuxpresso 在 大象中醫 Youtube 的精選貼文
- 關於mcuxpresso 在 NXPmicro/mcux-sdk: MCUXpresso SDK - GitHub 的評價
- 關於mcuxpresso 在 NXP announces new MCUXpresso Software... - Facebook 的評價
- 關於mcuxpresso 在 (MCUXpresso / Eclipse project with C) Automatic headless build 的評價
- 關於mcuxpresso 在 Nxp github Nxp github Nxp github Additionally, all participants ... 的評價
- 關於mcuxpresso 在 Installation of the MCUXpresso SDK - GitHub Pages 的評價
- 關於mcuxpresso 在 Nxp github - Expeditions and Adventures 的評價
- 關於mcuxpresso 在 Azure rtos threadx github 的評價
- 關於mcuxpresso 在 Azure rtos github - Olafson.ca 的評價
mcuxpresso 在 新電子科技雜誌 Facebook 的最佳貼文
恩智浦通過微軟Azure Sphere認證 簡化軟體開發步驟
#NXP #Microsoft #SDK #RTOS #MCU #LAN #恩智浦 #EdgeVerse # MCUXpresso #微軟 #Azure Sphere
mcuxpresso 在 NXP announces new MCUXpresso Software... - Facebook 的推薦與評價
NXP announces new MCUXpresso Software & Tools, offering developers a common toolkit for its Powerhouse Portfolio of MCUs. These high-quality tools work... ... <看更多>
mcuxpresso 在 NXPmicro/mcux-sdk: MCUXpresso SDK - GitHub 的推薦與評價
MCUXpresso SDK is a comprehensive software enablement package designed to simplify and accelerate application development with Arm® Cortex®-M-based devices ... ... <看更多>