#物聯網IoT #機器視覺 #人工智慧AI #微控制器MCU #軟體開發套件SDK #Glow編譯器 #影像感測器 #擴增實境AR #虛擬實境VR
【機器視覺的感知&處理】
今年以來,肺炎疫情重傷不少產業,卻意外讓某些科技應用成為受惠者,機器視覺 (Machine Vision) 便是其一。研調機構預測,2025 年約有 98% 的邊緣裝置都將使用某種形式的機器學習 (ML)/人工智慧 (AI),這意味著:消費型裝置製造商和嵌入式物聯網 (IoT) 開發者需將機器學習框架最佳化,以便在微控制器 (MCU) 實現低功耗的邊緣嵌入式應用。
於是,有晶片廠推出業界首款用於 MCU 的 Glow 神經網路編譯器 (Neural Network Compiler),並已整合到自家機器學習軟體開發環境;如此一來,更容易與特定目標整合、省卻即時編譯程序、生成高度最佳化代碼,進而提升硬體平台的神經網路效能。除了智能相機,進一步內嵌整合圖像處理器 (Integrated Graphic
Processor, IGP) 的「智能視覺感測器」正引起關注。
基本上,畫素越高的智慧影像感測器,需要更大的數據量、更強的運算單元,功耗和儲存空間也會相應增加,AI 機器視覺需加以綜合考量。另一方面,當使用傳統 CMOS 影像感測器拍攝視訊時,必須發送每個單獨數據幀予 AI 單元處理,導致數據傳輸量增加且難以即時處理;所以,AI 機器視覺須因時空制宜。此外,攝影模式也是關鍵,特別是移動中或需要近紅外線照明的場景時。
相較於依序逐步擷取畫素數據、須經校正的「捲簾快門」(Rolling Shutter),同時保存每格畫面所有畫素資料的「全域快門」(Global Shutter) 是拍攝無失真影像的首選模式,適合擴增實境/虛擬實境 (AR/VR)、同時定位和地圖建置 (SLAM) 及 3D 掃描。雖然邊緣設備的就地處理能力日漸茁壯,但礙於有限運算和儲存資源,現階段仍多以推論或類似「學前教育」的預處理為主。
巨量資料的訓練,還是偏好在雲端進行。為此,催生一種新的商業模式:導將收集到的感測器數據送到雲端 ML 模型訓練、予以簡化後,再回頭部署至 Arm Cortex-M 之感測器、智能插座/燈泡或穿戴裝置等嵌入式設備,將精簡過的「輕量版」模型導入各大MCU 硬體平台,已與 Arduino、ST、Eta Compute 簽署協議;付費用戶還可使用雲端追蹤和共享功能,進一步針對特定用例調整模型。
延伸閱讀:
《機器學習進駐邊緣,Embedded Vision 亮起來》
http://compotechasia.com/a/feature/2020/0910/45716.html
#恩智浦NXP #eIQ #MCUXpresso #安森美半導體ON #AR1335 #意法半導體ST #VD56G3 #EdgeImpulse #工研院機械所
「vd56g3」的推薦目錄:
- 關於vd56g3 在 COMPOTECHAsia電子與電腦 - 陸克文化 Facebook 的最佳解答
- 關於vd56g3 在 ST Global Shutter Image Sensor VD56G3(ST全局快门传感器 ... 的評價
- 關於vd56g3 在 New camera sensors : Global shutter family - YouTube 的評價
- 關於vd56g3 在 Under OLED face authentication on Smartphone with VD56G3 的評價
- 關於vd56g3 在 神經妙算 的評價
- 關於vd56g3 在 FreeRTOS Task for Blink LED in Arduino UNO 的評價
vd56g3 在 New camera sensors : Global shutter family - YouTube 的推薦與評價
![影片讀取中](/images/youtube.png)
Global shutter family : VD55G0 : 640 x 600 mono/near-IR VD56G3 : 1.5Mp mono/near-IR VD66GY : 1.5Mp RGB VD16GZ : 1.5Mp RGB-IR 0:52 - AR/VR ... ... <看更多>
vd56g3 在 Under OLED face authentication on Smartphone with VD56G3 的推薦與評價
![影片讀取中](/images/youtube.png)
We at ST have developed the VD56G3 with both high sensitivity, ... We think that the VD56G3 Global Shutter sensor is a must for this use ... ... <看更多>
vd56g3 在 ST Global Shutter Image Sensor VD56G3(ST全局快门传感器 ... 的推薦與評價
ST VD56G3 (1.5Mp) 全局快门影像传感器, 高达88fps全尺寸(1124 x 1364)输出,支持Optical Flow,动态相量动能使得SLAM和测程计算更高效。 ... <看更多>