Google、軟銀都陣亡過！盤點 AI 專案失敗的 4 大原因
Posted on2021/02/04
若水AI Blog
【我們為什麼挑選這篇文章】為了適應未知多變的世界，許多企業搶做「數位轉型」，從公司營運的各層面如客戶體驗、商業模式、企業文化到作業流程等，透過科技的導入來提升效率與效能；而對製造業企業而言，原料採購、物流管理、庫存調配、生產、行銷等環節則是企業主進行數位轉型會優先考量的面向。
在這之中，AI 的運用扮演很關鍵的角色，如何將 AI 應用到上述各層面並實際執行，是許多企業面臨的挑戰，有哪些要點是執行 AI 專案時需特別留意的？（責任編輯：賴佩萱）
作者：若水 AI 資料資料處理部負責人 簡季婕
2020 年，突如其來的新冠肺炎疫情（Covid-19）改變了許多產業的命運，同時加速推促 AI 落地的速度，AI 人工智慧的應用將成為企業的新日常。
若水 AI 資料服務團隊本著為臺灣 AI 應用落地盡份心力的初衷，順著這波改變，推出全新系列內容：與機器學習（ML : Machine Learning）、AIOps 智慧運維（Artificial Intelligence for IT Operations）有關的實用文，分享各界專家在每一天如何持續營運、優化 AI 架構以及資料處理的基本功。
【若水導讀】AI 專案順利通關的三個絕招：
1. AI 資料來源要多元，避免學習偏誤
2. 標註前，請先建立客觀的 AI 資料標註（Data Annotation）原則
3. 讓 AI 人工智慧成為組織的共同語言，會更容易成功
企業都想做 AI，但實際上沒那麼簡單
根據《臺灣人工智慧學校 AI Academy Taiwan》2019 年針對臺灣各大產業 1,095 位業界校友的調查統計，成功導入 AI 人工智慧的臺灣企業僅占 20%。放眼國際，許多全球知名企業的 AI 專案也慘遭滑鐵盧：
Google 在泰國落地測試智慧醫療失敗，拖慢醫療流程；美國杜克大學發佈的 PULSE 演算法誤將歐巴馬的頭像還原為白人，引發種族歧視爭議。
在日本，軟銀（Softbank）社長孫正義原本打算以 AI 機器人取代銷售人員，沒想到 AI 機器人無法應付實際場域的複雜性，計畫負責人只好承認失敗：「我們把機器學習（Machine Learning）想得太簡單了」。
AI 專案難實際執行，問題出在哪？
若水經手過臺灣、日本超過 200 個的 AI 資料處理專案，從橫跨各大產業領域的專案經驗，整理出企業 AI 之所以無法順利落地的四大原因。
1. AI 模型訓練過程中沒有加入實際場域的資料
無論是剛導入 AI 而產生資料處理需求的新手企業，還是已有 AI 專案經驗、為了 retrain 模型再度找上若水的老手企業，都曾經在同一個地方卡關：AI 資料標註品質有做到位元，但 AI 模型卻無法應用落地 。
為什麼？
原因在於，客戶並未以「實際場景」的資料來進行 AI 模型訓練。
現在市面上有許多開放資料集（Open Dataset）或是免費的商用網路圖片，企業通常會優先使用這些免費資源進行 AI 資料標註（Data Annotation）讓機器學習，但是放到實際場域測試後，經常發現 AI 模型成效不佳，無法適用於實際場景，最終還是需要回過頭再進行第二次模型訓練（Model Training）。
因此 在 AI 專案開始前，建議企業首先需要在內部建立資料資料流（Data Pipeline），而在收集資料時，不只使用開放資料集（Open Dataset），也須確保有使用符合實際應用場景的資料來訓練 AI 模型，全盤考量資料類型、角度等多元性，避免機器學習偏誤 。
2. AI 資料標註原則定義不夠客觀
與企業工程師對接 AI 資料處理需求時，當我們詢問這批人臉辨識（Face Recognition）的 AI 資料標註的原則是什麼，常常會接到諸如此類的回答：「頭太小的話，就不要標註數據」。
一般人的邏輯覺得很合理的事情，對於機器學習（Machine Learning）來說卻是一大挑戰。 機器學習需要知道的是趨近「絕對客觀」的原則 ，例如，所謂的頭太大、太小，換算成具體數值會是幾乘幾大小的 pixel？如果圖片背景融色或模糊，也需要標註起來嗎？
一旦 AI 資料標註原則不夠客觀，AI 模型很容易隨著人的「主觀認定」來學習，當專案換了一位工程師，機器學習出來的效果可能也會跟著變 。在我們的經驗，原則的訂定最好透過「對話」，藉由反覆詰問，才能加快釐清目標。有了歸納、定義出客觀的 AI 資料標註原則。就會加快模型學習（Model Learning）成效。
為了清楚定義圖片融色或模糊的問題，我們採用國際照明委員會（International Commission on Illumination）訂定的 Delta E 標準，和影像（圖像）品質評估標準 BRISQUE，和客戶確認彼此認知是否一致。
根據國際標準，人的肉眼能分辨得出來的色差，至少會在 Delta E 值 2 以上。所以，當一張影像測出來 Delta E 值小於 2，就表示這張圖的融色程度太高，無法標註。
假如客戶希望「太模糊的圖片不要標註」，團隊也會根據 BRISQUE（影像品質評估標準）的標準，輸出不同模糊指數的圖片，請客戶確認所謂的模糊，具體來說是 70% 還是 80%。
3. AI 模型訓練（Model Training）沒有循序漸進
以肢體行為辨識（Posture Estimation）為例，Coco Dataset 從一開始只辨識人體 7 大主要關鍵點（Key Point），後來逐步發展成 25 點，甚至快 40 點，有些客戶會希望若水 AI 團隊可以一次就標註 40 個關鍵點，直接拿去機器學習（Machine Learning）。
說起來，機器學習和教小孩很像，一下子給太多的特徵點（Feature Points）反而會「揠苗助長」，導致 AI 模型學到最後分不清楚自己到底在學習什麼。我們也遇過有些客戶，一開始想用難度較高的 Segmentation 方式讓模型學習人的行為，但是人的行為百百種、語意切割（Segmentation）的變異度也高，就比較難學得好。
當這些客戶再回頭來找若水，通常會比較循序漸進，從小地方開始逐步改進 AI 模型。
4. 缺乏管理層的理解與支持
AI 熱潮讓許多企業趨之若鶩，然而 AI 要能夠順利落地，除了上述三項實務建議，企業管理層對於 AI 的認知和支持更是一大關鍵。
許多臺灣企業的 AI 數位轉型主導者，可能是傳統公司裡面有豐富資歷的 CTO 技術長或管理階層，對於 AI 人工智慧這個全新領域的概念，比較缺乏深度的理解，也沒有類似 AI 模型訓練和測試的相關經驗，從上述 4 個原因去追尋難以落地的根源，或許能有所助益。
資料來源：https://buzzorange.com/techorange/2021/02/04/ai-project-difficulties/?fbclid=IwAR04ZC1-1MquyCObEI5HIfTKtV-OkcfxL_R8vRin4YgQMl8cnhS_6aM59vU
色差delta e標準 在 [心得] 淺談國際標準色差- 看板LCD 的推薦與評價
淺談國際標準色差 (真的很淺)
眼前的黑不是黑，你說的白是什麼白，人們說的天空藍，是我記憶中那團白雲背後的藍天
、、、
注重色彩的人對”你是我的眼”這一段應該有很深的感觸吧！色彩是一種主觀感知，每個
人對於色彩認知、感受不同。
測試一下你對於色彩的敏感度：
https://www.xrite.com/online-color-test-challenge
國際照明委員會為了定義色彩，找了一群人做色彩感知上的統計，定義出標準色彩。有了
國際標準色之後，人們發現要把人造色彩做到跟國際標準色定義一模一樣，幾乎不可能！
色彩差異變成了一個問題，差多少人眼不會發現？光學數值上的差異與人眼的感知是否一
致？為了量化人眼的感受程度，國際照明委員會又經過一翻統計，定義出國際標準色差
DeltaE的計算公式，而這個計算公式有時還是無法精確描述出人眼對於色差的感知，所以
此公式歷年來不斷的修正，才有DeltaE 76、DeltaE 94、DeltaE 2000等規格出現(76、94
、2000分別代表訂義的年份)。
有了國際標準色差公式後，便可定義差多少是可以接受的，差值越小代表越精準。一般而
言，DeltaE差1以內，是人眼感受不到的差異；3以內，是人眼幾乎感受不到；6以內，是
未經比較，人眼不容易察覺有異；6以上是人眼未經比較即可察覺色彩有異。
專業顯示器一般要求是Delta E小於等於5，而部份高單價專業顯示器會提出平均DeltaE小
於3的規格。
--
我們的臉書：https://ppt.cc/gk~o (或臉書直接搜尋 瓦晰科技)
我們的部落格：https://tw.myblog.yahoo.com/wasytech
上述網址，內容除了公司介紹外，主要是一些色彩知識上的觀念分享。
(醫療顯示器、專業顯示器、顯示器校正、螢幕校色、色彩校準、
色彩管理、Delta E、DeltaE、DeltaE94、CMYK、sRGB、Adobe RGB)
--
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 111.255.76.209
兩雙眼睛分別是由左、右腦控制的，而一般人的左腦控制了生活約70%的動作
所以兩眼本來就有差異
而且看到的東西角度不同，也是生理構造，是很正常的
像目前快不紅了的3D技術，玩的也是故意讓左、右眼看到影像不一樣而已
※ 編輯: wasy 來自: 111.255.71.242 (06/27 09:59)
... <看更多>