矮化女性和少數種族，OpenAI GPT 模型為何變成 AI 歧視重災區？
作者 品玩 | 發布日期 2021 年 02 月 13 日 0:00 |
機器學習技術近幾年突飛猛進，許多強大 AI 因此誕生。以知名研究機構 OpenAI 開發的語言生成模型 GPT 為例，現在可寫文章、幫人做報表、自動查詢資訊，給用戶很大幫助和便利。
然而，多篇近期論文指出，包括 GPT 等 AI 模型，生成結果包含基於性別和種族的偏見。而這些 AI 模型應用在商業領域，勢必強化歧視偏見對象現象。
卡內基美隆大學 Ryan Steed 和喬治華盛頓大學 Aylin Caliskan 近日發表論文《無監督的方式訓練的影像表示法包含類似人類的偏見》（Image Represnetations Learned With Unsupervised Pre-Training Contain Human-like Biases）。
研究者對 OpenAI 在 GPT-2 基礎上開發的 iGPT 和 Google 的 SimCLR，兩個去年發表的影像生成模型進行系統性測試，發現種族、膚色和性別等指標幾乎原樣複製人類測試物件的偏見和刻板印象。
其中一項測試，研究者用機器生成男女頭像照片為底板，用 iGPT 補完（生成）上半身影像。誇張的事發生了：所有女性生成結果，超過一半影像穿著比基尼或低胸上衣。
男性結果影像，約 42.5% 影像穿和職業有關的上衣，如襯衫、西裝、和服、醫生大衣等；露手臂或穿背心的結果只有 7.5%。
這樣的結果，技術方面的直接原因可能是 iGPT 採用的自迴歸模型機制。研究者進一步發現，用 iGPT 和 SimCLR 對照片和職業相關名詞建立連結時，男人更多和「商務」、「辦公室」等名詞連結，女人更多和「孩子」、「家庭」等連結；白人更多和工具連結，而黑人更多和武器連結。
這篇論文還在 iGPT 和 SimCLR 比對不同種族膚色外觀的人像照片「親和度」（pleasantness），發現阿拉伯穆斯林人士的照片普遍缺乏親和力。
雖然 iGPT 和 SimCLR 模型的具體運作機制有差別，但透過這篇論文，研究者指出這些偏見現象背後的共同原因：無監督學習。
這兩個模型都採用無監督學習 (unsupervised learning)，這是機器學習的方法之一，沒有給事先標記好的訓練資料，自動分類或分群匯入的資料。
無監督學習的好處，在於資料標記是繁瑣費時的工作，受制於標記工的程度和條件限制，準確性很難保持一定，標記也會體現人工的偏見歧視，某些領域的資料更缺乏標記資料庫；而無監督學習在這種條件下仍有優秀表現，最近幾年很受歡迎。
然而這篇論文似乎證明，採用無監督學習無法避免人類常見的偏見和歧視。
研究者認為，採用無監督學習的機器學習演算法，出現的偏見歧視來源仍是訓練資料，如網路影像的男性照更多和職業相關，女性照片更多衣著甚少。
另一原因是這些模型採用自迴歸演算法。在機器學習領域，自迴歸演演算法的偏見問題人盡皆知，但嘗試解決這問題的努力並不多。
結果就是，機器學習演算法從初始資料庫學到所有東西，當然包括人類的各種偏見和歧視。
之前 OpenAI 號稱「1700 億參數量」的最新語言生成模型 GPT-3，發表論文也申明因訓練資料來自網路，偏見無法避免，但還是發表並商業化。
去年 12 月，史丹佛和麥克馬斯特大學的研究者另一篇論文《Persistent Anti-Muslim Bias in Large Language Models》，確認 GPT-3 等大規模語言生成模型對穆斯林等常見刻板印象的受害者，確實有嚴重的歧視問題。
具體來說，用相關詞語造句時，GPT-3 多半會將穆斯林和槍擊、炸彈、謀殺和暴力連結。
另一項測試，研究者上傳一張穆斯林女孩的照片，讓模型自動生成一段文字，卻包含明顯的暴力過度遐想和延申，其中有句話「不知為何原因，我渾身是血。」
而當這類演算法應用到現實生活，偏見和歧視將進一步強化。
iGPT 和背後的 OpenAI GPT 技術，現在開發到第三代。能力確實很強大，就像眾多媒體報導過那樣，因此許多商業機構青睞採用。最知名的用戶就是微軟。去年 9 月，微軟 CTO Kevin Scott 宣布和 OpenAI 合作，獨家獲得 GPT-3 授權，將技術應用到針對用戶的各項產品和 AI 解決方案。
微軟尚未透露具體會把 GPT-3 應用到哪些產品，但考慮到微軟產品的十億級用戶量，情況非常令人擔憂。如微軟近幾年 Word、PPT 等產品推廣的自動查詢資訊、文字補完和影像設計功能，當用戶匯入某特定詞或插入圖片時，如果正好落入 GPT-3 的偏見陷阱，結果將非常糟糕。
不僅 GPT，照前述論文說法，所有採用無監督學習的演算法都可能包含這些偏見。現在因無監督學習非常熱門，自然語言處理、電腦視覺等領域，都成為非常關鍵的底層技術。
如翻譯對人際溝通十分重要，但錯誤的翻譯結果，一次被演算法強化的偏見事件，少則切斷人與人的聯繫，更嚴重者將導致不可估量的人身和財產損失。
作者 Steed 和 Caliskan 呼籲，機器學習研究者應該更區別和記錄訓練資料庫的內容，以便未來找到降低模型偏見的更好方法，以及發表模型前應該做更多測試，盡量避免受演算法強化的偏見被帶入模型。
資料來源：https://technews.tw/2021/02/13/openai-gpt-discrimination/
電腦視覺 影像處理 差別 在 [心得] 系統軟體轉電腦視覺(ulsee/由田) - 看板Soft_Job 的推薦與評價
先說一下本魯的背景
113 資工 學 + 碩，碩論為行車紀錄器影像分析
三年工作經驗(研替)，主要在做監控系統
本魯從監控系統的client、server、對外的SDK，都有開發經驗
下班後偶爾會上網找有興趣的課來聽(影像處理、電腦視覺、機器學習相關)
並且在coursera的機器學習跟影像處理兩門課當 Mentor (教學相長)
在退伍前半年開始接觸獵人頭找工作，談了自己的需求與目標薪水後
獵人頭推薦了幾家有機會達標的公司，
先約了兩間，所幸該獵頭給的清單中
最想去的第一間就面上了，所以本篇只有兩間的面試心得
=====================================================
愛唯秀(ulsee) 演算法工程師
內容：
這家專注在電腦視覺演算法(人臉追蹤、人臉辨識、AR、VR、ADAS)
目前商業模式以提供技術的B2B模式為主，而不是賣B2C的應用產品，
目前有和line、迪士尼合作。
面試過程蠻順利的
主要在問本魯過去工作上的開發經驗，以及當Mentor的經驗
至於我問的問題，則是工作內容、管理風格、加班強度之類
關於ML、CV的細節，並沒有問太深
PS：原本都做好上白板寫數學式子、推導 back propagation 的心理準備了 XD
結果: Offer get
=====================================================
由田新技 影像處理演算法工程師
內容：
這家是AOI設備商，所謂AOI是利用影像處理、電腦視覺配合一些打光
來找出產線成品的缺陷，目前合作比較大的是面板廠跟PCB廠
一開始寫了1.5小時的考題，有邏輯、專業、英文
邏輯就是一堆推理...沒什麼好說，就是給你一堆條件，要你推敲某件事情，花了40分鐘
寫完這部分，
專業部分倒是不難
像是bubble sort、字串反轉、C++的輸出(考你i++, ++i的優先權)
解釋 virtual function、function overloading、
template function、inline function、
class的public protected private、指標跟reference的差別
只有一題刁鑽了點，問你 windows API中的sendmessage()跟postmessage()的差別
這邊沒用過windows API的可能會不知道
至於其他題目即使是應屆畢業生，應該也答得出來，是個回復腦力的好時間
至於英文則有閱讀測驗和英文書信
寫完考卷後，就是和兩位技術主管與人資面試(三關)
第一關，面試內容聚焦在開發方面
問的問題環繞在我現在的工作內容，對於本魯過去改善效能的經驗特別有興趣
主管說他們的AOI軟體，效能要好除了懂演算法，也必須了解系統架構，才能找出適合該
系統的演算法
我進來的第一年會先幫忙調效能，從系統到演算法
接下來就是我問他問題，像是工作內容、管理風格、加班強度之類
至於前面寫的考卷則沒甚麼討論...
結束這一輪
第二關，面試內容聚焦在影像處理上
給了本魯兩個情境題
1. 畫了兩個三角形，其中一個很模糊，要怎找出這六個頂點
大概像這樣
2. 給了兩個像湯匙的東西，一個在中間有洞口，另一個在邊邊又缺口，問怎麼偵測此問
題
大概像這樣
這關的面試流程，大概就是我提一個想法，面試官要我能不能改進，循環幾次。
結果: 感謝函，對方說我技術沒問題，但本魯10月底研替才退伍，所以先把 headcount
給了別人
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.25.13.32
※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1506434514.A.EA5.html
這邊有我拿到 offer 那間的薪水範圍
https://www.zhipin.com/gongsi/r249323.html?ka=company-jobs
面試官沒跟我說正解...
這邊來說說我自己的想法
1. 我提出用 Otsu + median filter + corner detection
corner detection 或許可以換成 hough transform
2. morphological 後的圖和原本的相減做比較
或是切block後，再用傅立葉檢查是否有高頻資料
第二題我比較沒把握些，有大神鄉民可以出來指點嗎<(_ _)>
請問什麼是 data driven 的方法?
是只適用特定data的方法嗎?
就是把圖片切成好幾個小區塊，用DCT或傅立葉做線性轉換後
把頻率的資訊當feature
收集缺陷的資料當training data (AOI設備有定義產品能解決怎樣的缺陷)
不過面試官比較認同我用 |原圖二值化 - morphological處理的圖| 的方法
來檢查是否有缺陷
PS: 面試官沒跟我講他會用的方法
... <看更多>