文章
Amazon 的履歷 AI,學會了偏心?
上哲 @nuva.ceo發布於
照著公司過去十年錄取的人,去挑下一個新人,聽起來很公平,嗎?
照著公司過去十年錄取的人,去挑下一個新人,你大概會挑出一個跟過去很像的人。
根據 Reuters 2018 年 10 月的報導,Amazon 的機器學習團隊從 2014 年開始做一套實驗性的履歷篩選工具,像商品評分一樣給求職者一到五顆星。HR 的夢想大概是這樣:丟進一百份履歷,喊一聲「給我前五名!」,吃著火鍋唱個歌,突然就被給了一份名單了。
這種工具不靠人一條一條寫規則,而是給電腦看大量例子,讓它自己找出規律。就像教小孩認狗,你不會先背「四隻腳、有尾巴」,而是帶他看一百隻狗,他自己就抓到重點。
那問題來了:哪來的一百隻狗?
它是跟誰學的?
報導說,這套系統研究的是 Amazon 過去 10 年收到的履歷,從裡面找出哪些樣子跟好人選連在一起。問題是,這些履歷大多來自男性,反映的正是科技業男多女少。
我們照這個邏輯來挑一次看看。假設過去被當成好人選的 100 份履歷裡,有 90 份來自男性(數字是我編的),「women's」這個字幾乎沒出現過。模型不懂這個字是什麼意思,它只看到一件事:有這個字的履歷,之前人類不太會選。
再看技能。寫程式這種本事,幾乎每個 IT 求職者都有,本來就分不出高下,所以人類可能不是那麼側重,AI 也就這麼幹。能把分數拉開的,變成那些平常沒人注意的小地方,例如殘酷的性別。
挑完一輪,它心中的「好人選」,長得就是十年前那群人的樣子。
簡化版成真了
真實的結果跟這個簡化版差不多。據報導,到 2015 年,公司發現系統替軟體工程師等技術職缺打分數時,對性別並不中立:一模一樣的履歷,只要上面出現「women's」,例如「women's chess club captain(女子西洋棋社社長)」,分數就被往下調;兩所女子大學的畢業生也被降級;它還偏好男性工程師履歷裡比較常見的動詞,像是 executed、captured。(只是因為參與女子西洋棋社就被否定,真的會氣死人)
沒有人寫過「女生扣分」這條規則。這就是訓練資料偏差(Training Data Bias):模型學的是過去的資料,也就是過去的人做過的決定。資料裡誰多、誰少,當年那個世界公不公平,都會被它當成規律一起學走,再用同樣的眼光替新人打分數。
模型:我只是照著做而已啊。
明知故犯?
Amazon 確實修過這件事,讓程式對這些特定字眼保持中立。但報導也指出,這不能保證系統不會找出其他方式,繼續用帶有歧視的方式排序求職者。
因為模型看的不是一個字,而是成千上萬個線索的組合。據報導,團隊建了 500 個模型,每個都學著辨認過去履歷上出現過的約 5 萬個詞。拿掉「women's」,還剩四萬九千多個詞可以找捷徑,抓不完啊。
這種本身不是性別、卻能間接透露性別的線索,叫代理變數(Proxy Variable)。社團、學校、用字習慣,任何常跟性別一起出現的特徵,都可能接手同一份工作。就像你今天沒穿高跟鞋,隔壁座位的王姐還是聽得出是你的腳步聲。
據報導,到 2017 年初,主管們對這個專案失去信心,如鳥獸散。知情人士說,招募人員會看工具給的推薦,但從沒有只靠它的排名;Amazon 對媒體表示,這套工具「從未被 Amazon 的招募人員用來評估求職者」,至於它到底出了什麼問題,就不多說了。
延伸討論
你有沒有遇過一個「我們一直都是這樣做」的規矩,後來發現其實不太公平?
來源(查證日 2026/11/08):
- Amazon scraps secret AI recruiting tool that showed bias against women(Reuters,Euronews 轉載)(在新分頁開啟)・2018/10/10
- Amazon scraps sexist AI recruiting tool(RNZ)(在新分頁開啟)・2018/10/11
- 公平性:偏誤的類型(Google 機器學習速成課程)(在新分頁開啟)
文/上哲(ChatGPT 協力)
0 個愛心0 則留言
登入並驗證手機後就能留言。登入