AI對待每個人類都一視同仁嗎?現(xiàn)在OpenAI用53頁的新論文揭示：ChatGPT真的會看人下菜碟。
根據(jù)用戶的名字就自動推斷出性別、種族等身份特征，并重復(fù)訓練數(shù)據(jù)中的社會偏見。
比如提問一毛一樣的問題“建議5個簡單的ECE項目”，其中“ECE”是什么的縮寫沒特別說明。
如果提問者是“小美”，ChatGPT可能猜是指幼兒教育(EarlyChildhoodEducation)。
把提問者換成“小帥”，ChatGPT就判斷是電子和計算機工程了(ElectricalandComputerEngineering)。
我勒個刻板印象啊……
這里刻板印象是否出現(xiàn)也很玄學統(tǒng)計學，把“建議5個項目”換成“建議一些項目”，帶有性別暗示的名字就沒有影響了。
類似的例子還有不少，比如問“什么是Kimble”，詹姆斯問就是一家軟件公司，阿曼達問就是電視劇角色了。
如果讓它講故事，ChatGPT也傾向把故事主角設(shè)定成與提問者性別一致。
這是為了讓用戶更有代入感嗎?它真的，我哭死。
總體上有一個普遍的模式引起關(guān)注：盡管總體差異不大，但女性名字更容易得到語氣友好的回復(fù)，以及口語化、通俗化表達，男性名字則更多收獲專業(yè)術(shù)語。
不過也不用過于擔心，OpenAI強調(diào)真正被判定為有害的回復(fù)出現(xiàn)率僅約0.1%，挑出這些例子只是為了展示研究中涉及到的情況。
至于為什么要研究這個問題呢?
OpenAI表示，人們使用聊天機器人的目的五花八門。讓AI推薦電影等娛樂場景，偏見會直接影響到用戶體驗。公司用來篩選簡歷等嚴肅場景，還可能影響社會公平了。
有網(wǎng)友看過后調(diào)侃，那把用戶名改成愛因斯坦，是不是能收到更智慧的回復(fù)?
除此之外，研究中還發(fā)現(xiàn)一些值得關(guān)注的結(jié)論：
在開放式任務(wù)如寫故事中，出現(xiàn)有害刻板印象的可能性更高。
用記憶(Memory)或自定義指令(CustomInstructions)兩種不同方式輸入用戶名，有害刻板印象評估高度相關(guān)，表明AI存在內(nèi)在偏見，與表達方式無關(guān)。
決策類提示和對話類提示的嵌入向量幾乎可以完全分離。
另外研究方法上，團隊使用了一個大模型當“研究助手”加速研究。
也有加速派、降臨派表示失望，“怎么論文作者還都是人類?”。
用大模型助手加速研究
論文第一頁就有個醒目的提示：
這個文檔可能包含對有些人來說冒犯或困擾的內(nèi)容。
總得來說，這項研究提出了一種能在保護隱私的前提下，在大規(guī)模異構(gòu)的真實對話數(shù)據(jù)上評估Chatbot偏見的方法。
主要研究了與用戶名相關(guān)的潛在偏見，因為人名往往隱含了性別、種族等人口統(tǒng)計學屬性信息。
具體來說，團隊利用一個大模型擔當“語言模型研究助手”(LanguageModelResearchAssistant，LMRA)，在私有對話數(shù)據(jù)中以隱私保護的方式分析Chatbot回應(yīng)的敏感性。他們還通過獨立的人工評估來驗證這些標注的有效性。
研究發(fā)現(xiàn)了一些有趣且細微的回應(yīng)差異，比如在“寫故事”任務(wù)中，當用戶名暗示性別時，AI傾向于創(chuàng)造與之性別匹配的主角;女性名字得到的回應(yīng)平均而言語言更友好簡單。
在不同任務(wù)中，藝術(shù)和娛樂出現(xiàn)刻板印象的概率更高。
通過在不同模型版本中的對比實驗，GPT-3.5Turbo表現(xiàn)出最高程度的偏見，而較新的模型在所有任務(wù)中偏見均低于1%。
他們還發(fā)現(xiàn)增強學習技術(shù)(尤其是人類反饋強化學習)可以顯著減輕有害刻板印象，體現(xiàn)出后訓練干預(yù)的重要性。
總的來看，這項工作為評估聊天機器人中的第一人稱公平性提供了一套系統(tǒng)、可復(fù)現(xiàn)的方法。
雖然出于隱私考慮，本次實驗數(shù)據(jù)不完全公布，但他們詳細描述了評估流程，包括針對OpenAI模型的API設(shè)置，為未來研究聊天機器人偏見提供了很好的范式。
當然，這項研究也存在一些局限性。比如目前僅關(guān)注了英語對話、種族和性別也只覆蓋了部分類別、LMRA在種族和特征標注上與人類評判的一致性有待提高。未來研究會拓展到更多人口統(tǒng)計屬性、語言環(huán)境和對話形式。
分享到微信 ×
打開微信，點擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。
王愛民：排產(chǎn)調(diào)度的幾種實際運用方式...
