自動駕駛也有人群歧視？華人科學(xué)家最新研究：深色皮膚和兒童行人更危險

性別、年齡、膚色都是變量

作者｜曹婷婷

一個尷尬的發(fā)現(xiàn)：

自動駕駛系統(tǒng)也有人群歧視。

英國倫敦國王學(xué)院的研究人員進(jìn)行一項研究，通過對超過8000張圖片檢測后，發(fā)現(xiàn)了一個漏洞：

自動駕駛汽車使用的由AI驅(qū)動的行人檢測系統(tǒng)，對兒童的檢測準(zhǔn)確率比成人低了19.67%，深色皮膚的檢測準(zhǔn)確率比淺色皮膚低了7.53%。

而性別在檢測準(zhǔn)確率上相差不大，僅有1.1%的差距。

這意味著對于無人駕駛汽車來說，兒童和黑皮膚的行人將會比成年人和淺皮膚的行人更難檢測。

為什么會這樣？

01

 對兒童、深膚色人群不友好

先來看這個實驗過程。

這個研究小組采用的是數(shù)據(jù)分析的方法，他們首先找到8種自動駕駛企業(yè)最常用到、也是市面上常見的行人專用探測系統(tǒng)。

再用這些行人探測系統(tǒng)收集真實場景測試的數(shù)據(jù)，包括不同亮度、對比度、天氣情況等實際場景，這些數(shù)據(jù)集，主要是由所拍攝的真實街道圖像組成。

來源：Waymo

他們在四個真實場景中，共得到8311張圖像，圖像中展示了不同姿勢、大小和遮擋場景下的行人。研究人員對圖像中的行人還特意加了標(biāo)簽，共有16070個性別標(biāo)簽、20115個年齡標(biāo)簽和3513張膚色標(biāo)簽。

研究重點是，自動駕駛的行人檢測系統(tǒng)在面對不同行人時，所作出的反應(yīng)是否相同，特別是在性別、年齡和膚色這三個因素上，會不會出現(xiàn)不公平的問題。

所使用到的探測系統(tǒng)包括ALFNet、CSP、MGAN 和 PRNet 等，其中ALFNet 采用的是多步預(yù)測進(jìn)行漸近定位，解決了行人檢測中單步檢測的局限性。

CSP通過定位中心和縮放行人引入一種無錨方法；MGAN 則是利用可見區(qū)域邊界框信息引導(dǎo)注意力生成，主要用于遮擋情況下對行人的檢測。

來源：論文

圖像收集完后，針對自動駕駛系統(tǒng)是否對群體存在不公平的問題，研究小組使用了一個差異性公式。MR一般是表示行人檢測研究中最常用的性能指標(biāo)，MR=1-TP/（TP+FN），這里的TP（真陽性）是指成功刪除的地真邊界框的數(shù)量，F(xiàn)N（假陰性）是指未檢測到的地真邊界框的數(shù)量。

經(jīng)過計算，行人探測器對女性和男性行人的失檢率相似，相差1.1%，而在年齡和膚色上差異較大，分別達(dá)到了19.67%和7.52%！

這意味無人駕駛行人檢測系統(tǒng)，對兒童和膚色較深的人群更難辨別，這些人群也將面臨更大的風(fēng)險。

而且尤為注意的是，在夜晚這些數(shù)字都有一定增加，兒童的EOD（兒童和成人群體之間的差異）從白天到夜晚，失檢率從22.05%上升至26.63%，膚色組（深色和淺色皮膚）差異率從白天的7.14%增加到夜間的9.68%。

另外和男性相比，女性在三個因素的失檢率都大于男性。

此外，研究小組對不同亮度和不同對比度情況下對數(shù)據(jù)進(jìn)行研究，這些變量也會對失檢率有較大影響。

來源：論文

在選用的8種行人檢測系統(tǒng)中，隨著亮度的降低，其中一級檢測系統(tǒng)表現(xiàn)最差，尤其是在膚色上，深色皮膚和淺色皮膚的差異值達(dá)到最高。

“公平的AI應(yīng)當(dāng)對所有群體一視同仁，但目前無人駕駛汽車方面似乎不是這樣的。”該研究的作者Dr. Jie Zhang說道。

為什么會出現(xiàn)這種情況？

這主要是人工智能系統(tǒng)需要進(jìn)行大量數(shù)據(jù)訓(xùn)練，而這些數(shù)據(jù)一旦不足，也會不可避免地反映在人工智能的表現(xiàn)上。這也是說，訓(xùn)練數(shù)據(jù)的缺乏，導(dǎo)致一些人工智能AI存在一定的偏見。

02

還有很多問題未解決

其實人工智能系統(tǒng)存在一定的不公平性，研究人員也不是第一次研究了。

早在2019年，美囯佐治亞理工學(xué)院的研究就表明，在路上皮膚較黑的人比皮膚較白的人，更容易被無人駕駛汽車撞到，研究人員分析了無人駕駛汽車監(jiān)測物體的方法，一共分析了3500張膚色各異的人的照片。

最后得出結(jié)論，無人駕駛技術(shù)在識別黑色皮膚人群時的準(zhǔn)確度平均低了5%。

來源：Cruise

這些研究雖然沒有涉及已經(jīng)上路的無人駕駛汽車，但無疑會讓人們對無人駕駛技術(shù)更加警覺。

無人駕駛落地困難，很大一部分原因是，它無法真正代替人類對行人及路況作出及時的反應(yīng)。

在2018年，打車服務(wù)巨頭Uber的一輛無人駕駛汽車在美國亞利桑那州坦佩市撞人致死，這是首次出現(xiàn)無人駕駛事故事件，“來不及做出反應(yīng)”就是其一大問題。

前段時間，美國加州投票決定，允許兩大無人出租車Cruise 和 Waymo 在舊金山全天候商業(yè)運營，這則消息引來美國群眾的不滿，因為無人駕駛出租車經(jīng)常引來事故。

來源：Cruise

汽車的無人駕駛系統(tǒng)可以用多種方式來識別路況，比如安在車頂?shù)募す饫走_(dá)，它可以每秒多次對汽車周圍環(huán)境產(chǎn)生三維圖像，主要是利用紅外激光脈沖來反射物體，把信號傳給傳感器，這種可探測到靜止和移動的物體。

但是遇到極端天氣時，比如濃霧或暴雨天氣，激光雷達(dá)的準(zhǔn)確度會大大降低。

而短程和遠(yuǎn)程光學(xué)攝像頭，可以實際的讀取信號、判斷物體顏色等更細(xì)節(jié)的物體，可以彌補激光雷達(dá)的短板。

為了加大識別能力，國內(nèi)不少無人駕駛系統(tǒng)，都采用了混合感知路線，通過激光雷達(dá)和攝像頭視覺技術(shù)來實現(xiàn)，并且視覺感知優(yōu)先于雷達(dá)感知，以視覺感知為主，雷達(dá)感知為輔。

但特斯拉是“純視覺感知”的忠實粉絲，馬斯克曾表示，激光雷達(dá)就像人身上的闌尾。然而這也導(dǎo)致特斯拉多次因事故吃上官司。

來源：特斯拉

其實即便是混合感知路線，也需要克服很多挑戰(zhàn)。

比如遠(yuǎn)距離成像的行人通常目標(biāo)較小，也就導(dǎo)致分辨率較低，定位準(zhǔn)確度不夠，這也是兒童的失檢率較高的原因之一。其次行人姿態(tài)各異也會導(dǎo)致算法檢測不準(zhǔn)確，而且行人檢測會受到背景的影響，比如光照的強弱，天氣的變化等都會影響判斷。

最后還有障礙物的原因，目標(biāo)重疊、有遮擋對算法識別也有較大影響。

03

華人學(xué)者領(lǐng)銜研究

這篇介紹自動駕駛系統(tǒng)公平性的論文，全名為《深色皮膚的人在街上面臨更多風(fēng)險：揭露自動駕駛系統(tǒng)的公平性問題》，該論文在《新科學(xué)家》雜志發(fā)表。

來源：新科學(xué)家

論文研究小組來自于倫敦國王學(xué)院，論文所列出的作者共有6位，其中Xinyue Li、Ying Zhang、Xuanzhe Liu、來自中國北京大學(xué)，Zhenpeng Chen、費德里·卡薩羅來自英國倫敦大學(xué)，Jie M.Zhang來自倫敦國王學(xué)院。

Jie M.Zhang目前是倫敦國王學(xué)院的助理教授，她的研究重點是將軟件工程研究與人工智能研究結(jié)合，從而提高軟件的可信度。她曾是倫敦大學(xué)的研究員，并在中國北京大學(xué)獲得計算機科學(xué)的博士學(xué)位。

作為中國籍學(xué)者，Jie M.Zhang在國內(nèi)的成績也可圈可點，她在今年3月被評為“中國女青年學(xué)者十五強之一”，還曾多次受邀進(jìn)行機器翻譯可信度的主題演講，她和小組也多次對人工智能的學(xué)習(xí)能力進(jìn)行研究分析。

對于行人檢測系統(tǒng)公平性缺失的問題，Jie M.Zhang表示，汽車制造商和政府需要共同制定法規(guī)，來確保自動駕駛系統(tǒng)的安全性和公平性。

其實以前就有過人工智能招聘軟件和面部識別軟件，黑人女性的準(zhǔn)確度不如白人男性的情況，而現(xiàn)在自動駕駛汽車一旦存在識別誤區(qū)，造成的后果可能會更加嚴(yán)重。

“以前少數(shù)族裔可能會因為一些軟件，而被剝奪了該有的便利”。Jie M.Zhang表示，現(xiàn)在他們可能面臨更嚴(yán)重傷害，甚至是人身傷害。

       原文標(biāo)題 : 自動駕駛也有人群歧視？華人科學(xué)家最新研究：深色皮膚和兒童行人更危險