許多年之后，當我們追溯AI社會學的編年史，2020年深度學習大牛、Facebook 首席 AI 科學家楊樂昆（Yann LeCun）和 Google AI科學家蒂妮特·葛卜路（Timnit Gebru）在推特上進行的“算法偏見大辯論”也許仍然是值得記錄的一筆。盡管這場沸反盈天的爭論在持續兩周之后，以楊樂昆宣布永遠退出推特暫時畫上了休止符，計算機學家和社會學家在算法里的分歧卻遠遠沒有得到解決。

這場爭論的起點是一個名為PULSE的算法，由杜克大學的科學家們在計算機視覺頂級會議CVPR 2020上發表。PULSE的精髓在于其利用生成對抗網絡(GAN)的思路，將模糊的照片瞬間清晰化的能力。但很快，網友就發現，PULSE在黑人群體的表現差強人意。比如，將前總統奧巴馬的模糊照片經過PULSE處理，生成的清晰圖片竟然是一張白人面孔。

圖片來源：Twitter網友chicken3gg

在全美BLM運動（Black Lives Matter，黑人的命也是命）如火如荼的當下，PULSE算法引發了巨大的爭議。面對鋪天蓋地的質疑，楊樂昆發了一條推特，解釋到：“機器學習系統的偏見是由數據造成的。PULSE系統使用FlickFaceHQ訓練，其大部分是白人圖片。如果系統使用塞內加爾的數據集訓練，那所有人會看起來都像非洲人?！?/p>

從技術角度來說，楊樂昆指出了算法偏見一個至關重要的來源，就是訓練數據集的偏見。但是，意識到數據偏見是否就足夠了呢？Google AI 科學家、同時也是一名非裔女性的蒂妮特·葛卜路在推特上與楊樂昆展開了激烈的辯論。一時間風聲鶴唳，計算機學家和社會學家紛紛站隊。蒂妮特直言到：你不能將機器學習系統造成的傷害完全歸結于數據偏見。換而言之，是否只要修正了數據偏見，算法偏見（及其造成的傷害）就自動消失了呢？

社會學家們的答案是否定的。對他們來說，一個至關重要的區分是中性的統計上的“偏差” （bias）和對社會群體造成實實在在后果的“偏見” （bias of moral import）。1996年，巴蒂婭·弗里德曼（Batya Friedman）和海倫·尼森鮑姆（Helen Nissenbaum）在互聯網時代的早期寫下了至今仍然是經典的《計算機系統的偏差》（Bias in Computer Systems）。當然，他們當年所說的偏見和今天AI系統里人們觀察到的偏見已經截然不同。但是，他們提出了一個經典定義，區分開了bias和bias of moral import ——如果前者可以泛指計算系統里的各種自然的“偏差”，那么后者則指的是特定的會對某一社會群體造成的不公正的傷害。今天我們討論算法偏見，更多是后者。

也許一個經典的例子是亞馬遜和奈飛 (Netflix) 的算法推薦系統，你或許在淘寶和抖音上也能找到類似的系統。這些算法會根據你之前的瀏覽和評價記錄（或與你用戶畫像類似用戶的瀏覽及評價記錄）向你推薦“或許”感興趣的商品和影片。

統計學家們發現，類似的算法起碼受制于四大統計偏差的束縛。第一類偏差，是新的商品或影片往往很難被推薦算法選中。因為算法基于用戶評分，新的產品沒有評分所以很難進入算法視野。

第二類偏差，是流行的商品或影片往往會被反復選中。即使你只閱讀中古時期的醫學史，也很有可能被推送《哈利波特》——因為在茫茫用戶人海中，總有喜歡《哈利波特》的人碰巧也喜歡中古醫學史。

第三類偏差更為復雜一點，統計學家們發現，算法有“過于精細”的特點。如果你碰巧看了三部《倚天屠龍記》，出于對精確性（accuracy）的不懈追求，算法基本就會持之以恒地給你繼續推薦武俠小說，即使你這個禮拜想探索一下科幻電影。

第四類偏差，是同質化。因為算法會自動推薦其他用戶喜歡的產品，評價少的小眾產品會慢慢下沉，整個信息生態系統會變得越來越類似。比如，引用率高的論文會被反復引用，影響力增大的同時又會導致更多的引用，形成一個信息閉環。

社會學家們很快發現，當我們討論統計偏差的時候，常常忽略了貌似正常的偏差在社會群體里造成的傷害。許多看上去完全自然無害的統計偏差可能導致嚴重的社會后果。在以上的例子里，過于精細的算法可能會導致個人信息系統的同質化，從而導致社會大環境的割裂：保守派和自由派也許看到的是完全不一樣的世界。

類似的，如果算法的設計是為了“大部分用戶”服務的，那些占據正態分布尾部的少數派用戶群體自然會受到不同程度的“算法歧視”。從另一個角度來說，把正態分布尾部的用戶群體排斥在算法的視野之外同樣也是對“大多數”用戶的傷害：人類信息系統和自然生態系統一樣，會受損于多樣性的喪失。

更致命的是，在類似的推薦系統，或者更廣義上的現代信息過濾（information filtering）系統里，數據和算法是無法分割開的。算法不停地根據數以萬計用戶的選擇和評分對自己的預測系統進行實時更新——哪里是數據偏見？哪里又是算法偏見？

更進一步，我們還可以問，把AI系統造成的社會偏見和傷害歸結于“數據”而非“系統”本身，從某種程度上來說，是否也是在規避責任？如果只有數據是有偏見的，那么是否只有收集和標注數據的人才應該對這一切社會后果負責？把追責的視野局限在訓練數據集上，我們其實是放棄了從起始處起對一整個AI系統進行問詢的基礎：為什么要建造這個系統？誰建造了這個系統？誰會受益于這個系統？誰又會受到最大程度的影響？

當代深度學習領軍人物楊樂昆在激辯算法偏見兩周之后，徹底退出了推特。在人類社會和算法的交界處，在AI算法爭分奪秒從億萬用戶的行為里提取數據進行預測的今天，僅僅從科技的角度來理解和解決問題或許會受到越來越多的挑戰。

普林斯頓社會學家魯哈·本杰明（Ruha Benjamin）在著名的深度學習大會 ICLR 2020上說：

“Computational depth without historical or sociological depth is superficial learning”。

沒有歷史和社會深度的“深度學習”只是“淺薄學習”。

與所有計算機學家和社會學家們共勉。

【參考文獻】

[1] Batya Friedman and Helen Nissenbaum. "Bias in computer systems." ACM Transactions on Information Systems (TOIS) 14, no. 3 (1996): 330-347.

[2] Ruha Benjamin. “Vision: Reimagining the Default Settings of Technology & Society,” ICLR 2020.

[3] Sachit Menon, Alexandru Damian, Shijia Hu, Nikhil Ravi, Cynthia Rudin. “PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020, pp. 2437-2445.

[4] Catherine Stinson. "Can an Algorithm be Biased?”. 2020.

-----

作者沈虹，畢業于美國伊利諾伊大學香檳分校傳播學系，現任職于美國卡內基梅隆大學。她用社會學的方法研究新興科技。