蕭簫 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

就在這周，麻省理工學院緊急下架了Tiny Images數據集。

原因很簡單，有學者研究指出，這個通過大量搜索引擎整合的數據集，內里竟然隱藏著諸多令人不齒的標簽：兒童猥褻、性暗示、種族歧視……（文末附論文鏈接）

而這些圖像的標簽（b***h，w**re），則帶有強烈的偏見和反人道的意味。

△ 從統計數據來看，包含這類標簽的圖片達成千上萬張

如果含有這樣的標簽和圖像的數據集被用于訓練AI，后果將不堪設想。

然而局面似乎已經無法挽回：由于這個數據集主打微小圖像，且圖片數量龐大，在當年計算機硬件還不發達時，曾被廣泛用于AI訓練，在arXiv上屬于高引用論文。

Reddit上針對此事的說法不一。

有網友認為，這件事有點小題大做的意思。畢竟這些通過網絡搜集到的圖片、文本信息，也是真實世界的一部分。

在我看來，這有點「道德恐慌」了。難道會有人覺得用來訓練GPT-3的接近1TB的開放式網絡文本信息里沒有任何冒犯性的內容？

但也有支持的網友拍手稱快。

MIT干得好！

除了這類情緒化的觀點，很多人也開始理性思考這種數據集形成的原因。

這是不是制作數據集的作者們無暇抽空檢查導致的？

這些機器學習的研究人員在處理圖像的時候，難道不會設置一下搜索過濾嗎？就我經驗來看，有些制作不精的數據集在沒時間檢查的情況下就發布了。

很快有網友否認了這種觀點，因為Tiny Images不屬于這種情況。

我認識原作者，情況不是你想的那樣。我覺得，作者只是沒有像我們今天這樣考慮這么多，他們在利用搜索引擎整合圖片的時候，可能沒想過要對標簽列表進行過濾。

無論網友抱持有何種觀點，目前這個數據集的下架都已是不爭的事實。

哪怕是比Tiny Images更有影響力的數據集ImageNet，在這次研究中也被指出存在部分令人不適的圖片，但沒有Tiny Images數量這么龐大。

有學者指出，ImageNet維護者眾多、且圖像分類明確，與之相比，Tiny Images則幾乎從未被仔細檢查過。

到底是什么原因，使得這么多年來，Tiny Images數據集一直少有人工清查？

這個問題，可能還得從Tiny Images自身的特性說起。

Tiny Images數據集的特點

Tiny Images數據集自2006年問世后，至今已包含5萬多個WordNet中的不同標簽。

數據集中的圖像，來源于搜索引擎搜索標簽、并自動下載所搜到的圖片。

整理后的圖像數量達8000萬張，每張都以非常低的分辨率（32×32）保存在數據集中，形成了Tiny Images數據集的特色：數量龐大，圖像微小。

然而，正是由于圖像數量過于龐大，導致這些令人反感的圖像隱藏太深；而低分辨率，則會導致這些圖像難以被視覺識別。

△ 在Tiny Images中，含貶義的「nigger」標簽下的圖片

下架時，麻省理工學院給出了官方說明。

由于我們無法保證，能徹底刪除Tiny Images中所有令人反感的圖像，所以將它下線了。

同時，也希望網上不要再傳播已有的Tiny Images數據集副本。

將Tiny Images下架的最重要的原因，是因為這些帶有強烈偏見的、令人反感的標簽所標注的圖像，與我們計算機視覺行業致力于達成的包容、無偏見的價值觀背道而馳。

不僅如此，采用這些標簽進行訓練后的AI模型，可能會在圖像分類或目標檢測時，將這些隱含的反人道標簽用于目標識別中。

為什么會使AI產生偏見

無論是Tiny Images還是ImageNet，這次都栽在了一個叫WordNet的分類詞庫上。

詞庫以其強大的詞義關聯性著稱，會根據各種單詞的意義，將不同的詞組成各式各樣的集合，最終構成一個詞庫網。

例如，WordNet會將「比基尼」、「色情」和「whore」（貶義）等單詞關聯到一起，如果在搜索引擎上進行圖像搜索，所獲得的圖片會帶有強烈的偏見色彩。

△ 「whore」標簽的圖像下可能僅僅是一個穿著比基尼的女人

不可避免的是，WordNet中會收錄許多帶有貶義和偏見標簽的圖片，如果在使用這些圖片進行訓練時，沒有對標簽進行過濾，訓練后的AI就可能會利用這些標簽，戴上「有色眼鏡」識人。

ImageNet以其知名度和做得較好的圖像分類，較為幸運地得到了比較良好的維護，與之相比，Tiny Images中許多帶貶義標簽的圖像卻因為低分辨率難以被識別。

這就導致了這次的緊急下線。

但正如某些網友所說，無論如何，制作無任何偏見的數據集，本身就是良好的AI訓練不可或缺的一部分。

目前，許多最新的數據集也在不斷致力于以各種方式，接近這種「無偏見」的目標。

Tiny Images作者介紹

△ 作者Antonio Torralba

Antonio Torralba，麻省理工學院的副教授，主要研究方向為計算機視覺和機器學習，Tiny Images是他與另外兩位作者，經過8個月時間整理出來的微型圖像數據集。

傳送門

參考鏈接

https://www.theregister.com/2020/07/01/mit_dataset_removed/

論文鏈接

https://arxiv.org/abs/2006.16923

— 完 —

本文系網易新聞?網易號特色內容激勵計劃簽約賬號【量子位】原創內容，未經賬號授權，禁止隨意轉載。

原標題：《這個比肩ImageNet的數據集遭MIT緊急下架，原因令人憤怒》

閱讀原文