原創(chuàng) 賈小雙 定量群學

引言

隨著人工智能的發(fā)展，算法決策系統(tǒng)越來越多地被用于輔助甚至是替代人的決策，例如使用算法進行信貸審批、人才招聘、犯罪風險評定等等。由于算法在決策中扮演的角色越來越重要，算法決策的公平性也愈發(fā)引起重視。本專題第二期推送為大家介紹了一種將人類意志與算法意志結合起來以提高算法決策公平性的方法，這一期我們將從算法本身出發(fā)，為大家介紹Zafar等人在Fairness constraints：Mechanisms for Fair Classification這篇論文中所提出的提高決策公平性的機器學習框架。

01

什么是算法決策的不公平性？

簡單而言，算法決策系統(tǒng)的工作原理是使用大量（訓練）數(shù)據(jù)訓練出準確率很高的機器學習模型來對目標群體進行分類，從而根據(jù)預測結果進行決策。在這一過程中， 若不施加特殊限制，模型常常會將一些敏感特征（sensitive feature，如性別、種族等）納入分類依據(jù)，并賦予較高的權重，從而導致決策結果對某些特定群體（如女性、黑人等）產(chǎn)生不公平的結果，即產(chǎn)生我們常說的“算法歧視”。

機器學習領域將算法決策結果的不公平性分為三種：差別性對待（disparate treatment），差別性影響（disparate impact）和差別性誤待（disparate mistreatment）。作者使用了一個犯罪風險評定的例子來說明這三種算法不公平性的含義：

圖 1：三種算法決策不公平性示例

如圖1所示，C1，C2 ，C3是三種假想的算法，其決策的任務是根據(jù)行人的性別、衣服是否有常鼓起和是否接近可能的犯罪地點這三個特征來判斷路過的行人是否攜帶武器，從而決定是否要將其攔下進行搜身。其中，性別是敏感性特征，衣服是否異常鼓起和是否接近犯罪地點為非敏感性特征。下面我們結合這個例子來看三種算法不公平性的含義。

Disparate treatment（DT）：差別性對待，也叫直接歧視（direct discrimination），指的是在其他非敏感性特征相似的情況下，決策結果僅在敏感性特征不同的群體間有差異。例如Male1和Famle2的衣服都有鼓包并且都接近犯罪地點，但C2算法決定攔截男性而不攔截女性；同樣，算法C3對擁有相同非敏感性特征的Male2和Famle2也做出了不同的決策，因此C2和C3算法都存在差別性對待。

Disparate impact（DI）：差別性影響，指的是算法決策所造成的結果總是對某種敏感性特征上取某個值的群體更有利（或更不利）。例如性別這個敏感性特征有男性和女性兩種取值，算法C1的決策更不利于男性，因為該算法決定攔截男性進行搜身的概率是100%，而攔截女性的概率只有66%。

Disparate mistreatment（DM）：差別性誤待，是指算法對某一個敏感性特征上取不同值的群體的預測準確性有差別。在機器學習中，通常用錯誤率來評估分類模型的準確性。表1展示了幾種分類錯誤率的測量方式。在上述例子中，C1算法對男性和女性是否攜帶武器的預測的假陰率（false negative rate）分別為為0和0.5；而C2算法對男性和女性是否攜帶武器的預測的假陽率（false positive rate）分別為0和1，因此C1和C2算法都存在差別性誤待。

表1：機器學習模型分類錯誤率的測量

02

什么是公平的決策？

從上面的例子可以看出，在實際應用中，算法決策的本質是在對目標群體進行分類，因此，若要實現(xiàn)算法決策公平，就要使得分類模型能夠避免上述三類不公平性的產(chǎn)生。從方法上而言，一個公平的分類模型需要滿足[1]:

1 分類結果不存在差別性對待，即分類結果不受敏感性特征的影響，用公式表達為：

2 分類結果不存在差別性影響，即敏感性特征不同的群體有同樣的概率被分到某一類，可表達為：

3 分類結果不存在差別性誤待，即分類的（五種）錯誤率不受敏感性特征的影響，按照錯誤率的計算方式，可以將這一條件進行如下形式化定義：

03

如何實現(xiàn)決策公平

1.基于公平性約束的機器學習分類模型框架

在厘清了算法公平性的概念后，該團隊嘗試提出一種公平性決策（分類）算法框架，該框架的核心思想是在分類模型的訓練過程中加入公平性約束（fairness constraints）。如下圖所示，這框架包含兩個部分：線性分類器的損失函數(shù)（classifier loss function）和公平性約束（fairness constraints）。前者是為了提高模型的預測準確性，后者是為了保證模型的公平性。

2.對公平性測量方式的改進

由于方程（3.2）-（3.7）對公平性的要求非常嚴格（方程全部使用等號，相當于要求完全不存在任何不公平性），現(xiàn)實情況往往難以滿足，因此該團隊提出了一種新的決策邊界不公平性（decision boundary unfairness）的測量方式，在新的測量方式下：

（1）差別性影響所造成的決策邊界不公平性被定義為“用戶的敏感特征z”與“用戶的特征向量（feature vectors）和決策邊界之間的符號距離（singed distance）dθ(x) ”的協(xié)方差的均值。

（2）基于不同的分類錯誤率定義，差別性誤待所造成的決策邊界不公平性也有不同的測量方式。例如，整體整體錯誤率（overall misclassification rate）可以轉化為“用戶的敏感特征z”與“被分錯類的用戶的特征向量（feature vectors）和決策邊界之間的符號距離（singed distance）dθ(x) ”的協(xié)方差；假陽性率（false positive rates）可以轉化為“用戶的敏感特征z”與“被分錯類的且真實標簽為陰性的用戶的特征向量（feature vectors）和決策邊界之間的符號距離（singed distance）dθ(x) ”的協(xié)方差，其他的錯誤率以此類推。

注：1差別性對待可以通過在訓練時不使用敏感特征來進行避免。

2但可能真實的情況是敏感特征確實與真實的分類具有較高的相關性（例如男性攜帶武器的比例確實高于女性），在這種情況下，若要避免差別性影響，模型預測的準確性可能會打折扣。在要求保證模型分類準確性的情境下（business necessity clause），該團隊也提出了如何對該框架進行調整來適應這種情境的方案。（見原文4.3）

3.如何基于這一框架來設計一個公平的分類模型？

在改進了不公平性的測量方式后，作者使用這一新的決策邊界不公平性對（3.2）-（3.7）中公平性約束條件進行了相應的修改（詳見方程（4.2）-（4.9）），放寬了（4.1）中公平性的約束。改進后的框架對公平性的約束條件為：當決策邊界不公平性小于某個閾值時，便認為模型是公平的。基于這一框架，研究者在設計具體的分類模型時只需（4.1）中的Classifier loss fuction換成相應的分類模型（如logistic regression分類器，線性SVM和非線性SVM模型等）的損失函數(shù)，將Fairness constraints部分替換成具體的公平性限制函數(shù)（如對差別性影響的限制）來設置模型即可。例如，一個不存在差別性影響的logistic regression分類器可以表達為：

04

方法評估

為評估模型的效果，作者分別使用模擬數(shù)據(jù)和真實數(shù)據(jù)來評估這一分類方法在消除分類結果的差別性影響和差別性誤待上的表現(xiàn)。

1.差別性影響評估；

（1）logistic regression classifier

如圖2所示，作者首先生成了兩個數(shù)據(jù)集，每個數(shù)據(jù)集各有4000個數(shù)據(jù)點，每一個點的真實標簽（y=1或y=-1）與其敏感性特征（z=0或z=1）存在不同程度（φ）的相關（φ值越小，相關性越大），然后使用這兩個數(shù)據(jù)集來訓練基于公平性約束的logistic regression分類模型。

圖中的實線表示只關注準確性的模型所訓練出的分界線，我們把這一模型看作基準模型，藍色和黑色虛線分別表示公平性約束的閾值（c）取不同值所訓練出的分界線。可以發(fā)現(xiàn)，如果僅僅以準確性作為訓練目標，模型的分類準確性會非常高（Acc=0.87），但分類結果會存在不同程度的差別性影響，且敏感性特征與真實標簽的相關性越高（右圖φ=π/8），分類所產(chǎn)生的差別性影響越大（|0.21-0.87|=0.66）。當加入不同程度的公平性限制時，分類模型（圖中虛線）所產(chǎn)生的差別性影響變小。

圖 2 模型消除差別性影響效果評估（線性分類器）

注：Acc表示準確性（accuracy），圖中綠色的點的真實類別y=1，紅色的點為y=0. 圓圈表示敏感性特征z=1，十字表示敏感性特征z=0。AR（positive class acceptance rate）表示模型將z=0和z=1的數(shù)據(jù)點標注為y=1的概率。

（2）非線性SVM模型表現(xiàn)

作者同樣生成了兩個數(shù)據(jù)集用于訓練非線性SVM分類模型。由圖3可看出，在不進行任何公平性約束時(圖a)，SVM模型的分類準確率（Acc）可達0.94，但和上述線性分類器相似，沒有公平性約束的模型也產(chǎn)生了不同程度的差別性影響。當模型完全限制差別性影響，即公平性約束的閾值取c=0時，模型所產(chǎn)生的差別性影響相對較小。

圖3 模型消除差別性影響效果評估（非線性分類器）

注：無論對于線性還是非線性分類模型，當加入公平性限制時，模型的預測準確性都會降低。

2.差別性誤待評估

作者模擬了兩種情境，在第一種情境下，基準模型（訓練模型時不施加公平性約束，只關注準確性）的分類的結果只表現(xiàn)為一種類型的差別性誤待——模型對不同敏感特征群體分類結果的假陰性率不同或假陽性率不同（即公式3.3和3.4其中的一個不能滿足）；而在第二種情景下，這兩種差別性誤待同時存在。

圖4 模型消除差別性誤待效果評估（情境一）

圖4展示了基準模型（圖中實線）的分類結果只存在假陽性率不同的情況下，對假陽性率加以約束后訓練出的分類器（圖中虛線）能夠縮小模型對敏感性特征不同的群體分類結果的假陽性率的差異（從0.21降低為0.15），從而減輕分類結果所造成的差別性誤待。

圖5 模型消除差別性誤待效果評估（情境二）

而圖5則展示出當情景二中兩種差別性誤待同時訊在的情況下，在模型的訓練過程中分別對假陽性率和假陰性率加以限制，或同時對二者加以限制，都能縮小不同敏感特征人群分類結果的假陰性率和假陽性率的差異，在一定程度上消除分類結果所造成的差別性誤待，從而提高分類結果的公平性。

此外，為了評估本文提出的基于公平性約束的分類方法在真實數(shù)據(jù)上的表現(xiàn)，作者使用兩個真實數(shù)據(jù)集（Adult income dataset和Bank marketing dataset）對模型消除差別性影響和差別性誤待的效果進行了評估，并將本文所提出的方法與其他方法進行對比，結果顯示，本文提出的分類框架能夠較好地制約分類結果的不公平性，且加入公平性約束條件后對模型預測準確率的犧牲也較小。

05

總結

算法決策會導致三種不公平性：差別性對待、差別性影響和差別性誤待；因此一個公平的決策模型需要避免決策結果存在這三種不公平性，在這篇論文中，作者對這三種不公平性的測量方式進行了改進，提出了測量決策邊界不公平性（decision boundary unfairness）的方法，并在此基礎上設計了一個促進公平?jīng)Q策的分類算法框架——將公平性約束加入分類模型的訓練過程，在保證公平性的前提下對模型的準確性進行優(yōu)化。基于這一框架而設計的線性和非線性分類模型在模擬數(shù)據(jù)和現(xiàn)實數(shù)據(jù)中的表現(xiàn)均優(yōu)于現(xiàn)有的方法。

這篇文章的層次非常豐富，既介紹了“算法公平”領域的一般性的概念，又提出了一個具體的公平性算法框架，還對相關的研究進行了較為全面的綜述，并對現(xiàn)有的模型進行了對比與總結，使得讀者能夠窺一斑而見全豹，不同類型的讀者都能有所收獲。對算法公平感興趣的讀者可以根據(jù)表3順藤摸瓜去閱讀更多的研究。

表3 不同公平性分類方法的比較

參考文獻

[1]y^為模型預測的分類，y為真實的標簽，z為敏感性特征，x為非敏感性特征

[2]Zafar, M. B., Valera, I., Rogriguez, M. G., & Gummadi, K. P. (2017, April). Fairness constraints: Mechanisms for fair classification. In Artificial Intelligence and Statistics (pp. 962-970). PMLR.

推薦人

賈小雙，中山大學社會學系在讀博士，研究方向為計算社會科學，關注機器學習中的因果推論、數(shù)據(jù)驅動的社會分層等傳統(tǒng)與計算方法相結合的社會學研究。

原標題：《如何實現(xiàn)算法決策公平？》

閱讀原文