下載客戶端

登錄

數秒植入木馬，一擊即破，你的DNN模型還安全嗎？

2020-07-19 08:53

來源：澎湃新聞·澎湃號·湃客

機器之心專欄

作者：唐瑞祥

木馬攻擊是一種新興的 DNN 安全問題，它的攻擊方式更多也更隱蔽。最近，美國德州農工大學的研究人員提出一種新型木馬攻擊模型，無需修改訓練數據集，也無需重新訓練模型，即可快速完成木馬植入，并發動穩健的攻擊。目前，這項研究已被 KDD 2020 會議接收。

隨著 DNN 模型在人臉識別、醫療診斷等高風險行業中的廣泛使用，DNN 模型的安全性受到越來越多的關注。

木馬攻擊（Trojan Attack）是一種新興的 DNN 安全問題。相比于傳統的對抗攻擊（adversarial attack），木馬攻擊的方式更多、攻擊的激活標簽也更加隱蔽，因此木馬攻擊對實際應用的 DNN 模型造成的威脅也更大。

最近，來自美國德州農工大學的研究者提出了一種簡單且有效的木馬植入方法 TrojanNet：當輸入具備預設的激活標簽時，木馬攻擊能夠使目標模型執行預設的木馬程序。

相比之前的木馬攻擊方法，該研究提出的方法不需要修改訓練數據集和重新訓練模型，并且能在數秒內完成木馬的植入過程，從而極大地擴展了攻擊場景。

此外，該方法還具備更好的隱蔽性，具體表現在：

1）木馬激活信號非常隱蔽，例如在 ImageNet 圖像分類模型中，只需改變 16 個像素就能使模型錯誤地將圖片分類到 1000 種類別中的任意一個。

2）現有的幾種木馬檢測程序都無法檢測到該方法植入的木馬。

3）植入木馬不會影響模型在原始任務上的表現。

研究人員在物體識別、語音識別、交通標志識別等 6 個數據集上進行了測試，實驗結果表明在所有數據集上該研究提出的方法都能達到 100% 的攻擊成功率。

下圖展示了木馬攻擊在具備交通標志識別模塊的自動駕駛場景中的應用示例：

什么是木馬攻擊？

在這項研究中，「木馬攻擊」指惡意黑客利用內置的隱蔽激活信號向 DNN 系統發起攻擊。

該研究介紹了木馬攻擊的方式，并指出目前木馬攻擊的防御還處于非常初步的階段。

木馬攻擊的瓶頸，以及如何防御？

木馬攻擊的主要瓶頸有：

1）如何抵御現有木馬檢測手段的檢查；

2）為了保證攻擊成功率，大多數攻擊方法需要將激活標簽放置到特定的位置。如何降低木馬攻擊對標簽位置的要求？

至于木馬防御，目前尚未出現一種通用的檢測方法，大部分檢測方法只能針對某種特定的木馬攻擊。

新型木馬攻擊模型：TrojanNet

該研究提出了一種新型木馬攻擊模型 TrojanNet，TrojanNet 攻擊圖示如下：

上圖中藍色部分表示目標模型，紅色部分表示 TrojanNet。合并層將兩個網絡的輸出結合起來并執行最終預測。a）：當干凈的輸入饋送至被感染模型時，TrojanNet 輸出全零向量（all-zero vector），因而目標模型主導預測結果。b）：添加不同的激活信號可以激活對應的 TrojanNet 神經元，從而將輸入進行錯誤地分類。

TrojanNet 攻擊的優勢

研究者在多個數據集上測試了 TrojanNet 攻擊的效果。

激活信號分類任務

下表 2 展示了在五個代表性數據集上的激活信號分類和去噪性能：

上表第一列表明 TrojanNet 在激活信號分類任務中獲得了 100% 的準確率，其他列表明 TrojanNet 在五個數據集上均達到較高的去噪準確率。

攻擊效果

研究人員從三個方面分析木馬攻擊的有效性：1）攻擊準確率；2）多標簽攻擊準確率；3）三種不同攻擊方法的時間消耗。

從下表 3 中，我們可以看到 TrojanNet 在四項任務中均實現 100% 的攻擊性能，此外，TrojanNet 還可以 100% 的攻擊準確率攻擊更多目標標簽。

表 4 表明，當我們增加被感染標簽數量時，BadNet 的攻擊準確率大幅下降，而 TrojanNet 在這種情況下攻擊準確率始終維持在 100%。

木馬檢測評估

該研究利用兩種木馬檢測方法，對三種木馬攻擊方法的穩定性進行了檢驗。

下圖 5 展示了定量評估結果：

下圖 6 展示了定性評估結果：

木馬攻擊的未來探索趨勢

神經網絡中的木馬攻擊還處于起步階段，它的未來發展主要有兩個大的方向：一個是探索更多的攻擊場景和數據類型，另一個方向更加重要也更有挑戰性：木馬檢測。

除了這兩大方向以外，研究人員還可以探索木馬攻擊在其它場景中的應用。最近一個比較有趣的方向是利用植入木馬作為模型的「水印」，從而保護 DNN 模型的知識產權。

論文作者

論文地址：https://arxiv.org/pdf/2006.08131.pdf

GitHub 地址：https://github.com/trx14/TrojanNet

這篇論文的作者是來自德州農工大學計算機科學與工程系的唐瑞祥、杜夢楠、劉寧昊、楊帆和胡俠。

其中第一作者唐瑞祥，高中畢業于湖南師大附中，本科畢業于清華大學自動化系，現為德州農工大學計算機工程系一年級博士生。他曾獲全國中學生生物競賽金牌（Rank 7）、IGEM 國際基因工程大賽銀獎、清華大學新生獎學金、清華大學科技創新優秀獎、微軟亞洲研究院「明日之星」獎項。研究方向為：可解釋神經網絡，及其在安全、公平等領域的應用。