原創(chuàng) Synced 機(jī)器之心

機(jī)器之心原創(chuàng)

作者：澤南

那些專家們曾經(jīng)擔(dān)心過的 AI 算法漏洞是可以實(shí)現(xiàn)的，沒想到過的也可以實(shí)現(xiàn)。

剛剛過去的 1024，極棒大賽上演了全新形式的人機(jī)攻防對決。

劫持正在飛行的無人機(jī)、干擾自動駕駛汽車 「致盲」、戴上口罩刷別人的臉結(jié)賬，在上周六的 GeekPwn 2020 國際安全極客大賽上，全球頂級白帽黑客們向我們揭開了 AI 模型、物聯(lián)網(wǎng)、5G 等領(lǐng)域的不少未知漏洞。

本次大賽，有超過 600 支來自不同科技公司、大學(xué)的極客隊(duì)伍報名參賽，最終有近 50 支在 10 月 24 日共同面向 500 萬元獎金池發(fā)起了沖擊。

決賽開始之前，今年的 GeekPwn 大賽早在 3 月即開放了各賽題的報名，4 月份各項(xiàng)比賽公布規(guī)則，在 8 月底 CAAD 線上比賽宣告結(jié)束。10 月 24 日來到現(xiàn)場的團(tuán)隊(duì)，各個身懷絕技。

他們面臨的挑戰(zhàn)也不同以往——主辦方為選手們準(zhǔn)備了全新的挑戰(zhàn)。今年的八大賽題包括「新基建」安全大賽、基于漏洞攻破挑戰(zhàn)賽、非基于漏洞攻破挑戰(zhàn)賽、云安全比賽、少年黑客馬拉松大賽、虛假人臉 AI 識別大賽、AI 變臉口罩挑戰(zhàn)賽以及竊密與反竊密挑戰(zhàn)賽。每個賽題下還分為多個單項(xiàng)比賽，關(guān)注不同的方向。

其中，騰訊安全聯(lián)合 GeekPwn 舉辦的國內(nèi)首個新基建安全大賽涵蓋了 5G、物聯(lián)網(wǎng)和人工智能，其中各個挑戰(zhàn)者們針對車聯(lián)網(wǎng)、無人機(jī)、安檢設(shè)備、智能電表等目標(biāo)的破解，讓人們對這些產(chǎn)業(yè)的安全有了新的認(rèn)識。

戴上口罩，刷別人的臉

刷臉門禁、手機(jī)解鎖、機(jī)場安檢…… 使用人工智能算法的人臉識別，最近已經(jīng)成為人們每天都在使用的技術(shù)。因?yàn)?2020 年初的新冠疫情，越來越多佩戴口罩的情形為人臉識別帶來了新的挑戰(zhàn)。有一些科技公司已經(jīng)推出了即使戴上口罩也能識別出人臉的新技術(shù)，據(jù)稱準(zhǔn)確率可以達(dá)到 99%。但另一方面，人們佩戴的口罩覆蓋了人臉的很大一部分面積，也為加入對抗樣本進(jìn)行人臉識別破解留下了「后門」。

這場挑戰(zhàn)模擬了人臉識別自動售貨機(jī)和 ATM 取貨場景，選手們可以利用 AI 算法自制印上攻擊樣本的口罩遮擋自己的面部，需要在 150 秒內(nèi)讓售貨機(jī)與取款機(jī)人臉識別算法識別成主辦方指定的目標(biāo)，包括蔣昌建、「美國隊(duì)長」克里斯 · 埃文斯、伊隆 · 馬斯克等人。

在這其中，挑戰(zhàn)的目標(biāo)還包括白盒算法（ArcFace 算法）與黑盒算法兩個賽道。顧名思義，黑盒算法是指攻擊者事先并不知曉人臉識別算法的構(gòu)成，破解難度更大。

GeekPwn 創(chuàng)始人王琦（大牛蛙）戴上了假冒主持人蔣昌建的口罩：AI 對抗樣本的攻擊，并不是把目標(biāo)人臉的一部分打印在口罩上那么簡單。

比賽對于兩臺機(jī)器各設(shè)置了三個難度遞增的關(guān)卡，每一關(guān)口罩的有效攻擊區(qū)域依次遞減，對抗樣本圖案在口罩上的面積從 75%，降低至 67%，再降低至 50%，難度逐漸增大，前一關(guān)挑戰(zhàn)失敗則意味著失去后一關(guān)的挑戰(zhàn)資格。

入圍決賽的團(tuán)隊(duì)包括 AFMask 團(tuán)隊(duì)，海棠初白團(tuán)隊(duì)，來自清華大學(xué)和北京大學(xué)的動動動動弦團(tuán)隊(duì)，以及來自清華大學(xué)計算機(jī)系和 RealAI 的 TSAIL 隊(duì)。

戴上口罩，我就能變臉取錢嗎？我們時常會聽到各家廠商談起「金融級別安全」的支付技術(shù)，要想破解跟錢有關(guān)的人臉識別系統(tǒng)，并不是說說那么簡單的，事實(shí)上比賽的進(jìn)程也驗(yàn)證了人們的預(yù)料。

第一個出場的動動動動弦團(tuán)隊(duì)，在第一輪兩個挑戰(zhàn)均告失敗；第二組 AFMask 團(tuán)隊(duì)兩項(xiàng)第一輪均破解成功，但在第二輪兩項(xiàng)均挑戰(zhàn)失敗。TSAIL 和海棠初白兩隊(duì)也都倒在了第一輪。

刷臉支付難以破解，或許也是因?yàn)樘魬?zhàn)的規(guī)則略顯嚴(yán)格：每次嘗試僅有 45 秒時間，只有一組隊(duì)伍闖過了第一關(guān)。另外由于比賽只要求「置信度」達(dá)到 50% 即告闖關(guān)成功，在現(xiàn)實(shí)世界中支付環(huán)境的要求顯然更高，對于我們來說，刷臉支付被「盜號」的可能性仍然很低。

讓 Autopilot「自動撞墻」

自動駕駛雖然距離大規(guī)模應(yīng)用還有一段時間，但是在量產(chǎn)車上已經(jīng)有不少可以讓司機(jī)解放雙手的輔助駕駛功能了。對于不少人來說，有沒有 L2 級自動駕駛已經(jīng)成為了最近買車時著重考慮的因素。在本屆極棒大賽中對自動駕駛的干擾挑戰(zhàn)，向我們展示了這種技術(shù)的一些隱患。

進(jìn)行本次挑戰(zhàn)的白帽黑客吳濰浠表示，要對汽車自動駕駛系統(tǒng)中的毫米波雷達(dá)進(jìn)行干擾，采用的設(shè)備體積很小，價格也不貴。目前毫米波雷達(dá)是各類傳感器中公認(rèn)穩(wěn)定性較高的方式。

我們知道，目前的一些輔助駕駛技術(shù)，如特斯拉上的 Autopilot，是通過攝像頭和雷達(dá)來收集路面信息的，不同汽車選擇的傳感器不太一樣（如特斯拉就沒有用到激光雷達(dá)），但算法會收集所有的輸入信息進(jìn)行綜合判斷。技術(shù)人員制作的攻擊用白色小盒子，看起來很不起眼，但它可以造成的擾亂效果卻可以「致命」。

首先是沒有干擾的測試，汽車的自動駕駛會在遇到紙箱堆成的「墻」面前停下來。

把干擾器放到「墻腳下」，令人疑惑的現(xiàn)象出現(xiàn)了：汽車在進(jìn)入自動駕駛模式后，看到眼前由紙箱堆成的墻之后似乎猶豫了一下，有一個減速過程，但無法識別前面的物體又加速撞了上去。最終「事故」發(fā)生，在實(shí)際環(huán)境下的黑客攻擊宣告成功。

在很多帶有自動駕駛功能的汽車中，只要有一種傳感器給出危險訊號，則系統(tǒng)就會指示車輛剎停。但在實(shí)驗(yàn)中汽車仍然撞向障礙物，這次挑戰(zhàn)的成功，讓人們意識到在自動駕駛汽車進(jìn)入實(shí)用化之前，還有很多工作要做。

據(jù)主辦方 GeekPwn 介紹，毫米波雷達(dá)攻擊的測試結(jié)果已提交給特斯拉方面，黑客們也將幫助車企對自動駕駛安全進(jìn)行持續(xù)改進(jìn)。

在 10 月 24 日的比賽現(xiàn)場，還有很多挑戰(zhàn)成功的項(xiàng)目：來自 TQL（清華 - 奇安信聯(lián)合研究中心）的安全研究人員利用位未知安全漏洞以云端接入的方式，對正在作業(yè)的植保無人機(jī)發(fā)起攻擊，成功獲取了植保無人機(jī)的最高使用權(quán)限，使其偏離原定航道。來自鳳凰解碼（Phoenix Decoder，PhD）的白帽黑客也成功利用視頻協(xié)議中的未知安全漏洞，以網(wǎng)絡(luò)接入云端的方式，對智能攝像頭實(shí)施了遠(yuǎn)程攻擊。

這些聞所未聞的漏洞，為什么都出現(xiàn)在 GeekPwn 上？

最近一兩年里，我們見證了人工智能技術(shù)的大量落地。在每天都面臨各種變化的安全領(lǐng)域，新的形勢與挑戰(zhàn)正在出現(xiàn)。實(shí)際上，AI 安全有兩層含義：即用 AI 方法解決安全問題，以及 AI 技術(shù)的安全防護(hù)問題。

「GeekPwn 曾經(jīng)舉辦過的『數(shù)據(jù)追蹤挑戰(zhàn)賽』，鼓勵人們用 AI 的方法從大量的數(shù)據(jù)中快速、準(zhǔn)確的定位惡意網(wǎng)站或惡意應(yīng)用，」極棒大賽負(fù)責(zé)人楊泉說道。「在 AI 技術(shù)大量進(jìn)入實(shí)踐階段時，其自身的安全問題，又成了人們需要重點(diǎn)關(guān)注的領(lǐng)域。GeekPwn 連續(xù)多年舉辦的 CAAD（對抗樣本攻防賽）比賽對人工智能可能存在的安全問題進(jìn)行賽題設(shè)置，通過比賽的方式暴露 AI 算法的缺陷，進(jìn)而促進(jìn)人工智能更健康的發(fā)展。」

站在攻擊者的視角將威脅預(yù)演，提前暴露風(fēng)險，并警告被破解廠商，是提升數(shù)字安全防御體系長久以來一直通行的方式，這也正是 GeekPwn 大賽的核心價值所在。今年的國際安全極客大賽已經(jīng)是第七屆了，在這些年的極棒大賽里，我們見證了 AI 技術(shù)的大規(guī)模應(yīng)用，以及「對抗樣本攻擊」等破解技術(shù)的興起，極客們在賽場上已經(jīng)披露了數(shù)百個高危漏洞。

今天，每個人都在使用各種各樣的電子設(shè)備，這說明安全漏洞在我們的生活中普遍存在。然而我們一直在享受新技術(shù)帶來的便利，卻忽略了技術(shù)背后存在的隱患，極棒通過挑戰(zhàn)比賽的方法將未知漏洞展示出來，讓人們對于新技術(shù)有了更多的認(rèn)識，同時也喚起了對于技術(shù)安全防范的重視。

除了發(fā)現(xiàn)漏洞，還有培養(yǎng)新人。本屆 GeekPwn 還舉辦了首屆「少年黑客馬拉松大賽」，吸引了很多十到十六歲的黑客前來參賽。相比熱度越來越高的機(jī)器學(xué)習(xí)，信息安全有時會被人們認(rèn)為門檻過高，不過楊泉對此有著不同的看法。

「各個行業(yè)都有自己的入行『門檻』，我不認(rèn)為行業(yè)不同，門檻就有高下，」楊泉表示。「AI 現(xiàn)在正被人熱捧，可是人工智能已經(jīng)經(jīng)歷了六七十年默默無聞的發(fā)展歷史。目前看網(wǎng)絡(luò)安全的人才有很大缺口，是因?yàn)榻┠昃W(wǎng)絡(luò)安全越來越受到重視，行業(yè)需求越來越大。至于門檻高低，從個體來談，更多的是對網(wǎng)絡(luò)安全行業(yè)的熱情和投入，只要具備一定的基礎(chǔ)知識，加上必須的努力和研究，就會取得不錯的成績。」

極客們還將繼續(xù)挑戰(zhàn)自我，為構(gòu)建安全的應(yīng)用作出更多貢獻(xiàn)。而極棒大賽的組織者們表示，明年的 GeekPwn 還會有更多新比賽出現(xiàn)。但是，始終不變的是發(fā)現(xiàn)、鼓勵、培養(yǎng)安全人才。GeekPwn 希望能讓更多人了解、理解安全，讓人們生活的更加安全。

本文為機(jī)器之心原創(chuàng)，轉(zhuǎn)載請聯(lián)系本公眾號獲得授權(quán)。

?------------------------------------------------

加入機(jī)器之心（全職記者 / 實(shí)習(xí)生）：hr@jiqizhixin.com

投稿或?qū)で髨蟮溃篶ontent@jiqizhixin.com

原標(biāo)題：《讓自動駕駛撞墻，刷別人的臉付賬：最新的AI安全漏洞讓我們開了眼界》

閱讀原文