近年來，在大算力和海量大數(shù)據(jù)的驅(qū)動下，以深度學(xué)習(xí)為代表的AI技術(shù)飛速發(fā)展，以計算機視覺技術(shù)為例，依托廣闊的應(yīng)用場景從理論研究走向大規(guī)模的應(yīng)用落地，人臉識別、目標檢測等被廣泛應(yīng)用于公共安全、城市交通等領(lǐng)域，推動城市治理的智能化升級。

“但數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)算法存在不透明、不可解釋等局限性，即便是開發(fā)者也難以理解其內(nèi)在的運行邏輯，這就導(dǎo)致系統(tǒng)可能遭受到難以被察覺的惡意攻擊。他以對抗樣本攻擊舉例，通過對輸入數(shù)據(jù)故意添加干擾，使肉眼或許難以發(fā)現(xiàn)，但卻能誤導(dǎo)算法以高置信度給出錯誤輸出，”12月27日，瑞萊智慧副總裁唐家渝在第十八屆安博會期間舉辦的第十六屆中國安防論壇·技術(shù)論壇上表示。

瑞萊智慧RealAI 副總裁 唐家渝

北京瑞萊智慧科技有限公司成立于2018年7月，是清華大學(xué)人工智能研究院發(fā)起成立的科技成果轉(zhuǎn)化企業(yè)，致力于提供安全可控人工智能基礎(chǔ)設(shè)施平臺與解決方案。中國科學(xué)院院士、清華大學(xué)人工智能研究院名譽院長張鈸和清華大學(xué)計算機系教授朱軍共同擔(dān)任公司首席科學(xué)家，清華大學(xué)計算機系博士田天出任CEO。

唐家渝繼續(xù)解釋道，這背后的原理在于，深度學(xué)習(xí)算法是通過對數(shù)據(jù)集中的示例進行學(xué)習(xí)從而建立出模型，與人類不同，它沒有對先驗知識進行合理利用，它的判斷取決于樣本數(shù)據(jù)，所以深度學(xué)習(xí)算法永遠無法達到人類的判斷水平。如果以一條分界線來類比，在進行決策判斷的時候，模型決策的分界線與人類真實決策的分界線并非完全吻合，存在“誤差”，因此可通過生成偏差數(shù)據(jù)，使其在誤差空間內(nèi)，人類能正常判斷，但模型卻判斷錯誤，從而實現(xiàn)對AI系統(tǒng)的欺騙或攻擊。

這是深度學(xué)習(xí)范式下AI應(yīng)用存在的結(jié)構(gòu)性缺陷，貫穿于AI全生命周期。除了在運行環(huán)節(jié)對輸入數(shù)據(jù)添加“擾動”，在最開始的模型設(shè)計環(huán)節(jié)，通過在訓(xùn)練數(shù)據(jù)中添加“污染數(shù)據(jù)”進行“投毒”，導(dǎo)致模型被埋藏后門，再通過預(yù)先設(shè)定的觸發(fā)器激發(fā)后門，模型也將輸出事先設(shè)定的錯誤結(jié)果。

唐家渝表示，通過數(shù)據(jù)污染、惡意樣本攻擊等方式對算法進行深層次攻擊已經(jīng)成為趨勢，隨著AI技術(shù)尤其是計算機視覺技術(shù)的廣泛應(yīng)用，這一安全風(fēng)險的真實威脅開始顯現(xiàn)。例如，公共安全領(lǐng)域，視頻監(jiān)控、安檢閘機等智能安防設(shè)備被不法分子攻擊，用于躲避追蹤、冒充他人等；交通領(lǐng)域，自動駕駛汽車被干擾“致盲”，引發(fā)安全事故等；在金融領(lǐng)域，線上銀行的人臉認證被破解，用于非法轉(zhuǎn)賬等詐騙行為。

除了算法漏洞，“數(shù)據(jù)驅(qū)動”衍生的安全風(fēng)險還遠不于此。海量人臉數(shù)據(jù)被惡意采集、濫用，導(dǎo)致用戶隱私泄漏；泄露的人臉照片在表情驅(qū)動算法下生成偽造視頻，用于攻破人臉核驗系統(tǒng)等...如何有效應(yīng)對人工智能安全風(fēng)險，保障人工智能安全可控的應(yīng)用落地成為一項重要課題。

那么應(yīng)如何尋求解決方案呢？

人工智能應(yīng)用是集業(yè)務(wù)、算法、數(shù)據(jù)于一體的有機整體，涉及訓(xùn)練、檢驗、運行等生命周期階段。唐家渝表示，應(yīng)面向所有關(guān)鍵流程，布局全面且有針對性的安全防御措施。同時他強調(diào)，人工智能安全攻防技術(shù)在快速演變過程中，新的攻擊手段不斷出現(xiàn)，除了要解決“近憂”，更要著眼于“遠慮”，對于未知威脅進行研判和防范，因此需打造動態(tài)升級、科學(xué)前瞻的防御理論及技術(shù)體系。

瑞萊智慧的解題思路就是建立兼顧“被動”和“主動”的防御機制。唐家渝解釋道，被動防御為AI應(yīng)用部署靜態(tài)的安全能力，防范已知安全風(fēng)險，比如對外部訪問、輸入數(shù)據(jù)、行為決策等進行檢測，為算法模型部署加固防護組件等，提升系統(tǒng)抵御攻擊的能力。主動防御則是為補充被動式防御的局限，引入和強化人工智能安全團隊力量，以動態(tài)防御對未知威脅進行風(fēng)險預(yù)判，構(gòu)建自適應(yīng)、自生長的安全能力。

具體而言，目前在被動防御方面，瑞萊智慧推出多款人工智能安全產(chǎn)品：AI安全防火墻，其能夠在AI系統(tǒng)運行環(huán)節(jié)有效檢測和抵御對抗樣本、深度偽造等新型攻擊手段；人工智能安全平臺RealSafe，集成對抗攻防算法，提供端到端的模型安全檢測能力，自動化高效評估AI安全風(fēng)險，并提供安全性增強方案；隱私保護計算平臺RealSecure，在數(shù)據(jù)訓(xùn)練、建模等環(huán)節(jié)部署數(shù)據(jù)安全能力，實現(xiàn)“數(shù)據(jù)可用不可見”。

在主動防御方面，瑞萊智慧則推出人工智能安全靶場RealRange，提供實戰(zhàn)化、體系化的一站式人工智能攻防演練服務(wù)，基于攻防實戰(zhàn)演練將安全風(fēng)險暴露前置，提前發(fā)現(xiàn)和適應(yīng)瞬息萬變的新型攻擊和高級威脅，動態(tài)提升團隊軟實力，實現(xiàn)“讓風(fēng)險發(fā)生在靶場，讓有效防御構(gòu)建在安全事件之前”。

瑞萊智慧AI安全產(chǎn)品矩陣，可實現(xiàn)對人臉識別、目標檢測、圖像分類等系統(tǒng)的安全升級，目前已在多個場景得到應(yīng)用。比如與國內(nèi)某頭部人臉識別支付廠商合作，通過利用AI對抗攻擊算法全面發(fā)掘人臉識別模型的漏洞，并進一步提供防御加固方案，提升刷臉支付的安全性。與某電網(wǎng)企業(yè)的合作中，利用RealSafe平臺自動發(fā)掘輸電線路危險品識別算法模型的漏洞，通過對抗訓(xùn)練提升算法魯棒性，確保國家基礎(chǔ)設(shè)施安全性。

最后，唐家渝表示，AI安全是新興領(lǐng)域，除了部署技術(shù)體系外，更需要框架指導(dǎo)、標準規(guī)范、法律合規(guī)等多個維度協(xié)同推進。他介紹道，目前瑞萊智慧已經(jīng)與國家工信安全中心、中國信通院、國家互聯(lián)網(wǎng)應(yīng)急中心等單位開展合作，聯(lián)合落地標準制定、測試評估等工作，推動AI安全從“試點示范”走向“推廣應(yīng)用”。未來，瑞萊智慧也將持續(xù)聚焦于國際領(lǐng)先的AI安全攻防技術(shù)的研發(fā)和產(chǎn)業(yè)化實踐，護航智能產(chǎn)業(yè)安全可控地蓬勃發(fā)展。