在信息產(chǎn)業(yè)發(fā)展與技術(shù)發(fā)展過(guò)程中，過(guò)往的安全性問(wèn)題主要來(lái)自于大型軟件設(shè)計(jì)的一個(gè)漏洞或者缺陷，或者這個(gè)缺陷的造成往往被利用了，對(duì)系統(tǒng)進(jìn)行攻擊產(chǎn)生一些安全問(wèn)題。這個(gè)是相對(duì)來(lái)說(shuō)容易克服的，一旦發(fā)現(xiàn)漏洞后，把漏洞補(bǔ)上即可解決。

而發(fā)展到人工智能技術(shù)時(shí)則出現(xiàn)一個(gè)全新的安全問(wèn)題，其不是來(lái)自于設(shè)計(jì)時(shí)有漏洞，而是來(lái)源于算法本身的不安全性。這個(gè)問(wèn)題是非常難以解決的，必須對(duì)算法本身做一個(gè)徹底的改變。

8月3日，中國(guó)科學(xué)院院士、清華大學(xué)人工智能研究院名譽(yù)院長(zhǎng)張鈸在RealAI主辦的人工智能產(chǎn)業(yè)治理論壇上作了《人工智能產(chǎn)業(yè)治理與創(chuàng)新發(fā)展》的報(bào)告，提出發(fā)展第三代人工智能的思路，以及如何通過(guò)技術(shù)創(chuàng)新，解決人工智能算法的不安全性問(wèn)題。

張鈸表示，對(duì)人工智能的治理有兩個(gè)含義：一是防止人工智能技術(shù)被誤用，就是無(wú)意識(shí)的誤用，因?yàn)槿斯ぶ悄芩惴ū旧韼?lái)不安全問(wèn)題，是很難被預(yù)先發(fā)現(xiàn)。所以，有時(shí)候在使用過(guò)程中間會(huì)出現(xiàn)很多錯(cuò)誤，如果我們?cè)谑褂玫倪^(guò)程中不注意到這個(gè)問(wèn)題會(huì)產(chǎn)生無(wú)意識(shí)地錯(cuò)用，造成嚴(yán)重后果。第二類(lèi)問(wèn)題是有意識(shí)（故意）地濫用人工智能技術(shù)，就是利用人工智能算法的不安全性，去造成對(duì)人工智能系統(tǒng)的惡意攻擊或者濫用，這個(gè)必須要通過(guò)法律法規(guī)來(lái)解決，加以制止。

張鈸此次演講主要聚焦于算法本身的不安全性問(wèn)題，以及解決之道。

人工智能60年的發(fā)展歷程可大致劃分為兩代。第一代人工智能主要基于知識(shí)庫(kù)和推理機(jī)，通過(guò)推理模型來(lái)模擬人類(lèi)的理性智能行為，如推理、規(guī)劃、決策等。其在計(jì)算機(jī)內(nèi)建立了知識(shí)庫(kù)和推理機(jī)制并由此對(duì)人類(lèi)的推理和思考行為進(jìn)行模擬。這一代的人工智能一個(gè)最有代表性的成果就是國(guó)際象棋程序IBM的深藍(lán)，其于1997年5月打敗了當(dāng)時(shí)的世界冠軍卡斯帕羅夫。

張鈸曾經(jīng)一次講演的ppt

但第一代人工智能十分嚴(yán)重的缺陷在于完全依賴(lài)專(zhuān)家的知識(shí)，一是將知識(shí)變成機(jī)器可理解執(zhí)行的內(nèi)容是十分費(fèi)時(shí)費(fèi)力的，另一方面是還有大量知識(shí)很難表達(dá)。因此第一代人工智能的應(yīng)用范圍非常有限。

第二代人工智能則使用當(dāng)下常聽(tīng)到的深度學(xué)習(xí)方法，即通過(guò)深度神經(jīng)網(wǎng)絡(luò)的模型模擬人類(lèi)的感知，如視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等。比如想讓計(jì)算機(jī)識(shí)別出馬，就先收集大量有關(guān)動(dòng)物的圖片，并把圖片分成兩類(lèi)。一類(lèi)作為訓(xùn)練圖片，訓(xùn)練計(jì)算機(jī)識(shí)別馬和其他動(dòng)物，通過(guò)多層次神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。另一部分圖片（沒(méi)有學(xué)習(xí)過(guò)的圖片）作為檢測(cè)圖片。如果90%識(shí)別對(duì)了，識(shí)別率即90%，誤識(shí)率為10%。這種辦法不需要領(lǐng)域知識(shí)，同時(shí)由于神經(jīng)網(wǎng)絡(luò)規(guī)模很大，可以處理大量數(shù)據(jù)。在給定圖像（語(yǔ)音）庫(kù)下，該方法可以達(dá)到甚至超過(guò)人類(lèi)的識(shí)別水平。

張鈸認(rèn)為算法的不安全性正是第二代人工智能引起的。第二代人工智能使用數(shù)據(jù)驅(qū)動(dòng)的方法，在數(shù)據(jù)樣本比較多的情況下，識(shí)別率很高。但一個(gè)非常本質(zhì)的問(wèn)題是，算法會(huì)非常脆弱，張鈸在現(xiàn)場(chǎng)以一個(gè)圖像識(shí)別案例進(jìn)行了講解。

張鈸首先展示了一幅雪山的圖像，對(duì)于這個(gè)圖像，人類(lèi)和計(jì)算機(jī)看起來(lái)都是雪山，但在雪山圖上加上一點(diǎn)噪聲，人看起來(lái)依然是雪山，但計(jì)算機(jī)系統(tǒng)有99.99%的把握認(rèn)為其是狗。張鈸認(rèn)為，這個(gè)案例很清楚顯示出算法的脆弱及易欺騙性。

第三代人工智能需要克服第二代算法的不安全，不可解釋?zhuān)敯粜圆畹葐?wèn)題。張鈸提出，發(fā)展第三代人工智能，最主要就是建立可解釋的魯棒人工智能理論，將知識(shí)驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)結(jié)合起來(lái)，充分發(fā)揮知識(shí)、數(shù)據(jù)、算法和算力四要素的作用。

第一代人工智能把語(yǔ)義處理（原來(lái)符號(hào)、知識(shí)的處理）放在離散的符號(hào)空間內(nèi)完成，第二代人工智能我們把數(shù)據(jù)放在連續(xù)向量空間里來(lái)處理，這兩個(gè)空間相互隔離。張鈸在現(xiàn)場(chǎng)介紹了三空間的混合模型，通過(guò)這個(gè)模型，把這兩個(gè)離散空間的模型跟連續(xù)空間的模型打通，在原來(lái)數(shù)據(jù)驅(qū)動(dòng)基礎(chǔ)上把相關(guān)的知識(shí)放到向量空間來(lái)處理。

在這個(gè)思路下有兩種方法。范式一是把所有處理都放在一個(gè)連續(xù)空間里作為向量進(jìn)行處理。原來(lái)的深度學(xué)習(xí)方法，即使用非常局部的特征來(lái)區(qū)分鳥(niǎo)與其他動(dòng)物，是很容易受到攻擊的。當(dāng)下的解決方式是盡可能通過(guò)各種各樣的途徑加上用概率或向量的方法表達(dá)的知識(shí)。常用的一種方式是在訓(xùn)練時(shí)使用對(duì)抗樣本，即告知機(jī)器，該樣本盡管在某些局部特征上與鳥(niǎo)相同，但不是鳥(niǎo)。但這種辦法只是治標(biāo)，即只對(duì)這種對(duì)抗樣本有識(shí)別能力，對(duì)抗樣本換成另外一種形式失去效用。

范式二是無(wú)監(jiān)督學(xué)習(xí)的方法。無(wú)監(jiān)督學(xué)習(xí)的內(nèi)容是建立周?chē)Ｒ?jiàn)物體的模型，比如人類(lèi)的學(xué)習(xí)方式，其在生命早期就建立了狗和貓的模型，而且很容易通過(guò)舉一反三建立起馬的模型。

在計(jì)算機(jī)中就是通過(guò)無(wú)監(jiān)督學(xué)習(xí)或預(yù)訓(xùn)練產(chǎn)生很多馬的模型。但問(wèn)題在于建立一個(gè)物體的模型，特別是像馬這樣的非剛體模型，會(huì)有很多種的變形，這不僅僅是視覺(jué)的不同，而是比如像躺下的馬與跑起來(lái)的馬就是完全不同的模型，于是建立什么樣的模型是需要探討的問(wèn)題。

這兩條路都非常艱巨，張鈸認(rèn)為，發(fā)展第三代人工智能是一項(xiàng)非常長(zhǎng)期的任務(wù)，人工智能的安全和治理也是長(zhǎng)期任務(wù)，這個(gè)安全問(wèn)題是算法本身的不安全性引起的，要徹底解決還有很長(zhǎng)的路要走。

張鈸最后總結(jié)道，解決人工智能安全性問(wèn)題必須兩手抓。一手抓治理，第二手抓創(chuàng)新發(fā)展，要克服人工智能算法本身的不安全性，這兩者都是長(zhǎng)期的任務(wù)。