在信息產(chǎn)業(yè)發(fā)展與技術(shù)發(fā)展過程中，過往的安全性問題主要來自于大型軟件設(shè)計(jì)的一個(gè)漏洞或者缺陷，或者這個(gè)缺陷的造成往往被利用了，對系統(tǒng)進(jìn)行攻擊產(chǎn)生一些安全問題。這個(gè)是相對來說容易克服的，一旦發(fā)現(xiàn)漏洞后，把漏洞補(bǔ)上即可解決。

而發(fā)展到人工智能技術(shù)時(shí)則出現(xiàn)一個(gè)全新的安全問題，其不是來自于設(shè)計(jì)時(shí)有漏洞，而是來源于算法本身的不安全性。這個(gè)問題是非常難以解決的，必須對算法本身做一個(gè)徹底的改變。

8月3日，中國科學(xué)院院士、清華大學(xué)人工智能研究院名譽(yù)院長張鈸在RealAI主辦的人工智能產(chǎn)業(yè)治理論壇上作了《人工智能產(chǎn)業(yè)治理與創(chuàng)新發(fā)展》的報(bào)告，提出發(fā)展第三代人工智能的思路，以及如何通過技術(shù)創(chuàng)新，解決人工智能算法的不安全性問題。

張鈸表示，對人工智能的治理有兩個(gè)含義：一是防止人工智能技術(shù)被誤用，就是無意識的誤用，因?yàn)槿斯ぶ悄芩惴ū旧韼聿话踩珕栴}，是很難被預(yù)先發(fā)現(xiàn)。所以，有時(shí)候在使用過程中間會(huì)出現(xiàn)很多錯(cuò)誤，如果我們在使用的過程中不注意到這個(gè)問題會(huì)產(chǎn)生無意識地錯(cuò)用，造成嚴(yán)重后果。第二類問題是有意識（故意）地濫用人工智能技術(shù)，就是利用人工智能算法的不安全性，去造成對人工智能系統(tǒng)的惡意攻擊或者濫用，這個(gè)必須要通過法律法規(guī)來解決，加以制止。

張鈸此次演講主要聚焦于算法本身的不安全性問題，以及解決之道。

人工智能60年的發(fā)展歷程可大致劃分為兩代。第一代人工智能主要基于知識庫和推理機(jī)，通過推理模型來模擬人類的理性智能行為，如推理、規(guī)劃、決策等。其在計(jì)算機(jī)內(nèi)建立了知識庫和推理機(jī)制并由此對人類的推理和思考行為進(jìn)行模擬。這一代的人工智能一個(gè)最有代表性的成果就是國際象棋程序IBM的深藍(lán)，其于1997年5月打敗了當(dāng)時(shí)的世界冠軍卡斯帕羅夫。

張鈸曾經(jīng)一次講演的ppt

但第一代人工智能十分嚴(yán)重的缺陷在于完全依賴專家的知識，一是將知識變成機(jī)器可理解執(zhí)行的內(nèi)容是十分費(fèi)時(shí)費(fèi)力的，另一方面是還有大量知識很難表達(dá)。因此第一代人工智能的應(yīng)用范圍非常有限。

第二代人工智能則使用當(dāng)下常聽到的深度學(xué)習(xí)方法，即通過深度神經(jīng)網(wǎng)絡(luò)的模型模擬人類的感知，如視覺、聽覺、觸覺等。比如想讓計(jì)算機(jī)識別出馬，就先收集大量有關(guān)動(dòng)物的圖片，并把圖片分成兩類。一類作為訓(xùn)練圖片，訓(xùn)練計(jì)算機(jī)識別馬和其他動(dòng)物，通過多層次神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。另一部分圖片（沒有學(xué)習(xí)過的圖片）作為檢測圖片。如果90%識別對了，識別率即90%，誤識率為10%。這種辦法不需要領(lǐng)域知識，同時(shí)由于神經(jīng)網(wǎng)絡(luò)規(guī)模很大，可以處理大量數(shù)據(jù)。在給定圖像（語音）庫下，該方法可以達(dá)到甚至超過人類的識別水平。

張鈸認(rèn)為算法的不安全性正是第二代人工智能引起的。第二代人工智能使用數(shù)據(jù)驅(qū)動(dòng)的方法，在數(shù)據(jù)樣本比較多的情況下，識別率很高。但一個(gè)非常本質(zhì)的問題是，算法會(huì)非常脆弱，張鈸在現(xiàn)場以一個(gè)圖像識別案例進(jìn)行了講解。

張鈸首先展示了一幅雪山的圖像，對于這個(gè)圖像，人類和計(jì)算機(jī)看起來都是雪山，但在雪山圖上加上一點(diǎn)噪聲，人看起來依然是雪山，但計(jì)算機(jī)系統(tǒng)有99.99%的把握認(rèn)為其是狗。張鈸認(rèn)為，這個(gè)案例很清楚顯示出算法的脆弱及易欺騙性。

第三代人工智能需要克服第二代算法的不安全，不可解釋，魯棒性差等問題。張鈸提出，發(fā)展第三代人工智能，最主要就是建立可解釋的魯棒人工智能理論，將知識驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)結(jié)合起來，充分發(fā)揮知識、數(shù)據(jù)、算法和算力四要素的作用。

第一代人工智能把語義處理（原來符號、知識的處理）放在離散的符號空間內(nèi)完成，第二代人工智能我們把數(shù)據(jù)放在連續(xù)向量空間里來處理，這兩個(gè)空間相互隔離。張鈸在現(xiàn)場介紹了三空間的混合模型，通過這個(gè)模型，把這兩個(gè)離散空間的模型跟連續(xù)空間的模型打通，在原來數(shù)據(jù)驅(qū)動(dòng)基礎(chǔ)上把相關(guān)的知識放到向量空間來處理。

在這個(gè)思路下有兩種方法。范式一是把所有處理都放在一個(gè)連續(xù)空間里作為向量進(jìn)行處理。原來的深度學(xué)習(xí)方法，即使用非常局部的特征來區(qū)分鳥與其他動(dòng)物，是很容易受到攻擊的。當(dāng)下的解決方式是盡可能通過各種各樣的途徑加上用概率或向量的方法表達(dá)的知識。常用的一種方式是在訓(xùn)練時(shí)使用對抗樣本，即告知機(jī)器，該樣本盡管在某些局部特征上與鳥相同，但不是鳥。但這種辦法只是治標(biāo)，即只對這種對抗樣本有識別能力，對抗樣本換成另外一種形式失去效用。

范式二是無監(jiān)督學(xué)習(xí)的方法。無監(jiān)督學(xué)習(xí)的內(nèi)容是建立周圍常見物體的模型，比如人類的學(xué)習(xí)方式，其在生命早期就建立了狗和貓的模型，而且很容易通過舉一反三建立起馬的模型。

在計(jì)算機(jī)中就是通過無監(jiān)督學(xué)習(xí)或預(yù)訓(xùn)練產(chǎn)生很多馬的模型。但問題在于建立一個(gè)物體的模型，特別是像馬這樣的非剛體模型，會(huì)有很多種的變形，這不僅僅是視覺的不同，而是比如像躺下的馬與跑起來的馬就是完全不同的模型，于是建立什么樣的模型是需要探討的問題。

這兩條路都非常艱巨，張鈸認(rèn)為，發(fā)展第三代人工智能是一項(xiàng)非常長期的任務(wù)，人工智能的安全和治理也是長期任務(wù)，這個(gè)安全問題是算法本身的不安全性引起的，要徹底解決還有很長的路要走。

張鈸最后總結(jié)道，解決人工智能安全性問題必須兩手抓。一手抓治理，第二手抓創(chuàng)新發(fā)展，要克服人工智能算法本身的不安全性，這兩者都是長期的任務(wù)。