【論壇第8期話題】智能革命與人類深度智能化

“科技世代與人類未來”論壇第八期聚焦“智能革命與人類深度智能化”主題，以北南聯袂、京滬對話的方式對談智能革命在人類生命、行為、認知和情感等層面可能帶來的深度影響。段偉文研究員在《智能化數據解析社會的政治倫理考量》指出在數據驅動的智能解析社會，智能算法實施的是基于預見的干預或可能性政治，應從主體能動性出發，賦予人們相應的技術能力與自主性權利，進而從“生命－智能－社會復合體”的維度，審視智能革命與人類社會深度智能化的前景。劉永謀教授在《智能革命與機器烏托邦》中提出，隨著智能技術在治理領域的推進，存在著“電子圓形監獄”降臨的風險，應該認真研究、積極應對，避免社會滑入“AI機器烏托邦”；楊慶峰教授在《智能革命與人類記憶》指出，把記憶理解為認知和情感產生的前提條件能夠使得我們看清人工智能的發展，具備記憶的人工智能體具備了一種可能性，能夠突破技術奇點，走向強人工智能；閆宏秀教授的《用信任解碼人工智能倫理》一文從信任在人工智能中的產生、表征及其構成等為切入點，以人類對倫理學的信任、人類對人工智能的信任、人工智能自身的信任度、人工智能系統中各個代理間的信任等四個要素開啟人工智能倫理構成要素之徑，以有效監督的信任為前提審視人與人工智能的合作，確保人工智能向善。

智能化數據解析社會的政治倫理考量

段偉文（中國社會科學院）

近年來，人工智能應用的熱點是數據智能，其主要背景是世界的數據化。所謂世界的數據化，簡單地講就是：世界就是數據，數據就是世界。什么是數據？英文中的數據一詞是data，但其內涵不僅與數字或科學觀測有關，更是對世界的記錄。當初傅統先在譯杜威的《確定性的尋求》時，將data翻譯為素材。當前，我們所說的大數據和數據智能中的數據的含義就是素材，更確切地講是電子化的素材，比方說報告的錄音、錄像等。有些素材的元數據是可以量化和結構化的，這些數據起到了測量世界和人的行為過程的作用。近年來，由于素材或數據存儲與處理的成本不斷降低，我們能夠把很多東西記錄下來，雖然記錄的時候有各種各樣的目的，一旦記錄下來以后就可以變成素材而用于別的用途，如可作為其他主題的數據挖掘之用。值得指出的是，當我們講“世界就是數據”和“數據就是世界”時，應該看到所謂的世界的數據化并不是抽象的，用數據呈現世界和人的行為的方式取決于具體的記錄、傳感、測量和分析技術，而任何方式都會突出與強化世界與人的行為的某些方面而忽視與弱化另一些方面。

數據智能和智能算法的應用是現代社會治理與個人治理日益量化的最新表現，這一趨勢與發端于17世紀的“政治算術”、始于19世紀的“控制革命”密切相關，其新近的發展正在導致“解析社會”的來臨。首先，所謂政治算術可以追溯至17世紀剛興起的統計學的社會應用。當時，統計學的社會應用的倡導者將統計學稱為“政治算術”，當時的哲學家和古典經濟學家威廉·配第還專門寫了本題為《政治算術》的小冊子，以強調統計數字對于政治具有至關重要的作用。其次，使政治算術的理念得以普遍推行的則是被稱為“控制革命”的信息技術的發展。20世紀80年代，信息技術史家貝尼格（James R. Beniger）在《控制革命》一書中指出，19世紀以來，信息技術的發展實質上是為了克服由城市化和大工業生產所帶來的控制的危機而形成的一系列控制革命。

20世紀的最后30年間，伴隨著對以工業化為特征的現代化的弊端的反思，微電子、個人計算機、網絡和移動通信等信息通信技術的發展為信息化開辟了道路，其間不僅涌現出后工業社會和第三次浪潮等社會理論與未來學思潮，而且還由反主流文化孕育出為虛擬空間奠基的賽博文化，其結果導致了20世紀末具有虛擬性、匿名性和多主體交互性的網絡空間的崛起。但這種貌似個體可以通過虛擬的網絡空間擺脫現實社會制約的幻象很快就破滅了。隨著谷歌搜索對百科全書檢索式的雅虎等早期門戶網站的超越以及Web2.0和網絡社交新媒體的發展，用戶網絡活動所生成的內容即UGC（User-generated content）不僅使網絡為用戶數據所驅動，而且這些數據反過來成為人們的數據足跡。隨著移動互聯網、網絡社交媒體、智能手機、可穿戴設備等信息技術的發展和各種數據的指數化增長，對人的線上和線下行為數據的搜集和分析則可能使每個人成為被追蹤、觀測、分析的對象，數據的掌握者由此可對數據進行認知計算，借助一定的算法對數據主體展開行為評分和內容推薦，從而對人的行為進行評判、引導和干預。

不論是運用數據表征或干預世界和人的行為，還是運用各種可穿戴設備對數據采集與分析對他人或自己的生活進行量化自我等管理與治理，都預示著一個全新的社會———解析社會或數據解析社會的來臨。數據解析社會這種新的社會形態是革命性的。一方面，數據所扮演的角色如同13世紀時出現的透鏡，如果說透鏡所制造的望遠鏡和顯微鏡讓宇宙和微觀世界得以清晰地觀測與呈現，如今“數據透鏡”則使人的行為得到量化的記錄與透視；另一方面，就像17世紀笛卡爾發明解析幾何使得自然界的結構與規律得以探究一樣，數據分析與智能算法的應用正在使人的行為規律得到洞察和解析。

不論數據解析社會的構建如何展開，智能算法對人們生活的影響已無處不在。從企業對員工的評價、人事簡歷自動篩選、商業信用評分到區域犯罪預測、城市警力分布、自我健康管理，數據分析與智能算法在人們生活中涉及的各種評價、篩選和決策中日漸扮演著舉足輕重的角色，我們業已步入由算法規制生活和引導人的行為的算法生活時代。政府和企業為了各種目的在其管理和運營中引入了很多智能算法，這些算法在執行中會形成各種影響人的生活的算法權力。這種算法權力很容易遭到濫用，甚至會發展為所謂的算法霸權。首先，姑且不提算法可能存在的黑箱問題（不透明、不易解釋等），供機器學習的數據，如大量罪犯行為數據本身是由人記錄和處理的，本身就帶有人的各種偏見（如種族偏見、社區偏見等），在此基礎上所進行的算法決策很容易使這些偏見放大。其次，智能算法往往只考慮到某些特定的視角而缺乏整體性的思考。其三，智能算法中存在的不合理之處往往缺乏反饋與糾正的渠道，如果不能引入受到算法權力傷害或不公正對待的人能夠及時參與的反饋糾錯機制，算法的主導者很難主動發現問題并加以反思和修正。

進一步而言，智能算法的應用建立在一種基于預見的可能性而采取控制行動的政治邏輯之上，我們可以稱之為可能性的政治。在斯皮爾格導演的電影《少數派報告》中對未實施的犯罪的阻止甚至懲罰雖然不一定發生，但數據分析和智能算法的控制者顯然會用它們來預測、引導或阻止人的行為，不論其方式是柔性的計算機說服技術或智能化助推，還是剛性的簡歷篩選和對行動自由的限制，都體現了某種宰制性的權力或霸權。以所謂人的數據畫像為例，雖然人的數據畫像如同人的“數據孿生兄弟”，但其本身是沒有主體性和能動性的，而只是體現了數據分析與智能算法的掌控者對數據畫像的對象的主體性或能動性的猜測，其中所折射的是他人的主體性、能動性或意向性。因此，數據孿生兄弟實際上是缺失心靈的數據僵尸。

由此，要克服數據分析與智能算法的數據霸權與算法權力，應該從主體的能動性構建出發，使人的主體性、能動性或意向性免于被數據僵尸所取代的命運。這就要求我們通過與數據霸權與算法權力的纏斗尋求人的能動性與算法權力關系的再平衡：始終從使用者或人的角度去評判智能算法的合理性；智能算法應發揮普遍性賦能作用，使每個人的能力增強，權利也得到相應擴充；人與算法要建立起一種伙伴關系，即，使智能算法成為陪伴人、幫助人的伴侶技術。

最后，值得指出的是，智能原本源自生命與社會，生命、智能與社會共同構成了日益復雜的生命－智能－社會復合體。從“生命－智能－社會復合體”這一分析框架出發，有助于總體把握智能革命以及人類社會深度智能化的前景：人工智能體將以擬主體的形式整合到生命 － 智能 － 社會復合體之中，泛主體社會或泛智能體社會即將來臨。當我們面對陪伴機器人、智能音箱以及層出不窮的智能體或泛主體時，將會越來越多地思考它們是什么樣的擬主體，又具有什么意義上的能動性。

原載于《山東科技大學學報》2019年第1期。

智能革命與機器烏托邦

劉永謀（中國人民大學）

智能革命與技術治理的關系是一個大題目。智能革命已經到來，這個提法是站得住腳的。學界提出的各種“革命”太多，就工業革命而言，有人都提到第六次工業革命了。實際上，“革命”不過是一個隱喻，能不能成立并不重要，重要的是提出這個“革命”要表達什么，是否有價值。顯然，智能革命會大力推動整個社會技術治理的程度和水平，同時會導致社會風險。智能革命社會風險包括運用智能技術的智能治理風險，不是科學技術本身的問題，根本上是政治、制度和實踐問題。關于這個問題，技術哲學荷蘭學派如佛貝克等人力推的道德物化的角度很有啟發性，但道德物化處理的問題過于細節，大的問題還是要借助制度安排來應對。

智能革命和AI技術對社會公共治理會有什么樣的影響？對此問題，大家都是基于智能革命和AI技術充分發展的遠景來回答的。答案存在兩種相反的極端態度：一種是樂觀主義的，像成素梅教授那樣，認為以后可能出現一個“AI理想國”；還有一種是悲觀主義的，可以稱之為“AI機器烏托邦”。這里先討論一下悲觀的想法，過后再講樂觀的想法。

很多人都討論過物聯網和大數據對于技術治理的推動作用。家用的小米機器人，它要在家掃地，當然要搜集和分析房間的信息，也就是說，AI應用離不開物聯網和大數據，如果后兩者對技術治理有推動，那么AI對技術治理的推動就不言而喻了。

悲觀主義者總是擔憂智能治理和AI治理：智能革命時代，電子圓形監獄（electronic panopticon）會不會到來？大家研究信息哲學，都知道邊沁和?？绿岢龅膱A形監獄理論，以及后來流行的電子圓形監獄概念。用圓形監獄理論分析物聯網的結構與功能，會發現物聯網會偏好極權控制，因而本底上是會侵犯人的隱私的。在具體意象上講，就是小說《1984》中無處不在的電幕，對所有人進行監視。這主要考慮的是物聯網隱私問題，到了AI技術和智能革命的時代，這就不光是一個隱私問題，除了監視，機器人當然是可以訴諸實際行動的，比如對人進行拘押。機器人收集和行動的能力如果擴展到社會公共事物和政治領域的時候，會產生比電子圓形監獄更強的負面效應。換句話說，到了智能革命時代，電子圓形監獄才可能成為真正的監獄：從監視、審判到改造可以一體化完成。也就是說，電子圓形監獄會不會成為機器烏托邦？這就是當今敵托邦科幻文藝的一個大類，即“AI恐怖文藝”所要抨擊的景象，在好萊塢電影《終結者》系列中得到最著名的呈現：機器人對所有人的牢獄統治。

當然，所謂隱私是社會建構的，是歷史變化的，是有地方性的。為什么當代中國人越來越講隱私，但同時很多人在朋友圈曬自己的私密生活？這說明沒有普遍的一致的隱私，隱私觀是很不同的。在中國古代，人們是缺少隱私觀念的，或者說隱私觀念是很不同的。古人講，不發人陰私，這不是說尊重人權，而是說要做君子。中國古代最高權力者皇帝是沒有隱私的，他的一舉一動都在《起居注》中記載得清清楚楚。舊式大家族中人們同樣沒有隱私，年輕人要早晚向父母請安，什么事情宗族都會知道、要干預。隱私與人權有關，中國傳統是沒有這個概念的。奇怪的是，沒有隱私，數千年來中國社會治理和社會生活大體運行得也很平穩。實際上隱私觀在中國就是隨著ICT技術和網絡興起傳到中國來的，在80年代都很少有中國人講究隱私。隨著物聯網和大數據技術的推進，中國人還在形成中的隱私觀很快會發生改變，比如很多人現在出門在“去哪兒”APP上定房間、安排行程，把個人信息讓商家知道，覺得很方便。

隱私社會建構論實際上并沒有否定物聯網偏好極權的觀點。隱私觀的改變，從某種意義上說是對技術發展的屈服。然而到了智能革命時代，極權的觸角可能伸到的地方不再僅僅是看，而是會有具體的行動、對肉體和思想的嚴格控制。如果電子圓形監獄在社會上廣泛建成的時候，這就是所謂的最壞的智能治理社會，即“機器烏托邦”就會到來。也就是說， AI技術是有可能催生機器烏托邦的。

機器烏托邦會是什么樣的？通過對批評既有的技術治理、智能治理以及AI在社會公共領域應用的各種思想文獻來進行分析，可以得出它的基本意象。當代西方的科幻小說有個很重要的特點，即樂觀主義情緒很少，并且基本上都與對智能革命的想象有關系。這樣一種想象在西方是很流行的，它所勾勒出來的未來社會是一架完整、嚴密和智能的大機器：由于 AI技術的廣泛應用，每個社會成員都是這個智能機器上的一個小智能零件，而且是可以隨時更換的零件，和鋼鐵制造的零件沒有差別，這就是“AI機器烏托邦”。以好萊塢為代表的科幻影視，對此有各種各樣的刻畫。

從批評的文獻、文藝和影視作品中，可以歸納出AI機器烏托邦的四個主要特點。第一個是AI機械化，即把人、物、社會所有都看成純粹機械或智能機器，對所有的一切要事無巨細地進行智能測量，包括人的思想情感，可以還原成心理學和物理學的事實以此來進行測量。第二個是AI效率化，也就是說，AI機器烏托邦它核心的價值主張是效率，智能要講求效率，科學技術是最有效率的，沒有效率的東西比如文化、文學和藝術都是可以取消。AI機器烏托邦社會運行的目標就是科學技術越來越發達，物質越來越豐富，人類文明不斷地擴展，要擴展到整個地球，擴展到月球，擴展到火星。第三是 AI總體化，也就是說整個社會是一個智能總體，按照建基于物聯網、大數據、云計算和AI等智能技術之上的社會規劃藍圖來運轉。所有國家政黨、社會制度、風俗習慣以及個人生活全面被改造，沒有人能夠逃脫總體化的智能控制。第四是AI極權化，AI機器烏托邦是反對民主和自由的，認為民主和自由沒有效率，支持的是由智能專家、控制論專家掌握國家大權，公開實現等級制度，然后以數字、智能和控制論的方式殘酷地統治社會。

用AI技術對社會進行公共治理是不是就必然會導致機器烏托邦呢？不一定，因為所有的技術治理包括智能治理可以有很多不同的模式。一種是激進的，整個社會要打亂重新按照智能藍圖來建構；另一種是溫和的，在現有的基礎上進行改良，而溫和派之間也有很大差別，所以歷史上是有很多不同的技術治理模式。

對AI機器烏托邦意象的總結有何教益？西方對智能治理、AI治理的批評，我們并不完全贊同，但是從理論上考慮 AI機器烏托邦的危險或風險是很有必要的。在歷史上并沒有真正出現過AI機器烏托邦，它還只是在人們恐懼的想象中，但是從理論上說它還是可能出現的，因此要避免極端的AI機器烏托邦的出現。上述AI機器烏托邦意象的四種特征，是要在AI技術、智能技術應用于社會公共治理的過程中極力避免的，當然這是非常復雜的問題。這里有一些初步的思考，比如要避免AI總體化，必須要避免封閉性智能社會，實際上封閉性在網絡社會是很難完全做到的；比如避免AI機械化，涉及社會主流觀念尤其是科學觀的改變，一百年前主流的科學觀是機械主義的，現在并不如此；比如避免AI極權化，關鍵是選擇適當的智能治理模式，不一定和自由民主相沖突。奧爾森指出，技術治理在21世紀有“軟”化的趨勢，不像以前那么“硬”了。比如，要避免AI經濟至上的觀點，社會局部的規劃要服從更高制度的安排，智能治理不能成為惟一或最高的治理安排，而應該是作為一種局部的工具。總之，智能革命的到來加大了AI機器烏托邦的風險，因此必須考慮制度設計與應對，這個問題從根本上說不是技術問題，而是政治問題。

原載于《山東科技大學學報》2019年第1期。

智能革命與人類記憶

楊慶峰（復旦大學）

對人工智能的討論需要放置到人與技術的關系框架中進行。首先要做的是對人與技術的關系框架進行反思。傳統的觀點是“工具論”，即把包括人工智能在內的技術當做一種工具或者對象，用來解決問題或者處理一些其他的事情，這種人與工具形成非常固定的模式，成為我們分析人與技術關系的主導模式?！肮ぞ哒摗蹦Ｊ奖澈笫且粋€主體、客體分離的理論基礎。這種傳統模式后來受到了很多哲學家的嚴厲批判，如海德格爾、芬伯格等人對這一觀點進行了很深入的批判。海德格爾在批判的基礎上提出了現象學的模式，而芬伯格把政治維度和社會因素加進去了。他們的批判導致了另外一種關系模式“居中說”（人在世界之中、人在技術之中），這為本文“旋渦論”的提出奠定了理論前提。

旋渦論，即人在技術的漩渦之中。從詞源學角度看，旋渦的英文是volution，依次詞根會出現三個變形詞：convolution、evolution和revolution。這三個詞恰好可以用來描述與人工智能有關的過程或狀態。Convolution是卷積或卷繞，可以用來描述人工智能內部的算法機制，比如卷積神經網絡算法（CNN）用來圖像識別。Evolution是進化，可以用來描述智能本身是進化的過程。Revolution則是革命或旋轉，可以用來描述智能本身是革命的過程，如技術奇點。所以“旋渦論”能夠很好地描述人與智能機器的關系，又能夠描述智能的內在機制，更重要的是有助于我們在人與智能技術的漩渦當中反思如何在進化與革命之間保持自身并構建其自由關系。

從記憶哲學分析人工智能是本文采用的一個新角度。人類記憶不是宏大的生存層面的東西，而是人類學里非常重要的一個規定性。在哲學人類學當中，康德提出了五感實際上就隱含著一種記憶的概念，只不過在他的哲學人類學當中多談到的是五感知覺[1]，對記憶也談到了，“將過去有意地視覺化的能力是記憶能力，把某物作為將來視覺化的能力是預見能力?！?span style="color:#95a5a6;">[2]但只是蜻蜓點水，一筆帶過。

那么何為記憶？從傳統哲學角度看，存在著四種理解路徑。第一種構成路徑，即把記憶當做靈魂實體的構成部分，討論記憶是在人理性的層面當中還是感性層面當中。第二種是能力路徑，即把人類記憶的解釋當做一種精神性的或者靈魂性的能力，比如說人類具有一種回想能力。第三種是狀態路徑，即把記憶看做是意識或者心理狀態之一。這種觀點持續的時間非常長，一直持續到20世紀。心理學家普遍認為記憶是心理狀態，和感知、情緒是相并列的狀態。對這種心理學的理解后來胡塞爾、伽達默爾都提出批判。第四種是行為路徑，即把記憶看做是意識行為。比如說構造過去對象的一種行為，或者說使得過去當下化的這樣一種行為。哲學觀點的一個顯著特征是將記憶看做是靈魂的特定屬性。

有一些心理學家提出一種新的理解叫“精神性的旅行”，用這種方式來解釋人類的記憶。整個心理學的理解可以納入到哲學的第二層理解當中，它屬于精神的一種能力。但是隨著神經科學發展，哲學觀點受到了自然科學觀點的反駁。神經科學則提出了記憶作為大腦信息過程（編碼、存儲和提取）的三階段理論。與記憶的維度相對的是“遺忘”，它實際上被看作是記憶的對立面，這是個通常的觀點。比如說靈魂構成的喪失或者記憶能力的喪失、狀態的失控，這時候就把遺忘看作是自然能力的喪失。這些觀點都是建立在物質基礎之上。

要審視人工智能與人的關系，僅僅是傳統哲學和神經科學中的記憶理論是不夠的，還需要新的理解。本文提出記憶作為條件的理論。這一理論源頭在于布倫塔諾和胡塞爾等人。在筆者看來，記憶作為三種條件形式存在：認知與情感的基礎條件、理解人類自身的歷史條件和實現自我和他者認同的條件。第一，記憶是認知和情感產生的基礎條件。如果沒有了記憶這樣的基礎維度，實際上情感和認知是不可能的。第二，記憶是理解人類自身的歷史條件。這是關于一種人類歷史的構建，比如說怎么去面對歷史，這時候就需要回憶把它構建出來。第三，記憶是實現自我及其他人認同的必要條件。這具體到個體來說實際上是對自我的認同。我們能夠知道我是誰，又通過怎么樣的方式去知道我是誰。在這個過程當中，傳統認識論和知識論的學者認為認知起了非常重要的作用，但是記憶與回憶的作用不容忽視，回憶包括記憶實際上是另外一個不可忽視的條件，但在通常的哲學史當中把記憶放在了認知底下其作用完全被忽略掉。

當采取記憶哲學維度去看，人工智能是進化的過程還是革命的過程的問題就可以獲得解答的可能性。從前面所提到的三個條件來看對這問題就可以做一個有效回答。如果把記憶理解成信息的編碼、存儲、提取這樣一個過程，那么人工智能是無法從進化突變到革命的，就沒有革命，只有一種進化。但如果進一步把記憶理解為認知和情感產生的前提條件的話，實際上就具備了一種可能性，就說它能夠突破技術奇點。

更重要的是，記憶和回憶的關系問題沒有受到重視，因為太多的理解強調記憶作為信息的編碼、存儲和提取過程了，以至于把回憶的維度給忽略掉?；貞浭侨祟愄赜械囊环N現象。亞里士多德就指出來說動物和人可以擁有記憶，但是唯獨人才能擁有回憶。從他的觀點看，人工智能是不可能擁有回憶的，因為它與動物一樣，缺乏足夠強大的意向性。所以人們這時候就不用擔心它有一天會超越人。但是在筆者看來，如果把回憶維度考慮進去，這個問題就有無限的可能性了。具有回憶能力意味著機器具有了重構過去經歷的能力，具有了重構過去經歷的可能性。換句話說，對人工智能機器而言，它具有經歷，意味著它具有了過去的時間概念。這遠遠不同于只是信息保存和提取的記憶過程，而是能夠將過去當下化的過程。最近人工智能學者阿爾伯特·艾如斯勒姆（Albert Ierusalem ）也指出了人工智能可能會具有自身的經歷?！盎诮洑v（experience），如果系統能夠在每一個環境中選擇正確的行動，這使得計劃變得不必要?！?span style="color:#95a5a6;">[3]人工智能能夠感知世界這已經成為常態，只是人工智能回憶自身的經歷卻是一個具有挑戰的事情，不僅僅是關系到技術怎么去實現，比如說讓機器去回憶世界，更重要的是會涉及到人工智能的革命性突破。如果能夠實現這點的話那么人工智能走向強人工智能會成為一個必然。

[1] 康德哲學人類學著作中提到第一類感覺包括觸覺（touch, tactus）、視覺（sight, visus ）、聽覺（hearing, auditus）第二類感覺包括味覺（taste, gustus）、嗅覺（smell, olfactus），統稱為五感。Immanuel Kant, Anthropology from a Pragmatic Point of View, Translated by Victor LyleDowdell, Revised and Edited by Hans H. Rudnick, Southern Illinois University Press, 1996:41.

[2] Ibid, 73.

[3] Albert Ierusalem, Catastrophic Important of Catastrophic Forgetting, https:// arxiv. Org/pdf/1808.07049.pdf, 11 [2018-10-9]

原載于《山東科技大學學報》2019年第1期。

用信任解碼人工智能倫理

閆宏秀（上海交通大學）

人工智能倫理是人工智能未來發展的錨定樁。其包括對人工智能相關倫理問題的批判性反思，對人工智能的倫理目標厘清與界定，以及倫理自身效用等的審度。有效的人工智能倫理被視為推進人工智能向善、確保人類對其可控及不受傷害、確保人類尊嚴與人類福祉的一個重要保障，但人工智能倫理的構建并非易事。關于倫理應當發揮何種作用、如何發揮作用、以何種倫理觀念為指導等的爭議一直不斷。如，就在2019年3月到4月之間，谷歌關于外部專家委員會（Advanced Technology External Advisory Council，簡稱ATEAC）的成立[1]、谷歌部分員工對外部專家委員會的抗議等[2]一系列事件就凸顯了人工智能對倫理的期待，以及人工智能倫理構建所面臨的挑戰與問題。特別是人工智能發展所呈現出的能動性、自主性等技術特質，將主體與客體的邊界逐漸消融，將關于人對技術的信任、人與人之間的信任、人與技術之間的信任等置于了一種前所未有的場景之中。

一、信任：人工智能的一個核心問題

關于人工智能倫理的研究，早在二十世紀六十年代，就已經展開。如，溫納（Nobert Wiener）在其關于自動化的道德問題和技術后果的探討中，揭示了機器的有效性與危險性；[3]隨后，塞繆爾（Arthur L.Samuel）在《科學》發表文章，對維納所主張的機器具有原創性或具有意志進行反駁，進而指出機器不可能超越人類智能，并認為維納將機器類比人類奴隸是不恰當的。[4]但近年來，伴隨大數據、機器學習、神經網絡等的發展，關于機器是否具有原創性或具有意志、人工智能是否能被視為道德主體、以及人工智能是否超越人類的爭論日趨激烈。

這些爭論，究其本質而言，是源自對人能夠控制技術并使其能為人類服務這一問題的反思。而上述反思至少直接指向了人類對自身信任及對技術是否可信的兩個方面。簡單地說，從人類自身的角度來看，若人類相信自己能夠有效地控制人工智能，那么，上述問題也將迎刃而解；退一步講，從技術的角度來看，若人工智能技術自身是安全可靠那么，至少人工智能可以被視為是一項可信的技術，而這種可信反過來也將大大推進其的發展。[5]但若上述兩種信任缺失，則人工智能的未來發展也不容樂觀。因此，人工智能的信任度是人工智能技術發展中面臨的一個核心問題。當下，IBM就以“trusted AI”為其研究目標，積極致力于研究構建和能夠使人類信任的人工智能。與此同時，人工智能的信任度也是人工智能倫理構建中的一個核心問題。

但事實是，迄今為止，上述兩個方面都是假設性的存在。如，從技術的維度來看，以基于人工智能系統的無人駕駛為例，就因其在技術方面的不穩健性所引發的諸多問題，遭遇到了質疑。在這些質疑中，也包括關于其的倫理質疑；從關于人工智能倫理構建的維度來看，雖然目前尚未形成統一的文本，但信任卻是與人工智能倫理相關的框架、原則、宣言等文件中的一個高頻詞。如：

2016年底，美國電子電氣工程學會（IEEE）在其所闡述的“倫理輔助性設計”（Ethically Aligned Design）中，將構建人與人工智能系統間的正確的信任層級視為一個重要議題，并指出應建立包括標準和規范主體在內治理框架來監督保證過程和事故調查過程，進而促進公眾對人工智能和自動化系統信任的構筑；[6]2017年7月，我國國務院發布了《新一代人工智能發展規劃》。其中，“促進社會交往共享互信。促進區塊鏈技術與人工智能的融合，建立新型社會信用體系，最大限度降低人際交往成本和風險”是一項重要的內容；[7]2018年12月18日，歐盟委員會由52名來自多個領域的專家所組成的人工智能高級專家組起草了“可信任人工智能的倫理框架”（Draft Ethics Guidelines For Trustworthy AI）；經過幾個月的意見征詢后，于2019年4月18日，在其發布的《可信任人工智能的倫理框架》（Ethics Guidelines For Trustworthy AI）中，[8]將構建可信任作為人工智能未來發展趨勢；2019年2月，歐洲政策研究中心在其所發布的《人工智能：倫理，治理和政策的挑戰》”（Artificial Intelligence:Ethics, governance and policy challenges）中，認為：在當今社會中，人工智能的發展加速了信任的退化。因此，應當采取行動，以推進負責任地和可信任地使用人工智能；[9]2019年6月，美國人工智能問題特別委員會、國家科學技術委員會發布了《國家人工智能研究和發展戰略計劃：2019更新版》（ The National AI R&D Strategic Plan: 2019 Update），[10]構建信任被列為人工智能未來發展的一項任務；在我國家新一代人工智能治理專業委員會于2019年6月所發布的《新一代人工智能治理原則——發展負責任的人工智能》中，“安全可控”為第五條原則，并指出：“人工智能系統應不斷提升透明性、可解釋性、可靠性、可控性，逐步實現可審核、可監督、可追溯、可信賴?！?span style="color:#95a5a6;">[11]

綜上所述，在人工智能倫理的構建中，信任被視為是人工智能發展的一個核心問題。那么，是否可以用信任是解碼人工智能倫理呢？關于此，需要從信任在人工智能中產生、表征以及構成等為切入點來進行解析。

二、基于有效監督的信任是人與人工智能合作的必要條件

人工智能的發展帶來了一種新型的人與技術關系。人類對技術的依賴性越來越高，技術成為了人類智能的陪伴，并在某些方面呈現出了超越人類智能的趨勢。伴隨人工智能在人類社會中的廣泛應用，人類與人工智能系統之間的合作日益加強。雖然存在沒有信任的合作，但人與人工智能的這種合作方式因人工智能對人本身以及人類行為深度植入性和巨大影響而必須信任的介入。毫無疑問，信任的缺失，將影響人工智能所能產生的效應，但這種信任并非是盲目信任、濫用信任、錯誤信任等非理性的信任方式。恰如皮埃羅·斯加魯菲（Piero Scaruffi）所示：“我并不害怕機器智能，我害怕的是人類輕信機器?！?span style="color:#95a5a6;">[12]

技術是人類在世的一種方式。人類正是借助技術謀求自身的發展，離開技術，幾乎無法去探討人類的發展。也正是在這種謀求的過程，人與技術之間信任關系伴隨人對技術的依賴而不斷被建構起來。特別是當今的人工智能，更是將人與技術之間的信任關系推向了一個新的高度。與此同時，對二者之間信任關系的反思也與日俱增。如，以基于人工智能系統的決策為例。在當下，人工智能系統為人類的決策提供信息，甚或導引人類的決策。當人類借助、或者委托、或者授權人工智能進行決策時，一種信任就隨之而涌現出來，且人對人工智能系統的信任度將影響決策。假設信任度的閾值為0-1。當信任度為0，即人類完全不信任人工智能時，人類所做出的決策與人工智能系統無關。但鑒于人工智能系統在當今的深度植入，完全不信任的可能性已然不現實；當信任度為1，即人類完全信任人工智能時，則人工智能系統所輸出的決策就直接等同于人類所做出的決策。與上述情況類似，鑒于當下人工智能在技術方面所存在的不穩健性，如自動駕駛所存在的隱患等，完全信任也同樣不可取。

杰夫·拉爾森（Jeff Larson）等人就曾對基于機器學習而進行累犯預測的軟件——替代性制裁的懲罰性罪犯管理量表（Correctional Offender Management Profiling for Alternative Sanctions，簡稱COMPAS）的有效性展開剖析。[13]從COMPAS所做出的預測來看，黑人被告比白人被告更可能被錯誤地認為是成為累犯的風險更高，而白人被告比黑人被告則更有可能錯誤地標記為低風險的累犯。但事實上，關于黑人被告的累犯預測是高于現實的，而關于白人的累犯預測則是低于現實的。在未來兩年中，白人被告累犯被誤判為低風險的是黑人被告累犯的幾乎兩倍（48%比28%）。[14]即，依據該軟件所做出的預測，與現實并非完全吻合，因此，應當審慎地對待COMPAS輸出的結果。但這種質疑事實上并非意味著對COMPAS的完全不信任，而是旨在探究怎樣的人與技術信任才可以有效的方式確保人工智能向善，對人類不造成傷害。

信任是一個動態的交互過程。就人與技術的合作而言，信任是人對技術心理的預期與技術自身的效能一種混合交互。就人際間信任而言，無監督的信任是其最高層級，是委托人對受托人的完全信任。但就人與技術的信任而言，恰恰需要的是有監督的信任。如果說傳統意義上的人與技術之間的信任，可以逐步還原到人與人之間的信任，進而可以借助人際間的信任來確保人與技術之間的信任。但就人與人工智能系統而言，由于人工智能系統的能動性與自主性等所帶來的某種不可解釋性、不透明性、不可追溯性等，上述還原越來越難，因此，人與人工智能的合作必須基于有效監督的信任。但該如何用信任解碼人工智能倫理呢？關于此的解答，首先需要從倫理學的視角來厘清人工智能信任的構成要素。

三、人工智能信任的構成要素：基于倫理視角的解析

歐盟委員會從技術和倫理兩個維度解析了何為“可信任人工智能”；IBM所提出的“Trusted AI”意味著值得信任是人類對人工智能技術所給予的期望。毫無疑問，可信任（信任度，值得信人）是信任的一種表征，是人工智能信任的一個重要維度。莫瑞奧薩瑞·塔迪歐（Mariarosaria Taddeo）曾指出：“信任和電子信任被以如下三種方式予以界定：（1）作為可信任性的一種蓋然性的評估；（2）作為一種基于倫理規范的關系；（3）作為一種行動者的態度。”[15]因此，就人工智能的信任而言，至少應與如下三個方面相關：與人相關，因為對人工智能的信任發端于人；與社會環境相關。良好的信任社會體系與信任社會制度將為人工智能的信任提供良好的存在語境；與技術相關，如技術過程（如算法的透明性與可靠性等）、技術目的、技術的性能與效應等諸如此類的技術要素，是人工智能信任的必備要素。因此，人工智能的信任應包括人、技術與環境等。

從倫理學的視角來看，人工智能的信任首先需要構建的是人類對倫理學的信任。長期以來，在技術的發展歷程中，倫理學主要基于外部的視角，以批判式的反思方式出場，因此，出現了倫理學被視為落后于技術發展的追思。近年來，伴隨倫理學以進入技術內部的方式而開啟倫理對技術的引領與規范功能時，負責任的創新、負責任的人工智能等詞匯進入到了技術界。即便如何，在人工智能的倫理構建之中，技術界關于倫理的功能和效應也眾說紛紜。其中，不乏對倫理的質疑。但若缺乏人類對倫理學的信任，則人工智能倫理構建的意義也有待商榷。因此，需要通過構建人類對倫理學的信任來夯實人工智能倫理的構建基礎，進入以倫理促進人工智能能夠謀求人類福祉。

其次，構建人類對人工智能的信任。信任是一種信念，一種態度意向性?！安荒芙⑿湃?，特別是最終用戶的信任，惠及所有利益相關方的個人數據生態系統就將永遠不會存在?！?span style="color:#95a5a6;">[16]同樣地，公眾對人工智能的信任將為人工智能的發展提供有力的支撐。正是基于此，在美國的“國家人工智能研究和發展戰略計劃：2019更新版”中，明確指出：美國必須培養公眾對人工智能技術的信任和信心，在技術的應用中，應保護公民自由、隱私和美國價值觀，從而讓美國人民充分意識到人工智能技術的潛力。

再者，人工智能自身信任度的構建，即人工智能自身的可信任問題。人類對技術的信任，需要技術的性能作為其值得信任的背景。人工智能自身的技術信任度應當是人工智能發展的應有之義?？v觀近年來關于人工智能發展的戰略與規劃，這一主題一直備受關注。關于此的闡述，從內容上看，包括關于人工智能信任的重要性、構建途徑、評判標準等。如：在美國電子電氣工程學會關于“倫理輔助性設計”中，將人工智能系統的透明性等視為構建用戶對人工智能系統信任的一個重要關節點；歐盟委員會的《可信任人工智能的倫理框架》，將人類自治原則、避免傷害原則、公平原則、可解釋性原則等作為構建人工智能可信度的基礎原則，將人的能動性和監督能力、安全性、隱私數據管理、透明度、包容性、社會福祉、問責機制等視為可信任人工智能需要滿足的條件；美國最新版的國家人工智能戰略則進一步強調了發展人工智能信任度的重要性，并將確保人工智能系統的安全作為其戰略之一。

最后，構建人工智能系統中各個代理間的信任。在人工智能系統中，無論是關于一個問題的解決，還是關于一個整體目標的實現等，都需要各個代理之間的協作與合作。近年來，關于多代理系統（Multi-Agent System）的研究是人工智能研究的熱點之一，特別是關于其體系結構和協調機制的研究是其核心研究論域。借鑒信任在人際之間的協作與合作中所具有的效用，同樣，人工智能系統各個代理間的信任是人工智能信任的一個不可或缺的一部分。對其的構建是提升人工智能性能的一個有力保障，更是開啟人工智能倫理構建的一把鑰匙。

圖1所展現的四個構成要素，主要是基于人作為倫理主體的視角，從內部和外部兩個方面展開的橫向解讀。其中，內部信任意指人類自身的信任問題，包括人類對倫理學的信任和人類對人工智能的信任；外部信任意指技術的信任，包括人工智能自身的信任度和人工智能系統中各個代理間的信任，且這些要素之間存在交集與交互。

與此同時，基于倫理學的視角，關于信任的解讀，還需要從縱向的維度來展開，因為信任同時也是一個動態的交互過程。從微觀的視角來看，這種動態性表現為：上述四種信任各自的形成是動態的，且這四種信任彼此互相影響；從宏觀的視角來看，這種動態性表現為在人工智能倫理原則與人工智能系統的之間的開放性、適應性與交互性中，信任被不斷地建構。而這恰恰與人工智能系統發展的動態性相吻合，與倫理學應當是對技術發展的有效應對與前瞻性反思的主旨相契合。但這種動態性并非意指倫理對技術的讓步，而是在堅守倫理基本原則基礎上的動態調適，以及技術需要以合乎倫理的方式而發展，即，技術依據倫理基本原則而調整其發展。

四、小結

尼克拉斯·盧曼（Niklas Luhmann）曾將信任視為社會生活的一個基本方面，認為：信任的缺席甚至將阻止他或她早晨起床，[17]同樣地，過渡的信任、錯誤的信任與盲目的信任也將帶來風險。在不久的將來，人工智能將是我們社會生活的一個基本方面，人工智能的缺席將使得人類日常生活的運作遭遇困境。同理，人工智能的過渡泛濫與盲目增長也將使得人類日常生活的運作遭遇困境。人工智能倫理的缺席將使得人類的尊嚴恰恰正是由人工智能的發展而遭遇挑戰，人類的福祉也恰恰是因此而得不到保障；同理，無效的或不當的人工智能倫理也會造就上述結果。

面對智能時代的到來，借助信任，調節人與人工智能的合作關系，助推人類社會的發展。從人類對倫理學的信任、人類對人工智能的信任、人工智能自身的信任度、人工智能系統中各個代理間的信任等四個方面開啟人工智能倫理的構建。但這種信任如奧諾拉·奧尼爾（Onora Sylvia O'Neill）所言：我們所期望的，并不是像小孩一樣盲目地去信任，而是要有良好的判斷能力。為了判斷別人說的話，做的事是否值得信任，我們需要有足夠的訊息和辨別的手段。為了做到合理的信任，我們不僅需要辨別出哪些說法或行為值得去信任，也需要去思考關于它們的合理性。[18]因此，以有效監督的信任為前提，審視人與人工智能的合作，以合勢的人工智能倫理，為人工智能的發展塑造理性的氛圍，進而化解人工智能的不確定性，夯實智能社會的基本架構，確保人工智能向善。

[1] Will Knight .Google appoints an “AI council” to head off controversy, but it proves controversial [EB/OL]. https://www.technologyreview.com/s/613203/google-appoints-an-ai-council-to-head-off-controversy-but-it-proves-controversial /.

[2] Will Knight.Google employees are lining up to trash Google’s AI ethics council [EB/OL]. https://www.technologyreview.com/s/613253/googles-ai-council-faces-blowback-over-a-conservative-member/.

[3] Nobert Wiener.Some Moral and Technical Consequences of Automation. Science, 1960:131（3410）:1355-1358.

[4] Arthur L.Samuel.Some Moral and Technical Consequences of Automation—A Refutation. Science, 1960:132（3429）, 741–742.

[5] https://www.research.ibm.com/artificial-intelligence/trusted-ai/.

[6] IEEE. Ethically Aligned Design: A Vision for Prioritizing Human Well-being with Autonomous and Intelligent Systems, First Edition[EB/OL]. https://ethicsinaction.ieee.org/.

[7] 國務院.新一代人工智能發展規劃[EB/OL].http://www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.

[8] European Commission. Draft Ethics Guidelines for Trustworthy [EB/OL].https://ec.europa.eu/digital-single-market/en/news/draft-ethics-guidelines-trustworthy-ai.

[9] Andrea Renda.Artificial Intelligence: Ethics, governance and policy challenges[EB/OL] .https://www.ceps.eu/system/files/AI_TFR.pdf.

[10] National Science &Technology Council. The National AI R&D Strategic Plan: 2019 Update[EB/OL] .https://www.nitrd.gov/pubs/National-AI-RD-Strategy-2019.pdf.

[11] 國家新一代人工智能治理專業委員會：新一代人工智能治理原則——發展負責任的人工智能[EB/OL]. http://www.most.gov.cn/kjbgz/201906/t20190617_147107.htm

[12] [美] 皮埃羅·斯加魯菲（Piero Scaruffi）.智能的本質：人工智能與機器人領域的64個大問題[M]. 任莉，張建宇 譯.北京：人民郵電出版社，2017:168.

[13] Jeff Larson, Surya Mattu, Lauren Kirchner and Julia Angwin.How We Analyzed the COMPAS Recidivism Algorithm[EB/OL].https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm.

[14] Jeff Larson, Surya Mattu, Lauren Kirchner and Julia Angwin.How We Analyzed the COMPAS Recidivism Algorithm[EB/OL].https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm.

[15] Mariarosaria Taddeo . Defining Trust and  E-trust: From Old Theories to New Problems[EB/OL]. https://www.academia.edu/1505535/.

[16] 托馬斯·哈喬諾，大衛·舍瑞爾，阿萊克斯·彭特蘭.信任與數據：身份與數據共享的創新框架[M].陳浩 譯.北京：經濟科學出版社.2018:139.

[17] Niklas Luhmann. Trust and Power [M]. Cambridge: Polity Press. 2017:5.

[18] 奧妮爾（O'Neill, Onora）, 信任的力量[M].閆欣 譯.重慶：重慶出版社 2017:60.

原載于《人工智能》2019年第4期。