?

2022年3月1日，瑞萊智慧科技舉辦的《深度合成十大趨勢報告（2022）》解讀會上，中國社會科學院哲學所研究員、科學技術哲學研究室主任段偉文，做了一場深刻演講。

深度合成是高科技，可是這種高科技會對人類，社會，人性產生什么樣的影響？

這一話題值得每個關注算法安全，數據安全的從業者閱讀。Enjoy！

?

?

段偉文：大家好！

很高興有機會分享一下對于深度合成治理路徑的思考。因為我們現在生活在一個深度科技化的時代。

以往的科技它研究的是自然，改造的是自然，現在的科技改造的是人，改造的是我們生活的環境。

我們不管叫做什么，它實際上是具有顛覆性社會影響的創新，把它說成偽造，可能窄化了它的概念，實際上它可以給所有人創造無限可能性的機會，無論他們是誰，他們如何與誰互動，可以有無限的方式互動。

同時，布魯金斯學會談到：如果人工智能達到這樣地步，幾乎不可能檢測他們從未說過的話，所以眼見不一定為實，讓人們對真實的內容產生了懷疑。

這樣來看的話，如果某人做了什么壞事兒，我們拍到他的罪證，他可以說這個罪證是造假的。同時我們可以看到深度合成視頻的數量，在將來甚至會超過非合成的視頻。

大綱是四個部分，首先是作為突破性創新的深度合成，我們可以看到將來的濾鏡不再是美顏，它是人工智能的濾鏡，這就是合成的媒體或者合成的媒介。

因為英文里面主要是用“DeepFake”和“合成媒介”這兩個詞來描述這一技術，當然在中國我們創新走在前面，所以我們用深度合成，這代表中國在創新和治理之間找到一個平衡，這樣一個新的理念。

比如，我將來在這兒講座，如果我的表情不太好，它完全可以通過人工智能的濾鏡做一個修正，讓大家看到他們的參會者非常集中，甚至還可以提升你微笑的次數，假設兩國元首進行會談，電視放出來的是非常溫馨非常友好，更有利于實現友好邦交，這樣的效果。

MIT的媒體實驗室在開發一種個性化的角色的模型，這樣能夠讓演講者用更自信的方式看到自己擅長的演講任務的版本，可以做排練，排練之后通過人工智能濾鏡，告訴他，甚至可以修正他的一些小問題。盡管Deepfake它可以為無數人創造可能性的機會，讓我們用我們想要的方式跟人互動。

實際上最近用人工智能創造有益的數字角色，比如創造數字“愛因斯坦”，讓愛因斯坦給小朋友講相對論和物理學，這樣從傳播和教育的影響和以前不一樣，他們還做了數字巴赫，還有心理自助，情侶分手模擬器，如果跟男女朋友分離，可以用深度合成技術讓你們兩個進行虛擬的溝通或者談話，或者要不要跟志玲姐姐吃晚餐。

如果有人經營這樣的業務，也是可以的。

但是，這樣會帶來法律和倫理的挑戰，比如我們可不可以回到過去？我們怎樣再現歷史人物？有的美化有的丑化，這樣一個標準誰來判定？

如果名人的人工智能的合成形象，在網上宣傳有害的東西，誰來擔當這樣的法律責任？

我們如果更喜歡合成角色，跟合成影像互動而不是跟真人互動，這會帶來什么影響？

但是我覺得有一個基本思路，我們多創作積極的場景。當然同時我們也要讓大家了解這樣一種潛在的危害。

這種可能性是非常無限的，現在可以有這樣的設計，我完全可以用真人的角色，然后在1000個視頻里面擔任主講，在快手和短信可以有一千個賬號，這都是可以的，這樣做可以嗎？會不會影響競爭？怎么收稅？

可以用任何語言講話，因為現在機器翻譯已經發生了革命性的變化，比如我半個小時把文章用機器翻譯，然后發出來，這跟以前完全不一樣。

現在很多國內人去罵國外，你就可以知道現在通過機器翻譯，現在門檻特別低，它完全不一樣。

深度合成對人認知的挑戰。

我們可以看到，最近一篇論文里談到深度合成已經真假莫辨，這四個頭像有兩個真兩個假，你們能看出來嗎？這是很難辨別的。所以深度合成的信息誤認，這里我們就要研究了，圖像、音頻、視頻會不會產生誤認？產生什么樣的誤認？這里有大量心理學家他們在做研究，社會科學家他們在做研究。最后我們研究的時候發現人們不擅長檢測這樣的欺騙，也就是說我們剛才猜了幾個真假，最后答對的可能性跟隨便瞎猜差不多的。這樣的準確水平不受傳遞媒介的影響，你不論是什么，你都猜不出來，因為我們人類長期以來都一直認為眼見為實，他沒有這樣的經驗沒有這樣的體驗。

這里就有另外一個問題，叫做視覺優勢效應，你在判斷真假視頻的時候，跟其他的是一樣的，但是視覺交流對人的認知更重要。所以視覺欺騙的影響比口頭更大，聽覺和視覺一起呈現，大家對聽的內容是沒有感覺的，他被視覺的東西壓制住了，你主要還是在看。

還有，人們更容易回憶視覺信息而不口頭信息，視覺信息比誤導性的文字更容易產生錯誤的認知。換句話說，人們更相信視聽方式而不是文字，因為內容與現實世界的相似度更高，我們平時就是在這樣的世界里生活，所以這是視覺優勢效應。“說謊者紅利”，因為有了Deepfake，他就可以否認真實內容的真實性，特別是當這樣的內容是他的所謂犯罪證據的時候。

隨著深度合成的擴散或者大家對這個技術印象的加深，那么說謊者紅利成為他的一個策略。這是一個加蓬共和國總統，他的反對派發了一個視頻，說這個人身體不好了，說他的視頻是假的，因為總統他一直顯示自己很強壯，反正說他是假的。

又有一個專家指出這個視頻可能是假的，但是是不是假的不重要，真正的問題是這種可能性可以用來普通可信度并且引起懷疑，大家對所有的新聞都懷疑，就沒有真的。

那么深度合成的政治和社會影響，深度合成有很多潛在的用途也有可能的危害，比如可以用深度對抗來合成虛擬的醫學頭像，這樣訓練那些算法去檢測罕見疾病，并且可以減少病人的隱私，比如說臉我們可以合成一下，我們不知道究竟是誰了。

但是惡意的使用，特別是偽造視頻在一些關鍵的政治事件里，會起到煽動性的作用，它還會削弱公眾對所有媒體的信任，甚至喪失對揭示真相的信心，他認為沒有真相，這樣一個技術的發展導致絕對的虛無主義，深度偽造它可以被用來做煽動性的內容，比如說在軍事領域參與戰爭，比如說兩個國家打仗的時候，他可以偽造另外一個國家軍人的暴行，這樣來激化民眾的情緒，還有可以去煽動恐怖分子。

在美國他們比較關注深度合成對大選的影響，布魯金斯學會做了一個報告，報告題目就是：眼見還為實嗎？

Deepfake它改變了政治中的真相。這個報告提到兩點，第一點，如果人工智能現在已經這么厲害，那么眼見不再為實，產生深度合成的能力比檢查的能力發展更快，這帶來什么樣的挑戰？

簡單來講，Deepfake有很多影響，我們可以看到會影響到我們人的聲譽或者財務或者是對決策的操作，在個人層面可以用這樣一個深度合成技術對人進行辱罵、恐嚇、誹謗，可以竊取你的信息，同時可以用來攻擊政治家，組織層面可以破壞品牌，破壞對組織的信任，操作股票和保險欺詐，可以捏造證據，偽造文件甚至偽造你到哪個大學上課，對于政黨和游說團體進行攻擊，這里有很多值得研究的地方。

所以Deepfake對信任的影響，還有更多社會心理上的影響。

首先會削弱對信息和媒介的信任感，同時對人際關系產生影響，什么意思？這樣一個虛擬現實的研究表明，你如果看了某一段視頻之后，就算是你知道它是假的，也會影響你對這個人的態度。假設你很喜歡這個人，你看一個視頻他做了惡性，也會影響，那本書叫《思考，快與慢》，盡管理性慢思考知道那是假的，但是快思考就會植入。

更令人擔憂的是可以將內容定位到特定的政治或宗教群體，就會放大效應，這是值得研究的。

我們可以看到一個案例星球大戰：天行者的崛起，利用星球大戰沒有發布的視頻，這是合成的，它對人的記憶會產生一種干擾，什么意思？這個演員到底去世了沒有？它一定會影響到記憶。

我們從這里可以看到，通過深度合成來誹謗你，誹謗了之后就會造成虛擬的疤痕，叫做數字疤痕或者數據疤痕，任何東西不管是真假的，只要你看到了就會給你留下印象，因為我們對人大腦的認知還有很多深層次的問題沒有深入進入，這是一個問題。

所謂的數字遺產，一旦在網上播放你的形象，它就會成為你的數字遺產，盡管誹謗造假的，比如某一個人成為色情的深度偽造目標，這個內容隨處可見，它就變成數字遺產的一部分。

它把任何東西放在一個平臺上，它用了這樣的素材來進行表述，它把所有的東西都賦予了它意義，這個意義的過程是自我指示的過程，并不需要有一個真實的事件作為它的依據，這是深層次的影響。

我們也不要過于悲觀，為什么？

因為我們在不同世界里生活的時候，我們都有信任的默認值，你對事情的真假都有一個預期，我們之所以被它欺騙，因為我們沒有預期一直認為它是真的，比如我們現在看垃圾郵件的時候很少有人上當，以前可能會上當，所以有一個恢復力，人對深度合成的欺騙形式產生彈性，人慢慢不會被這個東西愚弄，那么怎樣不會被愚弄？我們就要提升數字素養。

最后談一下，走向更穩健的深度合成治理。對于深度合成沒有靈丹妙藥，你要采取多種措施才能對它進行治理，同時可以看到將來你的檢測再準確，不可能百分百，只要不是百分比，還是有很多東西會存在的。

我們可以看到技術管理，一個材料美國DARPA通過語義取證，通過檢測物理完整性、數字完整性和語義完整性進行檢測，細節不說了。但是這里會出現所謂的“貓鼠游戲”，檢測是打擊它，你檢測它的方法，反過來會進一步提升它的合成技術。

這里有一個說法叫做深度合成的軍備競賽，檢測和合成雙方有一個軍備競賽，就是道高一尺，魔高一丈這樣的問題。這樣完全靠技術是不管的，所以我們需要內容管理，進行標識和論證，這個不詳細說了，因為是技術問題。我們最近頒布《互聯網 信息服務規定》就是對法律和倫理進行了規范，可以看到這里說遵守法律法規，希望科技是向善的，具體內容我不說了。

最后，深度合成技術，無論是在哲學或者認識上，還是從社會生活上，它都涉及到所謂的認知安全，社會認知安全，所以我們要提升社會認知安全意識，把它作為集體的責任，這個從開發媒體到社交用戶到普通公眾，都應該更了解技術內涵它的愿景，還有惡意使用和濫用的場景，這要通過討論和對話，提升公眾的數字素養。提升每個人對深度合成時代的真相的認識和鑒別力，這里面有很多需要去努力的事情。

最后，我們要走向具有預見性，穩健的治理框架。

中國的人工智能治理原則有一條敏捷治理，我的理解就是我們根據程度、規模和可恢復性，

它的危害到底有多大程度？

到底是什么規模？

它是可逆還是不可逆？

這樣一個基礎上我們構建一個監管流程，這里我們采取積極行動，包括瑞萊智慧的工作我的體會就是這樣的，對于它的社會影響或者治理的研究和考慮，與這樣一個創新是同步的過程，這就是積極的行動，我們在技術、法律和倫理和政策以及教育層面，來采取一個積極的行動，來減少可能性的傷害。

綜合權衡方面，在我們已經有的數據算法基礎上，探索安全、倫理、監管的平衡點，因為2018年以來國際出現“技術反沖”或者“技術后坐力”，出現了大量侵犯隱私、算法歧視、平臺壟斷這樣的行為，導致社會和學術界到公眾的批評，這樣的批評客觀上也會延緩科技的發展。

人工智能企業和行業非常希望政府或者相關部門以及各界，積極的來開展有關法律倫理、治理上的對話和相關規范的制定，以及最佳實踐地推廣，都是為了實現在創新和治理之間的動態平衡，實施敏捷、穩健的治理，同時使科技更好地服務數字化轉型、數字生活、數字中國、美好生活等等。

我就講這些，謝謝大家！

（完）