文 / 陳小平

（中國科學技術大學計算機科學與技術學院）

首先想請您談談今年在人工智能領域投入精力最大的研究是什么，以及為什么想去推動這項研究。

陳小平：2019年我最用心的事情是人工智能中“封閉性”的研究。近年來，我對人工智能70年來的主要進展進行了總結，發現有兩種人工智能思維是現有研究成果中相對最成功的：一種是“暴力法”，另一種是“訓練法”。

暴力法的基本原理是：依據問題的精確模型建立知識表示/搜索空間；壓縮知識表示/搜索空間以滿足可計算性；在壓縮空間中通過“推理法”或“搜索法”，窮舉問題的可能解，找出其中的最優解。訓練法的基本原理是：建立問題的元模型；參照元模型，收集訓練數據并進行人工標注，選擇一種合適的人工神經網絡結構和學習算法；依數據擬合原理，用標注數據訓練元模型中參數值（人工神經元網絡連接權重），得到問題的一個具體模型。

通過總結我還發現，引起巨大轟動的AlphaGo Zero實際上采用了四項人工智能技術。其中兩項是暴力法技術——簡化的決策論規劃模型和蒙特卡洛樹搜索，用這兩項技術進行“自博”（自己和自己下棋），自動產生大量博弈數據和標注，這些數據不僅包含人下過的棋，也包含很多人沒下過的棋；另外兩項是訓練法技術——殘差網絡和強化學習，以自博產生的數據，用強化學習算法訓練殘差網絡，從而將自博獲得的實戰經驗凝練在同一個人工神經網絡——殘差網絡里，最終這個網絡的下棋水平遠遠超過了人類。所以，AlphaGo Zero是暴力法和訓練法相結合的勝利，認為它僅僅是深度學習的勝利，是一個巨大的誤解，會產生巨大的誤導。

雖然暴力法和訓練法都取得了巨大進展，但它們在實際應用中卻面臨共同的難題，那就是“脆弱性”。脆弱性的主要表現是：當智能系統的輸入不在知識庫或訓練好的人工神經網絡的有效范圍內，系統將產生錯誤的輸出。自20世紀80年代以來，脆弱性已成為現有人工智能技術在實際應用中遇到的主要瓶頸，而訓練法和暴力法都受到脆弱性的嚴重困擾。

因此，人類面臨著一個巨大疑問和重大挑戰：以暴力法和訓練法為代表的現有人工智能技術，到底能不能有效地應用于各種實際問題？對此，已出現兩種極端觀點，且都非常有市場。一種觀點認為，人工智能技術可以無條件地解決一切實際問題，理由是：圍棋比平時遇到的問題更難，而人工智能已遠遠超過了人類。另一種觀點認為，現有人工智能技術就是“人工弱智”和“人工智障”，“有多少人工就有多少智能”，持這種觀點的人往往實際嘗試過人工智能技術應用，卻未獲成功。這兩種觀點都極大地妨礙了人工智能的實際應用和進一步發展。

深度學習: 智能時代的核心驅動能量

[美]特倫斯·謝諾夫斯基 / 著

姜悅兵 / 譯

中信出版集團，2019-02

針對這一局面，我提出了一種判別準則——封閉性：如果一個實際問題不具有封閉性或不可封閉化，那么在原理上就無法用現有人工智能技術解決；如果一個實際問題具有封閉性或可以封閉化，同時，解決這個問題的人工智能系統具有失誤非致命性和基礎條件成熟性，那么在原理上用現有人工智能技術就可以解決。不滿足封閉性的問題，現有人工智能技術是無效的；滿足封閉性，還需要滿足失誤非致命性和基礎條件成熟性。這是因為訓練法不能保證智能系統的輸出百分之百正確，而暴力法由于工程實現的原因一般也不能保證輸出百分之百正確，所以還需要具備失誤非致命性才能投入實際應用。另外，人工智能技術往往發揮“畫龍點睛”的作用，在大規模應用中需要其他技術和條件（如合適的數據）的配合，這就是基礎條件成熟性的含義所在。

人工智能封閉性的嚴格定義參見我即將發表的論文《人工智能中的封閉性》，這里提供封閉性的一種直觀描述。如果一個實際問題滿足如下兩個條件之一，則是封閉的：該問題存在一個有限、確定的模型，而且該模型與實際問題的對應也是有限、確定的；該問題存在一個有限、確定的元模型，并且該問題的代表性數據集也是有限、確定的。

封閉性的主要作用有三個方面。第一，它提供了現有人工智能技術能力邊界的一種判別準則，由它可判別哪些實際問題是現有人工智能技術可以成功應用的，哪些是不能成功應用的。根據我的調研，當前我國制造業、服務業和農業等行業中的大量實際問題是符合封閉性準則的。也就是說，這些問題或者本身是封閉的，或者可以封閉化（將非封閉性問題轉化為封閉性問題），因而都是可以應用現有人工智能技術（如暴力法和訓練法）得到解決的。現有不成功的應用嘗試，都出現在不具有封閉性或不可封閉化，或者不具備失誤非致命性和基礎條件成熟性的場景中。而現有成功的應用，都出現在滿足這三個條件的實際場景中。因此，過于樂觀和過于悲觀的兩種極端觀點都是不符合事實的。運用封閉性準則，可以幫助企業和社會更有效地識別現有人工智能技術的落地場景，減少盲目性，提高成功率，加快人工智能產業的健康發展。

第二，封閉性為人工智能的基礎研究創新提供了某種參考。任何創新都是相對于現存邊界的——跳出邊界即創新。所以，知道邊界在哪里，有助于創新；不知道邊界在哪里，不利于創新。封閉性作為一種判別準則，將所有問題分為兩類：一類是從原理上說應用現有人工智能技術可以解決的，另一類是從原理上說應用現有人工智能技術不可以解決的。例如，各種棋類、撲克、麻將等博弈問題，由于都是封閉性問題，所以用現有人工智能技術遲早可以解決，解決了也不奇怪，長期不能解決才奇怪呢。但是如果在這些博弈中作弊，“出老千”，那就破壞了它們的封閉性，現有人工智能技術從原理上說就不靈了。人類在正常的生產和生活中，不可能用作弊的方式去解決非封閉性問題，而這些問題本質上比封閉性問題更難，所以我們需要發展更強大的人工智能技術，而這些新技術的研究方向應瞄準非封閉性帶來的內在難點。因此，封閉性可以幫助我們更有針對性地展開人工智能基礎性研究。

封閉性的第三個作用在倫理方面。近年來，很多人擔心人工智能技術已經過于強大，擔心存在技術失控、技術統治人類的風險。現在我們知道，現有人工智能技術只對封閉性問題有效，而現實中的大部分問題是非封閉的，人類比現有人工智能技術更擅長應對這些問題，所以現有人工智能技術不可能統治人類，將來能不能還不知道。這種情況下，過分擔憂人工智能技術失控是沒有科學根據的，如果由于不必要的恐懼而延緩人工智能的實際應用，就更不明智了。所以，封閉性可以幫助我們形成對人工智能更符合實際情況的看法，進而采取更合理的態度和做法。

此外，從長期的觀點看，對于未來人類應該發展什么樣的人工智能技術，封閉性也給我們提供了某種助力。未來人工智能的發展肯定會向著非封閉性方向努力，那么我們就可以提前考慮：哪些非封閉性問題可以放心地交給人工智能，哪些不可以，如果一些問題需要交給人工智能，那就需要考慮應該采取什么風險防范措施。而對于現有人工智能技術，我們知道它們不可能控制人類，所以真實的風險是技術誤用，比如隱私、安全、公平性等方面的現存問題和未來隱患。這樣，我們就能夠更有針對性地聚焦和解決現有人工智能技術的誤用風險。

總之，在當前這個人工智能發展的十字路口，封閉性可以幫助我們獲得對人工智能更符合真實情況的了解、認識和理解，采取更符合社會需要和人類根本利益的態度、決策和行動。

為什么：關于因果關系的新科學

[美] 朱迪亞·珀爾、[美] 達納·麥肯齊 / 著

江生、于華 / 譯

中信出版集團，2019-07

您是中科大機器人實驗室主任，也是中國人工智能學AI專業倫理委員會負責人，在您看來，2019年人工智能領域最重要的趨勢/問題是什么？

陳小平：美國人工智能年會（AAAI）是國際人工智能的三大綜合性頂級會議之一，今年的論文注冊數突破10 000篇，有效論文投稿數接近9 000篇，而在“正常年份”，一般只有2 000至3 000篇論文投稿。另外兩個綜合性頂級會議的投稿也出現了類似情況。可見在國際學術界，人工智能的升溫速度之快、熱度之高，遠遠偏離了正常情況。論文投稿中，中國貢獻了最大比例的增量。

20世紀80年代也曾出現過類似情況（不同只在于當時中國的參與度極低），升溫極快極高，接著很快就陷入了第二次人工智能“寒冬”。任何事物都是以高潮—低潮交替出現的形式發展的，這是規律，不可能違背。真正需要關心的問題是：這次會不會歷史重演，進入第三次人工智能“寒冬”？

因此，現在中國和世界面臨著人工智能的一個重大歷史關頭。決定人工智能歷史走向的關鍵在于能不能實施現有人工智能技術的大規模應用。只要能，而且確實實現了人工智能的大規模應用，就不存在所謂的“第三次寒冬”，從而打破人工智能“熱潮之后必為寒冬”的歷史慣例，改寫人工智能發展的底層邏輯，進入一個與以往本質不同的全新歷史階段。反之，如果不能實現大規模應用，一切都和前兩次熱潮一樣，我們憑什么規避“第三次寒冬”？

根據封閉性準則，現有人工智能技術已經具備了大規模應用的能力。所以從技術上說，人類已經獲得了規避第三次人工智能寒冬的現實可能性。這是封閉性的根本意義所在。當前人工智能發展的重中之重是：如何在相關產業中，根據封閉性準則，積極開展大規模應用？由于中國傳統產業規模大、升級需求強，社會各界積極性高，其他條件也比較好，所以中國在現有人工智能技術的大規模產業應用中，面臨著最大的機遇。當然也存在極大的挑戰。

在今年出版的眾多人工智能領域的圖書中，是否有讓您讀后感到“眼前一亮”的？

陳小平：我見到的今年出版的人工智能圖書中，有三本是比較有意思的。一本是特倫斯·謝諾夫斯基（Terrence Sejnowski）的《深度學習》（The Deep Learning Revolution）中譯本，書中提供了大量人工智能歷史資料和技術評論，對于加深讀者對深度學習和人工智能的理解很有幫助。第二本是朱迪亞·珀爾（Judea Pearl）的《為什么：關于因果關系的新科學》（The Book of Why: The New Science of Cause and Effect）中文版，在深度學習大熱之際，出版者推出這本屬于完全不同技術路徑的因果推理專著，需要很大的勇氣和很強的專業眼光。這本書以及這一類書的出版，對于培植我國的學術土壤、幫助我國人工智能及相關領域專業人士和學生拓展學術視野，非常有益。第三本是蓋瑞·馬庫斯（Gary Marcus）和歐內斯特·戴維斯（Ernest Davis）的《重啟AI：構建我們可以信任的人工智能》（Rebooting AI: Building Artificial Intelligence We Can Trust，Pantheon，2019年9月10日出版），這本書對人工智能的發展水平做了深度分析，指出當前社會上對人工智能的流行看法過分樂觀了，現在的人工智能與“像人的人工智能”還相差很遠。

西方有一句諺語：如果一個人手里只有一把錘子，那么在他眼里一切問題都是釘子。人工智能顯然不是一顆釘子，所以不可能只靠一把錘子就能奏效，一定少不了來自不同角度的思考。如果能綜合上述三本書的觀點，我們對人工智能的看法就會更全面一些。

Rebooting AI: Building Artificial Intelligence We CanTrust

Gary F. Marcus, Ernest Davis

Pantheon, 2019-09

雖然如此，我并不完全贊成三本書的所有主要觀點或主要結論。三本書中，第三本書最接近我的觀點，尤其書名Rebooting AI，簡練而形象地表達了人工智能當前發展態勢的一個方面：人工智能的長期目標不可能通過現有技術成果的連續性簡單積累而實現，我們需要某種徹底反思和某種重大改變。我在《開放時代》2018年第6期發表的文章《人工智能的歷史進步、目標定位和思維演化》中，也對現有人工智能的局限性做了自己的分析和評論，與該書有共同點，也有不同點。兩點根本性不同如下：

第一，我認為當前人工智能的當務之急是：利用現有人工智能技術，而不是指望需要幾十年甚至更長時間才有可能實現的未來技術，在滿足封閉性等三個應用條件的場景中，實現人工智能的大規模產業應用，而不能等待人工智能基礎研究取得更大突破之后，再進行大規模產業應用。封閉性為這個判斷提供了基本依據。對于封閉性問題和非封閉性問題，需要采用本質上不同的人工智能技術，指望一種“全能型”人工智能技術“包打天下”，是不符合實際情況的。現在我們已經得到了能夠應對封閉性問題的人工智能技術，還等什么？當然，同時也需要投入一定的力量，對非封閉性問題展開基礎研究，但絕不能用非封閉性問題的基礎研究替代和干擾封閉性問題的大規模應用研發。

第二，對于人工智能的長遠目標，有必要進行更深刻的反思，特別需要深思的一點是：傳統主流觀點——“像人的人工智能才是真正的人工智能”，很可能不是一個恰當的科學概念和一個正當的長期目標。到底什么是“像人”？例如，蒙特卡洛樹搜索是AlphaGo Zero的四大核心技術之一，是人工智能搜索法的一個技術高峰。可是早在20世紀70年代，認知心理學實驗就證實，搜索是人類常用的一種基本思維技能。而人工智能搜索技術與人類搜索技能的差別主要在于，前者是對后者的科學化、系統化、算法化，二者的基本原理是類似的。那么在這個意義上，使用蒙特卡洛樹搜索的AlphaGo Zero，像不像人？AlphaGo Zero的其他三項核心技術也存在類似情況，或者在腦神經科學中發現了人類淵源（深度學習），或者在人的思維實踐中存在類似原理（決策論規劃、強化學習）。既然四項核心技術都是如此，AlphaGo Zero像不像人？憑什么說它不像人？到底怎樣才算“像人”？

因此，至多可以說，現有人工智能技術“像人”的程度沒有達到某些人的期望。但是，我們為什么要讓人工智能“像人”？最終的原因是，我們希望人工智能可以解決更多問題，根本之處在于能解決哪些問題。根據封閉性準則，未來研究的重點是解決非封閉性問題。可以預見，未來的人工智能技術，不管像不像人，都必須能夠解決非封閉性問題，或者更好地解決封閉性問題。

您明年有哪些研究計劃，會特別關注哪些方向？

陳小平：明年我和我的團隊在基礎研究中的工作重心是某些行業應用中的非封閉性問題，其實今年已經取得了根本性進展，明年將針對具體行業應用加快推進。同時，人工智能倫理建設也是擺在我們面前的一個重大挑戰。當然，由于現有人工智能技術的大規模應用具有最高緊迫性，明年我們將投入更大力量，為人工智能的產業化推廣做出自己的貢獻。

（原載于《信睿周報》第16期）