·2018年，Google在做BERT大模型的時候，OpenAI堅持用GPT，就是說，堅信所有的問題都可以歸結為從上一句預測下一句，簡化整個流程。思想非常簡單，但是它把這個東西推向一個高度，即不斷增加模型的大小，增加數據。這個過程中，它發現了一種涌現能力。

“OpenAI是按一定的節奏釋放，它會管理世界對它的預期。我擔心的是，實際上已經有更偉大的技術。而且，如果下一代的范式不是這樣的呢？那我們永遠就這樣被動地抄嗎？所以更主要的是范式，就是要有一種新的研究范式，而不是被動地抄作業，這個我覺得需要更多的頂層設計。”

【編者按】2023全球人工智能開發者先鋒大會期間，澎湃科技在上海臨港中心會場開設“元宇宙聊天室”。2月26日下午，算法競賽大神、《機器學習算法競賽實戰》作者王賀（魚佬），小冰公司工程副總裁王寶元與上海市人工智能行業協會秘書長鐘俊浩，探討了對ChatGPT的冷靜思考、自然語言大模型帶來的啟示和AIGC的實際應用，并展望了通用人工智能（AGI）的實現路徑。以下為對話實錄，有刪減。

最大啟示：結構性創新，模型的統一

鐘俊浩（上海市人工智能行業協會秘書長）：ChatGPT的表現不僅在外界看來是驚艷的，甚至也在其研發團隊的意料之外，你怎么看這個問題？

王寶元（小冰公司工程副總裁）：這個問題很有意思。如果你站在科研人員的角度看，我想他們一定有意料之中的部分，但同時有一些驚喜。意料之中的是，我們看OpenAI過去五六年的發展歷史，從GPT-1、GPT-2、GPT-3、GPT-3.5到現在呼聲很高的GPT—4，它整個思想一脈相承。2018年，Google在做BERT大模型的時候，OpenAI堅持用GPT，就是說，堅信所有的問題都可以歸結為從上一句預測下一句，簡化整個流程。

思想非常簡單，但是它把這個東西推向一個高度，即不斷增加模型的大小，增加數據。在數據模型大小指數級增加的同時，對算力的要求提升到極致。這個過程中，它發現了一種涌現能力。就是說，涌現出一些連設計人員當初都沒有想象到的能力，這部分就叫意外驚喜。

簡單來說，首先我們還是對這幫人非常敬仰，他們在堅持做一件事情，非常有韌性，堅持自己的理念，逐步往前推進。那么當你的能力跨越一定閾值的時候，就會發現出現了一個特別的能力，可能有意外驚喜。

王賀（算法競賽大神、《機器學習算法競賽實戰》作者）：像人機對話其實早些年就已經有了，但沒有像現在這么智能，能夠疊加這么多問題，回答得比較細致，或者說好像發現不了有什么問題。其實還是蠻讓我們意外的。

你讓它去Debug（排錯）一個代碼，它可以幫你。你只要有一個自己的想法，然后讓它去實現代碼，它可以快速實現。同時你也可以在這個基礎上讓它不斷優化，或者我們可以給它灌輸一些思想。這是之前人機對話所無法達到的。包括讓它去制作一個表格，它都可以很出色地完成。

鐘俊浩：但學界也有一些聲音說，ChatGPT只是表現驚艷，從整個技術的底層邏輯來講，ChatGPT到現在為止沒有太多的改變，只是基于把數據堆大的暴力計算。

王寶元：對，我也聽說過很多這樣的觀點，特別是研究人員。像著名的教授蓋瑞·馬庫斯 （Gary Marcus），他幾乎天天在Twitter上噴Deep Learning（深度學習）這個框架沒有任何新意。包括MIT（麻省理工學院）的教授，像諾姆·喬姆斯基（Noam Chomsky），他天天說GPT對自然語言本身的理解貢獻是零。但是這不妨礙ChatGPT、GPT-4可以做出偉大的系統。所以一個主流的觀點認為，現在AI研究在工程化。

然而我認為，大家顯然低估了這個龐大系統開發的難度。人們往往用一個單點技術去評價這場革命，但它往往不是一個單點，而是一個結構性的創新。比如說算法有突破嗎？當然有，基于人類反饋的強化學習算法。工程上有創新嗎？必須有。一個模型有1750億參數，在這之前沒有一個系統能把這么大參數量的模型裝載，都不要說做訓練。所以我覺得可能很多人只是站在一個很窄的維度去看待它，批評它。

當然它現在有很多回答不了的問題，或者會捏造一些事實。但我覺得隨著技術的突破，這種問題逐步會被解決。我覺得從某種角度上講，蓋瑞·馬庫斯其實對Deep Learning有正面的貢獻，他通過批評輔助大家找出這些系統的漏洞，所以我自己覺得還是很了不起的。我覺得OpenAI當然是值得國內的很多企業去學習，為什么他們能做出這樣的創新。

鐘俊浩：我們剛才講到它的暴力計算，同時我們還不能回避的就是2017年谷歌推出的Transformer，今時今刻所有的語言類模型，都建立在Transformer的基礎上。能不能把這個點再講一講？

王寶元：Transformer確實是一個非常了不起的發明。因為不光是NLP（自然語言處理），比如說我們做CV（計算機視覺）內容的生成，很多任務也已經全面轉向Transformer。

我覺得這里面不是一個單點突破，而是逐步的，有了Transformer才有了GPT，有了BERT，有了GPT-1，慢慢有了GPT-2，包括像CV里的Diffusion Model (擴散模型）也很熱門。AIGC（人工智能生成內容）里，我們看到關于文本內容生成，甚至視頻內容生成，或者三維的幾何Mesh（網格）的生成，基本上它的底層結構都是Transformer。因為有這么一個底座的模型，然后繼續在上面添磚加瓦，發明一些新的技術。所以它的偉大之處就在于改變了一個范式。

神經網絡當然在一些任務上依然還是很方便，但是如果問我若干年以后還是Transformer嗎？有可能不是。比如山姆·奧特曼（OpenAI首席執行官Sam Altman）認為Transformer這個結構有其偉大之處，但是依然有很多問題。所以我覺得它一定會逐步被一些很聰明的人迭代掉。

鐘俊浩：從谷歌所走的技術路徑來講，它是先有一個底層的通用模型，然后再在上面長出很多小模型去應用于各項應用。而像ChatGPT就直接走到了另外一個路徑，直接就是叫AGI（通用人工智能），不是一個大模型再去支撐小模型，而是要一個大模型去解決通用人工智能的問題。

王寶元：我覺得你講了一個很有趣的點，就是AGI。我們在討論AGI的時候，每個人心里對它的定義不見得在一個尺度上。所以當我們在討論一個還沒有到來的東西，或者說我們沒法定義清楚究竟是什么的時候，這個是有難度的。但我覺得OpenAI的目標顯然不是說做一家三四年的公司，它一定是有非常長遠的愿景，要做成能夠帶給世界AGI能力的一家公司。目前看ChatGPT，它叫AGI嗎？在我的認知里，它肯定不是。它只是展示出了比GPT出來之前所有你可能接觸到的AI模型更強大的一種能力。但是這種能力在AGI是什么階段，我自己說不清楚。

鐘俊浩：如果我們具象一點說，ChatGPT或GPT-3.5，它帶給我們最大的啟示是什么？

王寶元：我覺得第一點就是模型的統一。原來大家都是小模型，現在它證明了用一個深層次的大模型，就是從左預測右這個領域，可以統一幾乎所有的任務，原來是為每個領域的每個子問題設計一個專門算法。

鐘俊浩：它是僅僅局限在，比如一問一答的NLP領域，還是涵蓋到知識類的所有內容？

王寶元：我覺得總結起來一句話，它展示了用自然語言作為交互，就是所有任務都可以通過這個語言描述去表達。這可能是一個非常偉大的，原來沒有出現過的從零到一的突破。這就是我剛才說的它統一了。

第二，它展示了強大的可擴展性，可以直接泛化去解決一個沒有訓練過的新任務。但是帶來的問題是，針對原來的很多子任務會不會是大炮打蒼蠅？比如說我要判斷一句話涉不涉及敏感內容，就是對這句話做個分類任務。這樣的任務可能比較簡單，用不著一個1750億參數的模型才能算出。

所以我覺得它下一步應該是考慮對各種應用有什么辦法，因為已經有了這個大模型，那我解一些小模型、小任務的時候，可以有一個更好的方式。我覺得這個具體方式還是要先觀察。如果從經濟上來算的話，全部走大模型肯定代價有點大了。

鐘俊浩：那么從你的這個邏輯而言，大模型在落地應用中，還是更偏向于原先在Transformer基礎上面，大模型疊小模型更合適一些。

我以前的理解是，人工智能還是需要和行業的Know-how（技術訣竅、專業知識）結合，去熟悉人家的行業，才能改變這個行業原先用人效率不高、高度重復性、準確率不高的問題。但這一次，有了ChatGPT以后，我倒有點困惑了，讓我感覺它啥事都能干了，那這個行業的Know-how到底還要不要？今天聽王博士這么一說，一個通用大模型上還是得知道行業的Know-how。

王寶元：對。即便對OpenAI來講，它也是講，底座是通用的，上面要alignment（對齊），就是說我具體要做這樣的任務還是要有各種指令。另外，我覺得CV目前還沒有一個能夠放之四海皆準的通用大模型，人臉模型依然是一個特解，在通解和特解之間，在CV領域我還沒有看到一個確定的結論。

王賀：ChatGPT基于全網的一些數據，很多數據來源于開源。但要鉆進某一個比較小的領域，比如像金融或一些制造業，它數據非常少，在解決這個問題的時候就可能會面臨一些困難，或者說初期可能泛化性比較差一些。所以我覺得還是需要去結合一些領域內的知識。如果讓用戶體驗更好一些，就需要把用戶本身的數據信息和推薦系統結合在一起，去定制化做出一些推薦。

2月26日，在澎湃科技“元宇宙聊天室”，三位嘉賓就ChatGPT的啟示和AIGC的實際應用展開交流。從左向右依次為上海市人工智能行業協會秘書長鐘俊浩、小冰公司工程副總裁王寶元、算法競賽大神王賀（魚佬）。

要多語言訓練，不能只用中文

鐘俊浩：今年，大家把ChatGPT的出現比喻成iPhone的出現。能不能從實際體驗講講，它有沒有讓你感覺，像iPhone曾經顛覆了對手機的認知？

王賀：我感覺現在其實還沒有大規模應用起來，更多還是做一些測試或者輔助一些問題的解決，比如準備一個發言稿。

之前很多人會問，人工智能會不會慢慢替代AI開發者？我覺得這可能需要一定過程。現在更關鍵的是，它不斷跟開發者起到互補作用。就像深度學習，它可能就像一個黑盒，有監督的訓練肯定比無監督的更好一些。就像我們去開發一個軟件，還是需要開發者加上一些策略和規則才能讓它更好適應環境，學習得更好一些。

王寶元：我補充一點。我自己在微軟工作了十幾年，我離開微軟之前知道GitHub上的Copilot（編程工具），就是輔助開發人員去寫code（代碼）的。微軟CEO最近的一些演講，實際上就在說這個東西已經極大幫助到了開發人員，提高了至少百分之30%的效率。就是說它不見得完全替代，但是可以輔助，提升效率。比如原來完成一個模塊的功能需要一個小時，現在可能20分鐘。那么客觀來講，很多開發人員的工作就可能減少了，或者輕松了。

可能確實是在早期嘗試階段，但是我的判斷是這個趨勢勢不可擋。它是一個新的人機交互范式，這是不是要重構所有已知的應用程序？第一，交互界面需要變。第二，它會不會重構整個AI在各個領域的應用程序？

鐘俊浩：我自己先做個預判，一定要重構了。未來整個體系一定會在一個新的秩序和狀態下產生。

王寶元：我比較認同這個看法，我覺得這里面其實很多東西才剛剛開始。比如誰來統一負責完成AI化或者“ChatGPT化”，它的模式是怎么樣的？在整個版圖中，每家公司的定位在哪里？比如說OpenAI跟微軟結合，這個定位非常明確，就要做底層的能力，那么它當然是希望所有人用OpenAI，不要重復造輪子，可別人也造不了。

鐘俊浩：回到最初的問題，ChatGPT的出現會帶來智能手機跟功能手機之間這么大的一個躍遷嗎？

王寶元：我想2007年iPhone橫空出世的時候，也沒有人能夠預測它帶來的影響會那么大。現在可能就是說我自己沒有能力預判ChatGPT會不會帶來這種影響，但我總體是非常樂觀的。

鐘俊浩：之前我們說數字鴻溝，現在我發現我跟ChatGPT有鴻溝。跟ChatGPT聊得很好，需要能夠用它的語言模式交流。我覺得還沒有特別掌握怎么跟ChatGPT交流和溝通，這也是有鴻溝的。

王寶元：我覺得這個要分開講，ChatGPT只是OpenAI放出的一個demo（演示），我們不能以一個demo的體驗來評判將來產品的可能體驗，所以我們更多是說這個demo展示出的底層技術能力讓我們非常佩服。

如果要真正解決這個鴻溝問題，我覺得反而是人工智能應該要嘗試的，比如它的交互界面更加方便，讓老人更容易使用。我很期待真正基于ChatGPT背后底層技術的產品，看看它能創作出什么了不起的產品去解決鴻溝問題，讓更多的人去接近它。

鐘俊浩：都說做中文版ChatGPT要比做英文版的難多了，中文說同一個詞但用不同口氣表達出來含義就完全不同。由于本身數據不夠優質，是不是中文版ChatGPT的交流和交互勢必會比英文的更困難？

王賀：我覺得勢必是比較困難的。包括我們對話的時候其實需要考慮的點非常多，所以不僅要理解它本身的潛臺詞，可能還有一些方言，又或者一些反話，這些都給人機交互增加了很多難度。

王寶元：如果我們看OpenAI這些模型，它當然并沒有專門針對中文，肯定是多語言以英文為主。但我們發現它在中文上的泛化能力也很不錯。可能還是要多語言訓練，不能只用中文。

可能更難的問題是隱喻，就是中文里蘊含的一些更深層次的，比如反諷這樣理解難度比較大的問題。從理論上講，它就是碰巧匹配了數據庫中類似的信息，應該不具備隱喻能力，這種問題目前看來還是比較難解的。中文版ChatGPT我相信一定要借助英文。

理論上，雖然世界上的語言有幾百種，但是人類的智慧、表達思想的方式其實有很多共性，只是最后那個詞的寫法不一樣。所以多語言放在一起，我覺得能學到更多人類的先驗知識。這樣的知識有一定的共性，所以才有大模型的跨語言遷移能力。我自己覺得，如果我國機構要做類似的，那肯定是要用英文。而且可能英文的訓練質量也蠻高的，有各種高質量的書籍等。一定不能只用中文。

OpenAI會管理世界對它的預期

鐘俊浩：從ChatGPT往前推人工智能技術，一直說它其實就是統計學，但今天在ChatGPT呈現的形態上來說，好像它已經具備了邏輯。這聽上去是兩件事兒，一個用的是數據和關聯性，另一個是在交流過程中看起來帶著思想，具備一定的邏輯性。怎么看待這個問題？

王寶元：從本質來講，給大模型注入數據的量以及注入方法，實際上極大促成了它看起來像有推理能力。比如以我在大模型上做思維鏈（cot）為例，cot實際上是一個人發明的針對大模型特性的一種trick（戲法）。就是它不是什么特別復雜的數學公式，統計上的某個原理，它實際上就是一個人類的直覺，但這個直覺是定制化給大模型的。

比如當大模型大到一定程度，因為要把海量的數據壓到一個模型里，勢必要強迫它學出一些規律。就像從左預測右，其實復雜程度很高。根據很長的歷史記錄去判斷下一個字很有可能是哪個字，這其實就是一個純粹的統計概率問題。那么找到這個模式就會令這個模型看似有推理能力，為什么呢？因為人類講一句話，寫一篇文章，都是有邏輯的。

另一個就是顯式地注入一種邏輯，比如說ChatGPT背后的技術叫Instruction（指示學習，Instruction Learning)。怎么看起來具有邏輯呢？就是當你問我問題的時候，我要給你專家的這種有邏輯的答案。比如你要列出上海有哪些五A級景區，那答案就要寫ABCD幾個，寫得非常專業，有邏輯性，有條理性，有結構性。這樣的數據是要標的，只是這個標的量跟預訓練相比幾乎可以忽略。但一定要給它這樣的任務，讓它輸出有條理有邏輯有結構的答案，然后讓大模型學出來。

鐘俊浩：可能這樣只是讓一個小孩學會了大人的聊天方式，慢慢讓它成長，它持續往后再去成長的話，或許也能達到一個專家的水平吧？

王寶元：我覺得現在大家可能把它想得太強大了。我們看到它的能力大部分還是研究人員賦予它的一種規則。只是現在這個能力大模型學會了，學會給的這個指令，然后讓可能不在這個領域的人比如用戶覺得有邏輯。但在我們看來的話，它就應該要這樣，研究人員教了這些。

鐘俊浩：如果現在要ChatGPT跟一個小孩聊天，也可以聊得挺好，是這個意思嗎？

王寶元：這個完全能做到，現在如果給我一堆小孩聊的語料，就是說小孩喜歡問什么樣的問題，講話風格是什么，等等。只要給我這樣的語料，現在是已經能做到了。

只是現在ChatGPT沒有做這么細，它只是一個demo。比如我們公司做AI Being（類似虛擬人的概念），我們要求每個AI Being有自己的Persona（性格特性），比如是一個18歲的少女還是某個游戲里面的角色，還是某個真人的數字孿生。要讓別人感知到這個Persona，需要有相應的語料。

鐘俊浩：ChatGPT未來會不會持續成長，而不是說一定要教給它這種專家邏輯，讓一個小孩學會大人講話？

王寶元：我覺得不會，它要持續學習的話，得有一種教它怎么learn（學習）的機制，這個機制是要人類設計。

鐘俊浩：ChatGPT的參數已經達到1750億，我們還能不能再以指數級這種速度往前走？

王寶元：這個一定要考慮背后的工程代價和經濟代價，這會是極大的資源消耗。

鐘俊浩：持續加大算力，繼續用工程化的思維解決問題，它會不會越來越聰明，越來越接近于人腦？

王寶元：我覺得這個問題有點理想化，即資源是不設限的。如果讓我站在這個位置，我可能不會去做這樣的事，我覺得應該有更有價值的事情，比如在現有基礎上怎么去落地。因為它已經展示出很強大的能力，已經能夠解決很多現實場景的應用。那么有沒有可能趕緊去鋪大量的應用，用大量的應用反哺模型，這會不會帶來新的發現？這個是科學和工程上要一起驗證的假設。

鐘俊浩：最后，能不能從應用角度展開講一講ChatGPT到底給我們帶來了什么？

王賀：比如寫論文，另一個角度就是我們還需要辨別論文是不是用ChatGPT寫的。我們用它，它其實就是一個輔助的作用，就像一臺電腦一樣，能夠幫我們快速搜索，幫我們完成一些簡單的事情。但是在應用的時候，我覺得還是需要我們去賦予一些思想，一些邏輯。不是說完全不用寫代碼了，它寫的代碼我們一定要去用嗎？其實它也是給我們一種思路，或者和我們進行一些對比。核心點還是輔助，然后提高整體做事情的效率。

王寶元：我很同意，首先肯定是一個效率提升的問題。就是它會輔助人類做一些事情，極大地提升效率，這個一定會在各行各業很快開花結果，這是我覺得它最大的價值。

我們應該以什么樣的心態去擁抱它？我覺得就像自動駕駛，很多資本現在推自動駕駛已經推了十年了，它最大的社會價值就是要解放人的雙手，難道真的有人喜歡一直開車嗎？這個提升人類生活質量的體驗是非常正向的，那我們要擁抱它。

開車或者說之前被打字替代的寫字，就是一項技能，隨著技術演進，它是不是應該隨著技術發展？我覺得還是應該積極面對，應該把人類引到做非重復、有創造力、需要激發靈感的事情上。那么我覺得這些工具反而會助力人類創造力，或者人類發現新知識。像AI For science也是這個目的，用新的人工智能工具讓我們提高發現知識的效率和頻率，以及成功率。

所以我總體來講還是非常樂觀。就是這個過程中需要政府出臺相關的法規，降低可能的負面影響。就像劍是雙刃的，換臉可以做非常正面的應用，也可以做壞事兒，那是另外一個層面的問題。

鐘俊浩：像ChatGPT已經把標桿豎在這兒了，可能中國學界或業界大家都挺著急的，它做出來了我們怎么辦。有一些人說，不用著急，用這些基礎數據、基礎邏輯，應該這半年就能趕上。另一種理論說，趕不上了，三年都不可能做得到。兩位怎么看這個問題？

王寶元：問題非常好，大家都在思考這個問題。我覺得我們還是要把技術跟產品分開看。不能講谷歌、Meta沒有這樣的技術。技術本身也是一個有時候線性、有時候非線性的發展過程。而且我覺得OpenAI并沒有藏著掖著，至少大的思想層面大家都知道，更多的可能是系統層面，就是所有東西放在一起的能力。

如果抄作業，就是人家做了什么我們去抄，那多多少少抄個50分、30分、70分，有沒有這樣的可能性？當然有。但我更擔心的是整個研究范式的遷移。

大家思考為什么OpenAI可以持續不斷做出這樣的東西，而且它放出的東西是兩年前的。ChatGPT公開幾個月，新必應就馬上集成進去了，就是說這些大模型在內部早就訓練好了。OpenAI是按一定的節奏釋放，它會管理世界對它的預期。我擔心的是，實際上已經有更偉大的技術。而且，如果下一代的范式不是這樣的呢？那我們永遠就這樣被動地抄嗎？比如說現在要百分之百復刻ChatGPT，一定不是幾個月的時間。如果到那個階段，你以為你達到了，可是人家用一種新的方式甩開了。

所以更主要的是范式，就是要有一種新的研究范式，而不是被動地抄作業，這個我覺得需要更多的頂層設計。

王賀：對，這個并不是一蹴而就的，而是沉淀了很久。其實目前國內很多企業，包括我了解到，一些很小團隊的經營人被領導要求去做這件事情，這種企業非常多。它們并不太擔心，或者說這個和它們并沒有太大關聯，只是把這個技術應用于場景、應用于業務。可能有一些大企業會擔心這件事情，它們想快速做出來或者說不掉隊。

（對話實錄由邵文整理，看直播回放視頻請點擊這里）