“當模型的參數規模還不太大的時候，你看不到它的強大，當達到某一個臨界值時，這個模型就會非常強大，目前我們認為這個參數規模的臨界值可能是650億。”

“什么數據是最好的數據，我認為紙質的媒體、書、報紙是最好的。大家發現ChatGPT說的話是很漂亮很流暢的語言文字，而如果我們用論壇、微博等平臺上的文字訓練它，它說的內容可能就不是那么優美了。”

復旦大學計算機學院教授、博士生導師黃萱菁。

“當模型的參數規模還不太大的時候，你看不到它的強大，當達到某一個臨界值時，這個模型就會非常強大，目前我們認為這個參數規模的臨界值可能是650億。”近日，復旦大學計算機學院教授、博士生導師黃萱菁在由復旦大學管理學院主辦的“復旦科創先鋒論壇”上說道。 她認為，在肉眼可見的未來，善用AI的人將和不用AI的人在工作效率上產生巨大差距。

黃萱菁曾入選“人工智能全球女性”、“AI 2000人工智能全球最具影響力提名學者”及“福布斯中國2020科技女性榜”，主要從事人工智能、自然語言處理和信息檢索等方向研究，是復旦大學研發MOSS大模型的團隊成員。

3月14日，OpenAI發布其具有里程碑意義的多模態大模型GPT-4，同時透露GPT-4已在新必應（New Bing）中應用。GPT-4的強大表現令人驚艷，支撐它的技術邏輯是什么？在復旦科創先鋒論壇現場，黃萱菁做了詳細的科普。澎湃科技（www.kxwhcb.com）根據其現場講話整理了以下要點。

1.什么是語言模型？

無論學習漢語還是英語等語言，都是從語法開始學起。但是光有語法，我們依然很難捕捉客觀世界紛繁復雜的語言現象，因為語言并不會嚴格按照語法去表達。這個時候，就需要使用到數學“武器”——概率，在各種語言現象中去尋找規律。

舉個例子，“The cat sat on the mat”和“The cat sad on the mat”兩句話。假設語音識別任務需要根據讀音判斷是“sat”還是“sad”，那么通過對句子進行概率分析，就能知道什么是正確的識別結果，這個概率模型就被稱為語言模型。

概率模型是有窗口的，當窗口越來越大，所需要的計算量開銷就越大。由于句子在諸多情景下可能包含巨大的詞匯量，導致傳統概率語言模型所需的計算資源爆炸式增長。所謂大規模語言模型就是含有巨量參數，能夠接受很長一段時間窗口的語言文字。

2.預訓練模型有哪兩種思路？

2017年開始，出現了一個叫做Transformer的模型，這個模型就是現在預訓練模型的基石，也是大規模語言模型的基石。傳統的預訓練模型有兩種思路，第一種思路是以BERT（Bidirectional Encoder Representation from Transformers）為例的理解模型，另一種思路是以ChatGPT所基于的GPT（Generative Pre-trained Transformer）為代表的產生式模型。當然也有一些工作嘗試把理解模型和產生式模型結合起來。

曾經在很長一段時間里，理解式的模型被使用得比較多，而產生式模型則需要更高的算力和更長的窗口。一直到有了GPT-3之后，大家才知道它如此強悍，等有了ChatGPT，其還擁有很強的理解人類上下文的能力。

3. ChatGPT的出現帶來什么樣的范式革新？

我們生活在一個飛速變化的時代，每個星期都有新的模型發布。

預訓練+微調的方式是前ChatGPT時代的范式，諸如Google、OpenAI這樣的大廠將自身開發的大模型開源，供下游應用者在這些模型上進行參數微調，以取得優異的表現。比如，電影影評有正面和負面的，我們要進行分類，僅僅用GPT和BERT效果不夠，需要人工標注一批任務相關的數據，對模型進行微調。過去大概三年的時間，這種預訓練+微調的范式就是自然語言處理的主要范式。

預訓練+微調范式帶來了自然語言處理的新時代，對上游和下游都帶來深遠影響。上游是廠商制造出越來越強大的模型，模型的參數規模以指數增長；下游則是將預訓練的大模型合理應用到各種任務上。

過去兩年有一個非常時髦的概念叫小樣本學習或少樣本學習。剛才我們說，如果要完成某一個任務，可能需要人工標注大量的數據，但在少樣本場景之下，只需要一兩條數據，大規模語言模型就能夠表現出相當不錯的性能。

不過，當語言模型變得更大時，一方面廠商出于商業原因逐漸舍棄開源，OpenAI沒有開放過GPT-3模型，只開放API（應用程序編程接口），也就是說可以調用，但拿不到內部細節。ChatGPT連論文都沒放出，只能靠大家猜測。另一方面用戶也缺乏足夠的計算資源使用大模型，所以我們非常期待國產芯片，能夠讓我們擁有更多算力去運行大規模語言模型。

這樣的情況之下，我們有了一個新的范式，就是要利用大規模語言模型的涌現能力。

4.涌現能力是什么？

所謂的涌現能力是什么？當模型的參數規模還不太大時，你看不到它的強大，當達到某一個臨界值時，這個模型就會非常強大，目前我們認為這個參數規模的臨界值可能是650億。

早期的GPT-3還不太理解用戶的需求，但最近不管是ChatGPT還是我們實驗室開發的MOSS，都擁有了比較強的寫代碼能力。我們發現代碼是非常好的數據。因為代碼有邏輯性，是結構化的，還帶有注釋和文檔，我們可以進行語義方面的對齊（Alignment，保持一致）。至于什么數據是最好的數據，我認為紙質的媒體、書、報紙是最好的。大家發現ChatGPT說的話是很漂亮很流暢的語言文字，而如果我們用論壇、微博等平臺上的文字訓練它，它說的內容可能就不是那么優美了，這一點很有趣。

5.如何解決大模型開銷巨大的問題？

GPT-3發布于2020年，只公開了API，人們只能通過接口使用，并授權了很多公司在上面開發小業務。通過這個過程，其搜集了大量的用戶行為，知道哪些需求是用戶感興趣的，哪些任務是用戶關心的，基于人類的反饋來訓練語言模型，了解人類的價值觀。

訓練大模型的開銷非常大，需要大量的算力，中小公司會感到負擔很重，根本無法簡單進行這樣的語言模型訓練。于是我們可以嘗試把語言模型做成一個服務，你跟它進行交流，它給你反饋結果。我們還可以通過無梯度優化（在優化過程中不計算目標函數的梯度，只利用目標函數的值去優化目標函數）的方法寫出更加高質量的提示或者指令，讓它更大程度展現其能力。

在語言模型服務方面，我們從兩個方面開展工作，首先要開發模型基座，在過去幾年，我們開發了億級規模、十億規模到百億規模的參數，目前跟GPT-3相比，我們大概差一個數量級。此外，我們還研究怎樣利用語言模型的能力對它進行調優，讓它實現各種各樣的任務。

6.這幾年，自然語言處理范式發生了怎樣的遷移？

自然語言處理有七種范式：分類、匹配、序列標注、機器閱讀理解、Seq2Seq（輸出的長度不確定時采用的模型）、Seq2ASeq（序列到動作序列）和掩碼語言模型范式（訓練語言模型來預測被遮蓋的詞語，以便在進行文本生成或其他任務時更準確地預測語言）。這些也是這幾年自然語言處理的范式遷移。

ChatGPT強大的就是其多任務能力，不需要事先教它，它就已經能夠處理各種各樣的任務。實際上ChatGPT已經通過與人類的交流，比如標注一萬多條用戶數據，加上人工寫了很多高質量答案，再用這些數據訓練，由此知道了人類的需求。

現在我們有許許多多的公司，每個公司做一件任務，并把這個任務做到極致，就能夠占領一個細分領域。

未來自然語言處理將與現在不同。“七種武器”的時代，我們有各種各樣的范式。現在，一個模型就可以打天下。

7.MOSS是如何訓練出來的？

統一模型基座，可以用一種武器、一個方法統一所有的任務。我們在2021年的一個工作（早于ChatGPT的出現），沒有做幾千種任務，而只做了兩類。

第一類任務是情感分析，有七個小類。我們提出用生成式的框架，把一個任務轉為語言模型能生成的輸出形式。這樣的話只要少量任務數據就可以訓練出一個語言模型。我們這個模型用的基座是BART（BART吸收了BERT和GPT各自的特點），如果我們用了更強悍的基座，可以把需要的樣例減到更少。

BERT針對的是自然語言的理解，GPT是自然語言的生成。既然構造大模型的初衷是為了合眾歸一，那么能不能將它們匯總到一起？我們在2021年提出一個新的語言模型叫CPT，將理解任務和生成任務合并到一起。CPT是一個非對稱的Transformer模型結構，該結構由一個Encoder（任務間共用）和兩個Decoder（一個面向理解，一個面向生成）組成，既具備理解的能力又具備生成的能力。

我們從去年年底開始訓練MOSS，是在CPT的基礎之上訓練的。我們給它用了更多的算力和數據，訓練了兩個月，然后出來了目前這樣一個版本。

8. 在ChatGPT時代，我們該怎樣使用語言模型？

在ChatGPT時代，對于如何使用語言模型，我們有幾個思路。

第一個思路叫做Text prompt（文本提示），通過人工設計一些基于文本的指令，激活大模型面向特定下游任務的能力。但是這偏向于特征工程問題，需要工程師依據既往經驗不斷調試，十分耗費精力。

第二個思路是In-context learning（情景學習），在GPT模型上展示了良好表現。這種手段開辟了一個極具前景的方向，值得學界和工業界繼續共同研究。

第三個思路是Data generation（數據生成），不同于直接使用大模型，這種手段是使用大模型生成一定量的數據，再利用生成的數據訓練一個小體量的模型，以追求在小樣本場景下的應用效果。

第四個思路是Feature-based-learning（特征學習），把預訓練模型的輸出作為一種Feature，并結合標簽，輸入給一些特定的模型，使參數由標簽空間向特征空間靠攏，這極大地減輕了端側優化的負擔。我們提出標簽調優方法，這屬于特征學習范疇。

什么是標簽調優？我們在做機器學習時一般是先有一個特征空間，比如情感分析褒義詞和貶義詞，分詞的話可以用上姓氏、稱謂等特征。以前的做法是在標簽空間做微調，但我們發現其實還可以反而求之。我們凍結參數，然后讓標簽向參數空間調整，將來就可以用統一生成式的框架解決問題，比如在做分類任務時可以直接讓它生成類別標簽。

第五個思路是Black-box optimization（黑箱優化），讓用戶根據推理API的返回結果，使用基于搜索的無梯度優化（在優化過程中不計算目標函數的梯度，只利用目標函數的值去優化目標函數）方法自己優化指令。

并不是所有的人、所有的公司、所有的學校都可以訓練ChatGPT這樣的模型。怎么樣能夠讓ChatGPT等大模型返回更加符合個性化需求的結果？我們想了一個很巧妙的方法，在用戶指令上加一段，比如實數的向量表示，然后把它送到大模型ChatGPT，返回一個結果。這樣可以計算出來現在這個模型是不是能夠滿足我們的需求，然后我們可以去調整指示。因為我們增加的一小段向量可以修改，經過修改讓它做一些自適應的調整，得到更好的結果。

9.我們如何測試ChatGPT？

對于ChatGPT，我們已經有一些很直覺的認識，比如能寫作文，寫案件的判決，寫發言稿。它的能力范圍在哪里？首先是情景學習，給它例子，它會返回跟例子相似的答案。ChatGPT用了很多代碼進行訓練，如果大家在跟它交流的時候，讓它做數學題，而不是直接給例子，直接把這個過程用數學公式寫出來，或者用程序代碼編出來，它就會做得非常好。

ChatGPT還有一個跟人類反饋對齊的過程，它找了很多專家，對一萬多個問題寫了很多答案，用這樣的任務數據提升模型性能。然后強化學習，用它的模型隨機生成若干個答案，讓許多人標注，從而學習人類的價值取向，再用這個價值取向修改模型，用新的模型重新再去提升它的性能，最后和人類需求越來越對齊。

ChatGPT曾經參加谷歌的招聘面試，拿到L3級入門工程師的offer。除了寫代碼之外，我們也讓ChatGPT做做中國的高考題，比如2022年高考歷史甲卷的第一題，需要分析給定文本“天下太和，百姓無事”最接近的政治理念。ChatGPT分析認為，根據題干信息，這一思想最接近老子“無為而治”的道家思想，這個答案也是正確的。我們在客觀題上對ChatGPT進行了測試，ChatGPT的水平基本相當于500分左右的高考生。我們發現ChatGPT更擅長文科，在歷史、地理、政治上取得了不錯的成績，而生物、化學、物理等理科學科上表現不佳，尤其在物理上。

我們實驗室在3月2日發布了一個針對ChatGPT的測試報告，對ChatGPT的各種各樣模型基座進行了幾十萬次測試。我們發現，在閱讀理解任務上，ChatGPT已經比現在最好的方法都強。在關系提取方面，ChatGPT的提取性能還不太好。

我們發現ChatGPT的強大性能都是在現有機器學習框架下可以解釋的，并沒有很玄的東西。我相信今年國內、國際，還會有很多機構，包括大學和企業在類ChatGPT模型方面有大的突破。

10. 如何跟ChatGPT競爭？

以后我們應該怎么樣跟ChatGPT錯位競爭？它做得好的事情可能就不再是我們的重點，做得不好的地方還可以進一步改進。

在肉眼可見的未來，善用AI的人將和不用AI的人在工作效率上產生巨大差距，因此我鼓勵大家多去使用和熟悉與AI進行溝通。在一段時間內，ChatGPT還不足以完全替代某一個崗位，但將大大促進各個領域的生產效率，我們希望AI是幫助人類的工具，而不是取代人類的機器。

最后以微軟CEO薩提亞·納德拉（Satya Nadella）接受媒體采訪時的一個觀點作為結尾，內燃機帶來了廉價的動力，互聯網技術減少了信息傳遞的成本，而ChatGPT會讓信息的整合、轉譯、流通變得更加廉價。AI可能會像工業革命和信息革命一樣，引領我們走向下一個時代。