·從宇宙到量子，物理學(xué)有一套大一統(tǒng)的理論統(tǒng)一起來，叫作Theory of Everything。今天深度學(xué)習(xí)沒有這樣的理論，所以叫作Theory of Anything。

·算力是門檻。“千卡萬卡是錢堆出來的。以前有一句話叫貧窮限制想象力，現(xiàn)在貧窮可能扭曲想象力，因?yàn)槿绻麤]有卡，能想象要做的項(xiàng)目可能就不太一樣了。”

沈向洋

“大模型大到一定地步以后就涌現(xiàn)出來。多大才涌現(xiàn)出來？沒人講得清楚。”3月23日，2024全球開發(fā)者先鋒大會在上海開幕，美國國家工程院外籍院士沈向洋在《大模型時代的機(jī)遇和挑戰(zhàn)》的演講中分享了對大模型的思考。他表示，人工智能蓬勃發(fā)展，但人們對智能的本質(zhì)并沒有清晰認(rèn)知。物理學(xué)是Theory of Everything，而深度學(xué)習(xí)就是Theory of Anything。

過去這幾年，大模型的發(fā)展風(fēng)起云涌，開源社區(qū)的活力和生命力非常強(qiáng)大。沈向洋說，文生圖使得一言勝千圖，一個簡單的提示就可以做出了不起的圖片。ChatGPT使得一句頂一萬句，提出一個問題可以得到很多答案。Sora的出現(xiàn)使得輸入幾句提示就能產(chǎn)生大片效果。

這三件事讓人們產(chǎn)生一個個焦慮，未來開發(fā)者的機(jī)會在哪里？沈向洋認(rèn)為是多模態(tài)，多模態(tài)是通用人工智能的必經(jīng)之路。以O(shè)penAI代表的技術(shù)實(shí)際上是對不同模態(tài)的理解，“OpenAI的內(nèi)部有兩套體系，一是從文生圖延展到文生視頻，走的是Stable Diffusion路線，二是文生文，走的是Transformer路線。到現(xiàn)在為止，這兩條線路還沒完全統(tǒng)一起來，相信接下來中國的開發(fā)者、世界的開發(fā)者，很快會有這方面的突破。”

沈向洋分享了關(guān)于大模型的五方面思考。

第一，大模型的到來，強(qiáng)迫人類重新思考人機(jī)關(guān)系。“我們受到的沖擊，到底有多少是機(jī)器智能的發(fā)展，有多少是人機(jī)交互的震撼。”他認(rèn)為，不管是什么技術(shù)，最終目的是幫助人更好運(yùn)用機(jī)器，不忘初心。

第二，大模型將橫掃所有垂直行業(yè)。大模型可分為通用大模型、行業(yè)大模型、企業(yè)大模型和個人大模型。“一個通用大模型如果沒有萬卡、不上1萬億參數(shù)，基本上以后就不太好意思說這是一個通用模型了。行業(yè)大模型大致上是千億參數(shù)、千卡的訓(xùn)練規(guī)模。企業(yè)大模型可能只需要100張卡、百億參數(shù)。最有意思的是個人大模型，利用個性化參數(shù)，結(jié)合云和端，這是非常有意義的。”

第三，算力是門檻。影響算力的兩大因素是模型大小和數(shù)據(jù)規(guī)模，隨著參數(shù)增加，對算力的需求幾乎是幾何級的。“千卡萬卡是錢堆出來的。以前有一句話叫貧窮限制想象力，現(xiàn)在貧窮可能扭曲想象力，因?yàn)槿绻麤]有卡，能想象要做的項(xiàng)目可能就不太一樣了。”

第四，AI帶來社會沖擊。這些沖擊包括對民眾的沖擊、企業(yè)的沖擊、政府監(jiān)管的沖擊、社會發(fā)展的沖擊，帶來一本正經(jīng)胡說八道、深度偽造等倫理問題，很多國家開始立法，這需要共同推動治理、向前發(fā)展。

第五，智能的本質(zhì)。人工智能蓬勃發(fā)展，但人們對智能的本質(zhì)并沒有清晰認(rèn)知。“大模型大到一定地步以后就涌現(xiàn)出來。多大才涌現(xiàn)出來？沒人講得清楚。”沈向洋表示，“很多人相信scaling law（規(guī)模法則），但今天的深度學(xué)習(xí)，理論非常欠缺。從宇宙到量子，物理學(xué)有一套大一統(tǒng)的理論統(tǒng)一起來，叫作Theory of Everything。今天深度學(xué)習(xí)沒有這樣的理論，所以叫作Theory of Anything。”