·要實(shí)現(xiàn)AGI，有三條技術(shù)路線：第一是“大數(shù)據(jù)+自監(jiān)督學(xué)習(xí)+大算力”形成的信息類(lèi)模型；第二是具身智能，是基于虛擬世界或真實(shí)世界、通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練出來(lái)的具身模型；第三是腦智能，直接“抄自然進(jìn)化的作業(yè)”，復(fù)制出數(shù)字版本的智能體。

·據(jù)智源初步統(tǒng)計(jì)，今年以來(lái)大語(yǔ)言模型開(kāi)源的項(xiàng)目，全世界范圍內(nèi)共有42項(xiàng)，中國(guó)有9項(xiàng)。“相比之下，我認(rèn)為我們的開(kāi)源開(kāi)放力度還遠(yuǎn)遠(yuǎn)不夠。”

北京智源人工智能研究院院長(zhǎng)黃鐵軍。

6月9日，北京智源人工智能研究院（以下簡(jiǎn)稱(chēng)智源）院長(zhǎng)黃鐵軍在2023北京智源大會(huì)上作報(bào)告，發(fā)布悟道3.0大模型系列，并宣布進(jìn)入全面開(kāi)源的新階段。此次悟道3.0包含悟道·天鷹（Aquila）語(yǔ)言大模型系列、“天秤（FlagEval）”大語(yǔ)言評(píng)測(cè)體系及開(kāi)放平臺(tái)以及悟道·視界視覺(jué)大模型系列。

黃鐵軍在演講中表示，要實(shí)現(xiàn)通用人工智能（AGI），有三條技術(shù)路線：第一是“大數(shù)據(jù)+自監(jiān)督學(xué)習(xí)+大算力”形成的信息類(lèi)模型；第二是具身智能，是基于虛擬世界或真實(shí)世界、通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練出來(lái)的具身模型；第三是腦智能，直接“抄自然進(jìn)化的作業(yè)”，復(fù)制出數(shù)字版本的智能體。

OpenAI做GPT（生成式預(yù)訓(xùn)練Transformer模型）就遵循第一條技術(shù)路線；以谷歌DeepMind的DQN（深度Q網(wǎng)絡(luò)，Deep Q-network)為核心取得的一系列進(jìn)展即基于第二條技術(shù)路線。

“從夢(mèng)想角度來(lái)說(shuō)，智源期望不同于前兩個(gè)技術(shù)路線，從‘第一性原理’出發(fā)。從原子到有機(jī)分子、到神經(jīng)系統(tǒng)、到身體，構(gòu)建一個(gè)完整的智能系統(tǒng)AGI。這是一個(gè)大概20年才可能實(shí)現(xiàn)的目標(biāo)，所以智源作為新型研發(fā)機(jī)構(gòu)平臺(tái)，在三個(gè)方向都在開(kāi)展工作。”黃鐵軍的這段描述也梳理了此次多項(xiàng)發(fā)布的背后邏輯，分別包括大模型方向、具身方向，以及智源自己期望方向的進(jìn)展。

悟道3.0大模型系列

北京智源人工智能研究院是國(guó)內(nèi)最早系統(tǒng)化布局大模型的科研機(jī)構(gòu)，2021年3月和6月，智源在兩個(gè)多月時(shí)間里先后發(fā)布悟道1.0和悟道2.0。悟道1.0是我國(guó)首個(gè)超大規(guī)模智能模型系統(tǒng)，悟道2.0參數(shù)規(guī)模更是達(dá)到1.75萬(wàn)億，是當(dāng)時(shí)中國(guó)首個(gè)、全球最大的萬(wàn)億級(jí)模型。

黃鐵軍認(rèn)為，大模型有三個(gè)特點(diǎn)：第一是規(guī)模大，神經(jīng)網(wǎng)絡(luò)參數(shù)達(dá)到百億規(guī)模以上。第二是涌現(xiàn)性，產(chǎn)生預(yù)料之外的新能力。第三是通用性，不限于單類(lèi)問(wèn)題或?qū)ｉT(mén)領(lǐng)域，能夠解決各類(lèi)問(wèn)題。

自悟道2.0開(kāi)始，智源就不僅僅研發(fā)模型。據(jù)黃鐵軍介紹，智源更偏向于構(gòu)建以大模型為核心的生態(tài)，包括底層數(shù)據(jù)處理和匯聚、模型能力和算法評(píng)測(cè)、開(kāi)源開(kāi)放，形成一套高效的大模型技術(shù)和算法體系。

黃鐵軍認(rèn)為，現(xiàn)在的智能時(shí)代是開(kāi)源開(kāi)放的時(shí)代，一個(gè)封閉的生態(tài)很難長(zhǎng)遠(yuǎn)發(fā)展下去。開(kāi)源的生態(tài)在軟件上要開(kāi)源，在硬件上要開(kāi)放，既要競(jìng)爭(zhēng)又要合作，這會(huì)是一個(gè)千千萬(wàn)萬(wàn)企業(yè)共同競(jìng)爭(zhēng)、共同合作營(yíng)造出來(lái)的開(kāi)源開(kāi)放的生態(tài)體系。

據(jù)智源初步統(tǒng)計(jì)，今年以來(lái)語(yǔ)言大模型開(kāi)源的項(xiàng)目，全世界范圍內(nèi)共有42項(xiàng)，中國(guó)有9項(xiàng)。“相比之下，我認(rèn)為我們的開(kāi)源開(kāi)放力度還不夠。開(kāi)源開(kāi)放也是競(jìng)爭(zhēng)，好算法應(yīng)該公開(kāi)評(píng)測(cè)比較才能證明技術(shù)水平，而不是僅靠結(jié)果來(lái)說(shuō)優(yōu)秀與否。”黃鐵軍說(shuō)。

在悟道3.0大模型系列中，智源發(fā)布并全面開(kāi)源悟道·天鷹（Aquila）語(yǔ)言大模型系列和悟道·視界視覺(jué)大模型系列，與多個(gè)高校和科研院所合作構(gòu)建“天秤（FlagEval）”大語(yǔ)言評(píng)測(cè)體系及開(kāi)放平臺(tái)，還有FlagOpen飛智大模型技術(shù)開(kāi)源體系。

據(jù)黃鐵軍介紹，悟道·天鷹語(yǔ)言大模型是第一個(gè)中英文雙語(yǔ)、支持商用、符合數(shù)據(jù)合規(guī)要求的大模型。通過(guò)數(shù)據(jù)質(zhì)量控制和多種訓(xùn)練優(yōu)化，悟道·天鷹（Aquila）實(shí)現(xiàn)了在更小數(shù)據(jù)集、更短訓(xùn)練時(shí)間獲得比其他開(kāi)源模型更優(yōu)的性能。這是系列模型，這次發(fā)布了70億參數(shù)和330億參數(shù)的基礎(chǔ)模型，以及AquilaChat對(duì)話模型（類(lèi)ChatGPT模型），AquilaCode文本代碼生成大模型（70億參數(shù)）。

此外，對(duì)于大模型的評(píng)測(cè)是當(dāng)下生成式人工智能發(fā)展中的一個(gè)難點(diǎn)。此次智源發(fā)布“天秤（FlagEval）”大語(yǔ)言評(píng)測(cè)體系及開(kāi)放平臺(tái)，希望協(xié)助研究人員全方位評(píng)估基礎(chǔ)模型及訓(xùn)練算法的性能，同時(shí)探索利用AI方法對(duì)主觀評(píng)測(cè)進(jìn)行輔助，大幅提升評(píng)測(cè)的效率和客觀性。

具體而言，天秤（FlagEval）大語(yǔ)言評(píng)測(cè)體系構(gòu)建了“能力-任務(wù)-指標(biāo)”三維評(píng)測(cè)框架，測(cè)評(píng)30多種能力，5種任務(wù)以及4大類(lèi)指標(biāo)構(gòu)成的超過(guò)600個(gè)維度，其中包括22個(gè)主觀和客觀評(píng)測(cè)數(shù)據(jù)集，以及84433道題目。天秤評(píng)測(cè)平臺(tái)已經(jīng)開(kāi)放，提供在線和離線評(píng)測(cè)。目前已支持英偉達(dá)、寒武紀(jì)、昆侖、昇騰等多種芯片架構(gòu)，以及PyTorch、MindSpore深度學(xué)習(xí)框架。

在視覺(jué)大模型方面，此次智源大會(huì)直接放出6項(xiàng)成果，包括在多模態(tài)序列中補(bǔ)全一切的多模態(tài)大模型Emu、最強(qiáng)十億級(jí)視覺(jué)基礎(chǔ)模型EVA、性能最強(qiáng)開(kāi)源CLIP模型EVA-CLIP、首創(chuàng)了上下文圖像學(xué)習(xí)技術(shù)路徑的通用視覺(jué)模型Painter、分割一切的視界通用分割模型、以及首個(gè)零樣本視頻編輯方法vid2vid -zero。

具身多模態(tài)交互模型和類(lèi)腦智能

“我們探索在虛擬世界中讓智能體學(xué)習(xí)完成用各種語(yǔ)言描述的任務(wù)，比如告訴智能體制作一個(gè)石錘子，建造一個(gè)木質(zhì)的避難所。也就是說(shuō)告知它一個(gè)任務(wù)，它就可以不用鼠標(biāo)控制而在游戲世界里自己完成。這是通用人工智能的一個(gè)新賽道，全世界范圍內(nèi)有不少機(jī)構(gòu)在嘗試。”黃鐵軍說(shuō)。

目前的方法主要依賴(lài)人類(lèi)的知識(shí)和提示，下一個(gè)目標(biāo)是讓智能體在此基礎(chǔ)上學(xué)習(xí)策略集和在專(zhuān)門(mén)針對(duì)多模態(tài)交互的大模型方面進(jìn)一步研究，從而讓它在開(kāi)放世界中自適應(yīng)完成更多任務(wù)，并且具備自己的創(chuàng)造力。

“在類(lèi)腦智能和生命模擬的方向，我們的工作也在繼續(xù)，去年智源大會(huì)發(fā)布了最高精度的仿真線蟲(chóng)，這到現(xiàn)在為止仍然是精度最高的，論文正在評(píng)審過(guò)程中。”黃鐵軍說(shuō)，有了這個(gè)工作基礎(chǔ)，我們把仿真線蟲(chóng)所用的生命模擬平臺(tái)“Evaluation天演”全面開(kāi)源，并提供在線服務(wù)。

天演平臺(tái)有四項(xiàng)最顯著的特點(diǎn)：第一，是當(dāng)今效率最高的精細(xì)神經(jīng)系統(tǒng)仿真平臺(tái)；第二，支持超大規(guī)模的神經(jīng)網(wǎng)絡(luò)仿真，目前已經(jīng)高效地復(fù)現(xiàn)了領(lǐng)域內(nèi)多個(gè)大規(guī)模的神經(jīng)模型；第三，提供在線工具，只要有生物數(shù)據(jù)就可以一站式的建模、仿真、可視化，“可視化是天演獨(dú)有的，可以觀察神經(jīng)系統(tǒng)在運(yùn)行過(guò)程中信號(hào)發(fā)生了怎樣的變化。我們最終想知道生命智能的每一步，每個(gè)細(xì)節(jié)，而不像今天的黑箱。”黃鐵軍說(shuō)。

目前，在三條技術(shù)路線中，大模型的進(jìn)展最快。為何如此？黃鐵軍認(rèn)為，主要是語(yǔ)言數(shù)據(jù)，無(wú)論是論文、圖書(shū)還是代碼，資源都非常豐富且質(zhì)量高，從海量數(shù)據(jù)中發(fā)現(xiàn)內(nèi)在蘊(yùn)含的規(guī)律正是大模型的優(yōu)勢(shì)。

不過(guò)，黃鐵軍繼續(xù)說(shuō)道，人腦可以看成脈沖神經(jīng)網(wǎng)絡(luò)，與今天的大模型有本質(zhì)區(qū)別，想要AI產(chǎn)生類(lèi)似人腦的能力，光靠大模型一個(gè)方向是遠(yuǎn)遠(yuǎn)不夠的。從基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)到信號(hào)加工機(jī)理的類(lèi)腦智能是一個(gè)方向，讓智能體有物理身體與環(huán)境互動(dòng)的具身智能是另一個(gè)方向。

作為大模型領(lǐng)域年度巔峰盛會(huì)，智源大會(huì)至今已經(jīng)舉辦了五屆。今年大會(huì)共同主席為智源人工智能研究院理事長(zhǎng)張宏江，以及加州大學(xué)伯克利分校教授、智源學(xué)術(shù)顧問(wèn)委員邁克爾·喬丹（Michael I. Jordan）。共同程序主席為智源人工智能研究院院長(zhǎng)黃鐵軍，以及清華大學(xué)教授、智源首席科學(xué)家朱軍。

本屆大會(huì)邀請(qǐng)到了圖靈獎(jiǎng)得主杰弗里·辛頓（Geoffrey Hinton）、楊立昆（Yann LeCun）、約瑟夫·斯發(fā)基斯（Joseph Sifakis）和姚期智，OpenAI首席執(zhí)行官山姆·奧特曼（Sam Altman）、加州大學(xué)伯克利分校人工智能系統(tǒng)中心創(chuàng)始人斯圖爾特·羅素（Stuart Russell）、中國(guó)科學(xué)院院士張鈸及中國(guó)工程院院士鄭南寧、中國(guó)工程院外籍院士、美國(guó)藝術(shù)與科學(xué)院院士張亞勤、Midjourney創(chuàng)始人大衛(wèi)·霍爾茲（David Holz）等嘉賓，共議人工智能前沿與熱點(diǎn)話題。