2024年7月6日 - 世界人工智能大會（WAIC 2024）今日進(jìn)入第三天，議程轉(zhuǎn)向了AI技術(shù)在城市管理和公共服務(wù)中的實際應(yīng)用及面臨的挑戰(zhàn)。本次大會聚集了來自全球各地的專家、學(xué)者及業(yè)界精英，共同探討人工智能的未來方向及其對社會的影響。

作為受邀媒體之一，數(shù)據(jù)猿依然參與到了這盛會當(dāng)中，感受各行各業(yè)頂尖的專家學(xué)者在會展上，展示他們最新的研究成果。

未知邊界

2024年世界人工智能大會中“未知邊界”大模型探索未來論壇，匯聚全球優(yōu)秀青年學(xué)者，共同探討大模型技術(shù)的前沿問題與未來趨勢，特別是在多語言處理、圖學(xué)習(xí)、智能教育、語言智能體、GUI代理等領(lǐng)域的應(yīng)用。

論壇重點關(guān)注大模型的五個方向：大語言模型、多模態(tài)大模型、應(yīng)用框架、創(chuàng)新應(yīng)用、對齊評測和微調(diào)。

復(fù)旦大學(xué)副研究員桂韜提出了一種基于大語言模型的智能體綜合框架，旨在解決智能體與人類能力和價值觀的對齊問題。桂韜的研究關(guān)注點在于確保這些由大模型驅(qū)動的智能體能夠與人類的價值觀保持一致，避免出現(xiàn)與人類社會規(guī)范相悖的行為。

桂韜的演講中，他深入探討了智能體與人類對齊的策略，即如何讓智能體不僅具備高效的任務(wù)執(zhí)行能力，還能理解和遵循人類社會的道德和倫理標(biāo)準(zhǔn)。這涉及到智能體的學(xué)習(xí)方式、決策機制以及它們?nèi)绾闻c人類互動。桂韜還分享了對智能體未來發(fā)展的深刻見解，指出隨著大模型技術(shù)的進(jìn)步，智能體將越來越接近人類的智能水平，但同時也會遇到更多的挑戰(zhàn)，比如如何處理復(fù)雜的道德困境、如何在沒有明確指令的情況下做出合理的判斷等問題。

桂韜的演講體現(xiàn)了當(dāng)前大模型技術(shù)在智能體研發(fā)中的重要地位，同時也強調(diào)了對齊評測的重要性，即確保智能體的行為始終符合人類的價值觀和社會規(guī)范。這不僅是技術(shù)上的挑戰(zhàn)，也涉及哲學(xué)、心理學(xué)和倫理學(xué)等多個學(xué)科的交叉融合。桂韜的分享為智能體研究提供了新的思考方向，促使科研人員在追求智能體能力提升的同時，更加注重其行為的可控性和道德性，以實現(xiàn)真正意義上的人工智能與人類社會的和諧共存。

圖：復(fù)旦大學(xué)副研究員桂韜

此前在Github上爆火的Sailor大模型的開發(fā)者團隊——新加坡Sea AI Lab，他們也來到了WAIC上。團隊成員之一的劉乾以“Sailor”項目為例，分享了在處理多語言數(shù)據(jù)時所面臨的復(fù)雜性和多樣性問題，以及如何通過有效的策略提高模型訓(xùn)練的效率和性能。

劉乾強調(diào)，多語言大模型訓(xùn)練是一個復(fù)雜的過程，需要應(yīng)對不同語言間的語法結(jié)構(gòu)差異、詞匯量大小不一以及文化背景的多樣性等挑戰(zhàn)。為了克服這些困難，他提出了一系列策略，包括使用統(tǒng)一的編碼方式、引入跨語言的預(yù)訓(xùn)練方法、利用大規(guī)模語料庫進(jìn)行訓(xùn)練以及采用遷移學(xué)習(xí)等技術(shù)手段。這些策略有助于提高模型對不同語言的適應(yīng)性和泛化能力，使模型能夠更好地理解和生成多種語言的內(nèi)容。

通過分析“Sailor”項目中的最新進(jìn)展，劉乾揭示了如何利用這些策略有效提升模型的訓(xùn)練效率和性能，從而為構(gòu)建高質(zhì)量的多語言大模型提供了寶貴的實踐經(jīng)驗。他還提到了在多語言大模型訓(xùn)練過程中的一些成功經(jīng)驗和遇到的挑戰(zhàn)，如如何平衡多語言數(shù)據(jù)集的規(guī)模和質(zhì)量、如何解決低資源語言的訓(xùn)練瓶頸，以及如何確保模型在不同語言間的一致性和準(zhǔn)確性等問題。

圖：新加坡Sea AI Lab團隊成員劉乾

香港大學(xué)助理教授黃超所演講的主題是《探索大語言模型(LLMs)在圖學(xué)習(xí)中的力量》。他的演講主要關(guān)注于如何利用大語言模型（LLMs）來增強圖學(xué)習(xí)的能力，特別強調(diào)了LLMs在處理圖數(shù)據(jù)方面的獨特優(yōu)勢及其在社交網(wǎng)絡(luò)分析、推薦系統(tǒng)等領(lǐng)域的創(chuàng)新應(yīng)用。

黃超首先介紹了大語言模型在圖學(xué)習(xí)中的應(yīng)用，說明了它們?nèi)绾瓮ㄟ^理解復(fù)雜的圖結(jié)構(gòu)來提升數(shù)據(jù)處理能力。大語言模型能捕捉到圖中節(jié)點之間的復(fù)雜關(guān)系，這使得它們在處理諸如社交網(wǎng)絡(luò)中的人際關(guān)系、產(chǎn)品推薦系統(tǒng)中的用戶偏好預(yù)測等任務(wù)時表現(xiàn)出色。通過結(jié)合大語言模型的上下文理解和生成能力，圖學(xué)習(xí)可以更有效地挖掘圖數(shù)據(jù)中的隱含模式，進(jìn)而改進(jìn)決策制定和預(yù)測精度。

圖：香港大學(xué)助理教授黃超

清華大學(xué)教育研究院助理研究員于濟凡則表示，智能教育環(huán)境不應(yīng)僅僅停留在簡單應(yīng)用智能工具的階段，而是要邁向理解和運用智能能力的更高層次。這涉及到利用大模型的深度學(xué)習(xí)能力，為學(xué)生創(chuàng)造定制化的學(xué)習(xí)路徑，從而適應(yīng)每個學(xué)生的個人學(xué)習(xí)風(fēng)格和需求。通過這種方式，大模型能夠提供即時反饋，幫助學(xué)生更好地掌握知識，同時監(jiān)測他們的認(rèn)知發(fā)展，確保學(xué)習(xí)過程的有效性和針對性。

圖：清華大學(xué)教育研究院助理研究員于濟凡

在智能教育環(huán)境中，大語言模型可以扮演多種角色，如虛擬導(dǎo)師、學(xué)習(xí)資源推薦者和學(xué)習(xí)進(jìn)度追蹤者。它們能夠根據(jù)學(xué)生的學(xué)習(xí)歷史和表現(xiàn)調(diào)整教學(xué)內(nèi)容，甚至預(yù)測學(xué)生可能遇到的學(xué)習(xí)難點，提前提供輔助。這種高度個性化的學(xué)習(xí)方式有助于激發(fā)學(xué)生的學(xué)習(xí)興趣，提高學(xué)習(xí)效率，同時也減輕教師的工作負(fù)擔(dān)。

在這之后，俄亥俄州立大學(xué)的博士生谷雨在報告中詳細(xì)闡述了一套全新的評估體系，旨在解決多模態(tài)大模型為語言智能體帶來的復(fù)雜問題。他深入分析了當(dāng)前多模態(tài)語言智能體的現(xiàn)狀，并對未來發(fā)展路線提出了獨到見解。多模態(tài)語言智能體能夠理解、處理和生成文字、語音、圖像等多種信息形式，這對傳統(tǒng)單一模態(tài)模型提出了新的要求。谷雨的框架考慮了多模態(tài)數(shù)據(jù)的融合、跨模態(tài)推理和智能體與人類用戶的交互，以期提升智能體在復(fù)雜情境下的理解和響應(yīng)能力。

谷雨的演講強調(diào)了多模態(tài)數(shù)據(jù)處理的難度，以及在訓(xùn)練和評估階段如何克服這些障礙。他指出，現(xiàn)有的評估方法可能不足以衡量多模態(tài)智能體的全面性能，因此需要創(chuàng)新的評估策略。谷雨的評估框架旨在全面考量智能體在多模態(tài)環(huán)境下的表現(xiàn)，包括語義理解、情感識別、情境感知等多方面能力，這對于推動多模態(tài)智能體的實用性至關(guān)重要。

圖：俄亥俄州立大學(xué)博士生谷雨

通過谷雨的演講，聽眾得以深入了解多模態(tài)語言智能體在理論與實踐層面的最新進(jìn)展，以及如何通過優(yōu)化評估方法，進(jìn)一步提升智能體在現(xiàn)實世界應(yīng)用中的表現(xiàn)。這一研究方向不僅對學(xué)術(shù)界有重要意義，也將對人機交互、客戶服務(wù)、智能家居等眾多領(lǐng)域產(chǎn)生深遠(yuǎn)影響，預(yù)示著未來智能體將能夠更自然、更智能地與人類溝通和協(xié)作。

行業(yè)先鋒

AI的落地離不開專家學(xué)者的研究，但是同樣的，企業(yè)對于AI的應(yīng)用方式，也是重中之重。

聯(lián)匯科技：第二代多模態(tài)智能體

在WAIC上，聯(lián)匯科技正式發(fā)布第二代多模態(tài)智能體 OmAgent與Om 多模態(tài)智能體全新產(chǎn)品系列，為行業(yè)用戶打造「超級智能體助手」。OmAgent深度融合大模型OmDet V2的全面感知與大模型OmChat V2的思考決策能力，其中OmDet V2通過EFH高性能融合頭和一系列優(yōu)化技術(shù)，實現(xiàn)了20倍以上的感知速度提升；OmChat V2則支持高達(dá)512K的上下文長度，能夠處理復(fù)雜的視頻、圖文混合等輸入，具有卓越的時序關(guān)系判斷和多圖關(guān)系理解能力。

Om 多模態(tài)智能體全新產(chǎn)品系列包括空間運營智能體、知識服務(wù)智能體，空間運營智能體通過物聯(lián)設(shè)備全面感知物理環(huán)境，實現(xiàn)精細(xì)化空間管理；知識服務(wù)智能體則專注于數(shù)字資產(chǎn)管理，提升決策質(zhì)量和操作效率，Om 多模態(tài)智能可以廣泛應(yīng)用眾多行業(yè)場景。

金蝶：重新定義財務(wù)框架

金蝶在2024世界人工智能大會的“智能財務(wù)”論壇上分享了AI時代財務(wù)管理的變革與不變、金蝶自身的AI布局以及部分客戶AI應(yīng)用的成功案例。

財務(wù)管理框架被重新定義，從陀螺型轉(zhuǎn)向沙漏型，意味著記錄體系的投入減少，而作戰(zhàn)體系和支撐體系的投入增加，這將幫助企業(yè)在核心業(yè)務(wù)上創(chuàng)造更多價值。AI技術(shù)的應(yīng)用使得財務(wù)預(yù)測從依賴經(jīng)驗轉(zhuǎn)向精準(zhǔn)預(yù)測，借助大數(shù)據(jù)和深度學(xué)習(xí)，財務(wù)預(yù)測變得更準(zhǔn)確且能迅速適應(yīng)市場變化。財務(wù)管理信息從專享轉(zhuǎn)為普惠，AI助手讓信息獲取變得簡便。專家服務(wù)從個人精英變?yōu)锳I天團，即一個由AI組成的團隊，可提供跨領(lǐng)域綜合服務(wù)。外部報告重點從財務(wù)指標(biāo)轉(zhuǎn)向發(fā)展能力評價，AI有助于生成ESG報告并評估企業(yè)發(fā)展能力。

企業(yè)從傳統(tǒng)財務(wù)系統(tǒng)升級到“AI+財務(wù)”智能平臺，AI助手可隨時輔助決策，提升效率。財務(wù)人員需從AI觀望者轉(zhuǎn)為擁抱者，金蝶將AI優(yōu)先作為戰(zhàn)略，賦能產(chǎn)品創(chuàng)新。

Bilibili：做中國最大的AIGC社區(qū)

B站作為中國AI領(lǐng)域影響力最大的社區(qū)，在2024世界人工智能大會（WAIC 2024）上全面展示了其在AI內(nèi)容生態(tài)、AIGC創(chuàng)作和AI技術(shù)研發(fā)方面的成就。B站擁有廣泛的AI內(nèi)容覆蓋，涉及模型測評、訓(xùn)練、音頻視頻、科普、行業(yè)動態(tài)和算法討論，吸引了大量年輕用戶，特別是00后，他們構(gòu)成了AI內(nèi)容消費的主力軍，平均每日播放量同比增長超過80%。

B站不僅是AI知識獲取的平臺，也是AIGC（AI Generated Content）創(chuàng)作的熱土。UP主們利用AI技術(shù)進(jìn)行創(chuàng)新創(chuàng)作，如語音克隆、圖像生成和虛擬人創(chuàng)建，推動了AIGC生態(tài)的快速發(fā)展。B站通過舉辦創(chuàng)意活動和比賽，如AI影像和音樂大賽，激發(fā)了用戶參與AIGC創(chuàng)作的熱情。

格創(chuàng)東智：大模型時代的工業(yè)操作系統(tǒng)

圖：格創(chuàng)東智市場總監(jiān)楊麗

格創(chuàng)東智作為中國工業(yè)AI的領(lǐng)先企業(yè)，其市場總監(jiān)楊麗在大會上分享了工業(yè)AI和新質(zhì)生產(chǎn)力的見解，并與業(yè)界同仁探討了AI在制造業(yè)中的應(yīng)用前景。格創(chuàng)東智專注于利用AI、大數(shù)據(jù)和物聯(lián)網(wǎng)技術(shù)，重新定義工業(yè)操作系統(tǒng)，通過AI驅(qū)動的工業(yè)智能解決方案，推動制造業(yè)向智能化轉(zhuǎn)型，提高生產(chǎn)效率和產(chǎn)品質(zhì)量。

格創(chuàng)東智的一站式數(shù)據(jù)智能解決方案，包括了良率監(jiān)控、異常定位、預(yù)測預(yù)警等九大AI應(yīng)用功能，能全面覆蓋制造業(yè)的各個環(huán)節(jié)，從研發(fā)到售后服務(wù)，通過數(shù)據(jù)大模型實現(xiàn)智能化生產(chǎn)，從而達(dá)到成本和良率的最優(yōu)平衡。在具體案例中，如TCL華星通過格創(chuàng)東智的工業(yè)智能平臺，實現(xiàn)了自動化、數(shù)據(jù)化和智能化升級，被評為國家首批“數(shù)字領(lǐng)航”企業(yè)之一。另一家半導(dǎo)體晶圓廠也通過格創(chuàng)東智提供的AI服務(wù)，有效降低了人力和損失成本。

思想碰撞

人工智能的發(fā)展，本質(zhì)上是一場跨越企業(yè)、開發(fā)者與學(xué)者三界的思想盛宴。在這個交織著創(chuàng)新與探索的舞臺上，企業(yè)以其敏銳的市場洞察力和雄厚的資源投入，引領(lǐng)著技術(shù)的商業(yè)化進(jìn)程，將抽象的概念轉(zhuǎn)化為觸手可及的產(chǎn)品和服務(wù)。開發(fā)者，則是這一過程中的核心驅(qū)動力，他們憑借精湛的技術(shù)能力和對用戶需求的深刻理解，不斷優(yōu)化算法、完善功能，使AI系統(tǒng)更加智能、更加人性化。學(xué)者們則站在理論研究的最前沿，通過嚴(yán)謹(jǐn)?shù)膶嶒灪蜕羁痰姆治觯沂続I的內(nèi)在機理，提出新的算法模型，為技術(shù)進(jìn)步奠定堅實的科學(xué)基礎(chǔ)。三者之間，通過頻繁的交流與合作，實現(xiàn)了知識的共享、靈感的碰撞，共同繪制出人工智能領(lǐng)域一幅幅絢麗多彩的圖景。每一次跨界對話，都可能孕育出顛覆性的創(chuàng)新；每一場深度合作，都有可能開啟全新的研究方向。正是這種多元化的互動與融合，推動著AI技術(shù)以前所未有的速度向前發(fā)展，不斷拓展人類認(rèn)知與能力的邊界。