2023年科技圈“頂流”都有啥

大模型毫無疑問位居其中

而小翼只需要“略微”出手

就成了大模型的高級玩家

↓

怎么肥事？聽我慢慢講

就在11月10日-13日

中國電信聯合廣東省政府整了個大活

舉辦「2023數字科技生態大會」

現場直接把大伙兒的CPU“干燒了”

大會一開場

中國電信不扯閑話：強勢發布

↓

千億級參數通用大模型

星辰語義大模型

隨后又補了一句

預計明年4月開源所有底層代碼

并開放超過1TB的高質量清洗數據

嚯，場子瞬間熱了

大家還沒回過神，中國電信又嗖嗖嗖

甩出了12個行業大模型

↓

這還不算完，緊接著

引人深思的觀點又雙叒來啦

↓

如何讓大模型快速落地到千行百業？

如何又快、又高質量地搞出商業化可交付的大模型應用？

如何讓大模型成為推動產業升級的重要力量？

氣氛已經烘到這份上了

此時，中國電信天翼云掏出了

另一個“王炸”

慧聚，一站式智算服務平臺

也就是大模型生產應用的流水線

為何這是一個“王炸”？

懂行人都清楚：基礎大模型，只是底座

要真正落地，必須在特定的

行業大模型和場景大模型上下功夫

但一般的有行業和場景需求的傳統開發團隊

很難玩動大模型開發

面向國內政企行業場景的，更是空白

講真，一般人難以在大模型面前放肆

因為這中間的Gap（缺口）實在太大了

但慧聚平臺橫空出世，大家猛地發現

咦？！我竟然能夠得著了

慧聚平臺，到底是啥？有這等能耐？

↓

“慧聚”提供了一站式流水線工具和技術

開箱即用，降低開發門檻

看底層架構

四大平臺丨六大功能模塊丨兩大核心技術

在行業大模型應用開發中

核心任務是需要訓練出

一個專屬模型或專有模型

這個開發階段，也叫模型訓練階段

在行業和場景大模型開發中，核心問題是

讓沒有大模型開發經驗和能力的開發團隊快速上手

把能滿足他們業務需求的大模型開發出來

慧聚的“模型開發平臺”就是這樣一個產品

有的開發團隊，想要更省事

慧聚還有一個寶，叫“模型服務平臺”

有點像大模型MarketPlace（市場）

里面的模型可太豐富多彩了

“慧聚”把各種模型做成了服務

通過API/SDK的方式調用

↓

直接調用大模型

你還可以對大模型進行微調或個性化

比如，通過構建了Prompt工程，采用全參微調、LoRA、RLHF多種快速微調的方法和方案，再加載一些自家的知識庫或數據，就能調整出自己想要的結果。

其實就是一個模型推理過程

慧聚模型服務平臺的推理速度極快

很多人怕“推理過程”不可控

但是通過慧聚模型服務平臺能做到

全程可觀測，心中一本賬

服務發布、彈性擴容、服務監測

模型開發平臺+模型服務平臺

解決了90%以上核心開發問題

同時

“慧聚”通過底層天翼云兩大核心技術

算力加速丨算力調度

縮短模型訓練時間，保證訓練穩定性

↓

算力加速：對AI框架針對性優化，使得模型訓練推理效率更高；在訓練任務分發、訓練斷點續訓等鏡像拉取的時候進行鏡像加速；在數據傳輸層通過預加載、異步存儲等技術加快數據集存取，實現數據加速。

算力調度：構建合理靈活的任務的分配和調度策略，保障訓練任務能夠準確到達每個所分配GPU，提升GPU利用率；感知底層GPU和IB、NVlink等網絡，實時獲取GPU和網絡的狀態；底層硬件故障之后實現快速重調度，斷點續訓。

而在交付方式上

慧聚平臺給開發者提供了極大靈活性

↓

第一，公有云方式，通過天翼云

交付公網訪問、開箱即用、按需收費

第二，私有云、專有云部署

中國電信可提供一體機

最小單機柜交付，最快2小時完成部署

不僅如此

考慮到XC（信創）等需求

還提供完善的國產化適配

在具體開發過程中

AI算力也是必考慮的因素之一

算力的速度、質量和價錢

決定了模型開發時間和成本

這次，中國電信也秀出了“鈔能力”

↓

中國電信采用新一代AIDC智算液冷DC艙

（AIDC指智算數據中心）

打造出業界先進的智算中心

極致算力算效，PUE低至 1.12

（PUE是數據中心消耗的所有能源

與IT負載消耗能源的比值）

為大模型業務提供

綠色、智能、彈性的算力底座

在超強的硬件底子之上

中國電信再秀肌肉

端網協同，榨出每一滴算力價值

建智算機房，調智算網絡

這還不算完

最后再狠狠地升級了一下算力平臺

↓

這就是天翼云「云驍」

高性能云智超一體化基礎設施平臺

云驍就像一匹拉動整個

IaaS（基礎設施即服務）層的天馬

一手算力整合和加速，一手算力運營

讓算力插上翅膀，快到飛起

?“云驍”平臺通過一系列的算力整合、算力運營管理技術和智算加速套件，大幅提升了數據加載，異構算力的管理與調度性能，并提供了全流程可觀測運營能力。

最后，我們要講的是

??除了技術層面這些超能力以外

對于廣大開發者而言，開發政企類項目

采用中國電信天翼云的「慧聚平臺」

無形中擁有了“國云大模型生態”

↓

?豐富的生態，意味著更多選擇

?可以靈活地滿足客戶多樣性需求

?↓

?「慧聚」的芯片生態

?GPU、NPU、DPU任選，國產、通用任選

?「慧聚」的模型生態

?匯聚國內外各類通用大模型及行業大模型

?開源閉源，任意選擇

↓

?「慧聚」的開發者生態

聚集了政企領域頂尖的開發者、

?ISV（獨立軟件開發商）

?數據共享、模型共享、案例共享...

?共同推動大模型應用的行業落地

↓

大模型時代，一切可能都要重塑

通過大模型應用開發項目

重塑個人知識模型和公司業務模型

重塑數字世界，落地千行百業

慧聚，打造新起點！