·“生成式AI蘊(yùn)藏著改變整個(gè)行業(yè)的巨大潛力，但其成本和所需的專業(yè)知識(shí)使該技術(shù)無法為除少數(shù)公司之外的所有公司所用。”

·亞馬遜云科技將為其云客戶提供Hugging Face的產(chǎn)品，其中包括一個(gè)可以與ChatGPT技術(shù)相競(jìng)爭(zhēng)的語(yǔ)言生成工具，云客戶可以使用這些工具作為自己的應(yīng)用程序構(gòu)建模塊。

亞馬遜云科技（AWS）宣布與Hugging Face（“擁抱臉”）合作，成為又一家在生成式AI市場(chǎng)上尋求結(jié)盟的大型科技公司。

當(dāng)?shù)貢r(shí)間2月22日，亞馬遜云科技宣布了與Hugging Face的進(jìn)一步合作，以加速對(duì)大語(yǔ)言模型和視覺模型的訓(xùn)練、精調(diào)和部署，促進(jìn)生成式AI應(yīng)用的創(chuàng)建。Hugging Face正在開發(fā)一款ChatGPT的競(jìng)爭(zhēng)對(duì)手。

亞馬遜云科技將為其云客戶提供Hugging Face的產(chǎn)品，其中包括一個(gè)可以與OpenAI的ChatGPT技術(shù)相競(jìng)爭(zhēng)的語(yǔ)言生成工具，云客戶可以使用這些工具作為自己的應(yīng)用程序構(gòu)建模塊。

據(jù)亞馬遜云科技負(fù)責(zé)數(shù)據(jù)庫(kù)、分析和機(jī)器學(xué)習(xí)的副總裁斯瓦米·西瓦蘇布拉曼尼亞（Swami Sivasubramanian）透露，Hugging Face將在AWS上構(gòu)建該語(yǔ)言模型的下一個(gè)版本，名為“BLOOM”。

云計(jì)算公司紛紛在生成式AI市場(chǎng)上結(jié)盟

“生成式AI蘊(yùn)藏著改變整個(gè)行業(yè)的巨大潛力，但其成本和所需的專業(yè)知識(shí)使該技術(shù)無法為除少數(shù)公司之外的所有公司所用。”亞馬遜云科技首席執(zhí)行官Adam Selipsky表示，“Hugging Face和亞馬遜云科技讓用戶更易訪問流行的機(jī)器學(xué)習(xí)模型，以最高的性能和最低的成本創(chuàng)建自己的生成式AI應(yīng)用。”

“AI的未來已經(jīng)到來，但并非每個(gè)人都能平等享用AI。”Hugging Face首席執(zhí)行官Clement Delangue表示，“可訪問性和透明性，是以明智和負(fù)責(zé)任的方式使用這些新功能從而共享成果和創(chuàng)造新工具的關(guān)鍵。Amazon SageMaker（為機(jī)器學(xué)習(xí)提供工具和工作流）和亞馬遜云科技定制芯片會(huì)幫助我們的團(tuán)隊(duì)和更大的機(jī)器學(xué)習(xí)社區(qū)，將最新研究成果轉(zhuǎn)化為人人都可構(gòu)建的、公開的可復(fù)制模型。”

目前，兩家公司沒有透露合作的財(cái)務(wù)細(xì)節(jié)，但亞馬遜云科技表示沒有投資這家初創(chuàng)公司。

Hugging face起初是一家總部位于紐約的聊天機(jī)器人初創(chuàng)服務(wù)商，在github上開源了一個(gè)Transformers庫(kù)后，在機(jī)器學(xué)習(xí)社區(qū)“走紅”。目前已共享了超100000個(gè)預(yù)訓(xùn)練模型，10000個(gè)數(shù)據(jù)集。Hugging Face去年從Lux Capital、紅杉資本和Coatue Management以及籃球明星凱文·杜蘭特（Kevin Durant）等投資者那里籌集了1億美元。

全球最大的云服務(wù)提供商已紛紛與生成式AI公司達(dá)成了一系列協(xié)議和投資。1月就有消息傳出，微軟正在洽談向ChatGPT的開發(fā)機(jī)構(gòu)OpenAI投資100億美元，并將該公司的技術(shù)用于必應(yīng)（Bing）搜索。據(jù)一位知情人士透露，本月早些時(shí)候，Alphabet旗下的谷歌向OpenAI的競(jìng)爭(zhēng)對(duì)手Anthropic投資了近4億美元。

實(shí)際上，除了Hugging Face，亞馬遜云科技也已經(jīng)與Stability AI以及以色列AI公司AI21 Labs建立了合作關(guān)系，Stability AI是圖像生成工具Stable Diffusion的制造商（OpenAI的Dall-E的競(jìng)爭(zhēng)對(duì)手），AI21 Labs是OpenAI的GPT語(yǔ)言模型Jurassic的另一個(gè)競(jìng)爭(zhēng)對(duì)手。

降低大模型的云成本至關(guān)重要

作為全球最領(lǐng)先的云服務(wù)企業(yè)之一，亞馬遜云科技在技術(shù)上能夠?yàn)锳I提供什么支持？

“機(jī)器學(xué)習(xí)的模型近幾年發(fā)展得越來越快，不光只是大模型，現(xiàn)在看到越來越多的超大模型。之前模型的參數(shù)量級(jí)可能是千級(jí)或百萬(wàn)級(jí)，但今天擁有十億百億級(jí)參數(shù)的模型比比皆是，下一代模型有可能會(huì)朝著萬(wàn)億級(jí)參數(shù)級(jí)別去發(fā)展。因此，降低大模型的云成本至關(guān)重要。”亞馬遜云科技大中華區(qū)機(jī)器學(xué)習(xí)產(chǎn)品總監(jiān)張洋對(duì)澎湃科技（www.kxwhcb.com）表示。

大語(yǔ)言模型和視覺模型的構(gòu)建、訓(xùn)練和部署都是一個(gè)昂貴且耗時(shí)的過程，云計(jì)算成本在訓(xùn)練成本中占比極高。那么，如何降低大模型的訓(xùn)練成本？

張洋解答道，“雖然，機(jī)器學(xué)習(xí)的芯片差不多每?jī)赡昊蛎繋啄昃蜁?huì)有一倍或數(shù)倍的提升，但仍然不足以跟上訓(xùn)練模型復(fù)雜度的提升。替代的解決辦法就是通過分布式多處理器，把一個(gè)模型通過多個(gè)節(jié)點(diǎn)，通過一個(gè)網(wǎng)絡(luò)協(xié)同計(jì)算、協(xié)同訓(xùn)練的方式來解決。這需要分布式訓(xùn)練技術(shù)，意味著它不光對(duì)單個(gè)芯片的處理能力有很大的要求，同時(shí)對(duì)網(wǎng)絡(luò)的性能也提出了很高要求。”

據(jù)記者了解，亞馬遜云科技在2022年10月推出了專門為云中高性能模型訓(xùn)練而搭建的Trn1實(shí)例（擁有高性能網(wǎng)絡(luò)和存儲(chǔ)，支持資料和模型平行化分布式訓(xùn)練政策），最多可以搭載16顆專門用于機(jī)器學(xué)習(xí)訓(xùn)練的Trainium芯片，512GB加速器內(nèi)存和800Gbps的網(wǎng)絡(luò)帶寬。目前來看效果如何？

“Trn1是目前擁有最高性價(jià)比的深度學(xué)習(xí)實(shí)例，與基于GPU（圖形處理器）的類似實(shí)例相比，訓(xùn)練成本降低了50%。以一個(gè)具備萬(wàn)億級(jí)參數(shù)的大模型進(jìn)行兩周訓(xùn)練為例，GPU服務(wù)器P3dn需要600個(gè)實(shí)例，最新一代GPU實(shí)例P4d需要128個(gè)實(shí)例，但Trn1只需要用96個(gè)實(shí)例。”張洋說。

張洋補(bǔ)充道，在2022年的亞馬遜云科技re:Invent全球大會(huì)上，該公司還推出了一款基于Trn1的網(wǎng)絡(luò)優(yōu)化型實(shí)例Trn1n，進(jìn)一步把網(wǎng)絡(luò)帶寬增加一倍，從800Gbps躍升到1600Gbps，其強(qiáng)大的網(wǎng)絡(luò)吞吐能力能夠?qū)⒊^1萬(wàn)個(gè)Trainiumn芯片構(gòu)建在一個(gè)超大規(guī)模集群里，并在集群中進(jìn)行模型的并行訓(xùn)練。

除訓(xùn)練外，大模型也需要超高的推理能力。據(jù)張洋介紹，下一代自研推理芯片Inferentia2以及基于此的Amazon EC2 Inf2實(shí)例與基于GPU的實(shí)例相比，每瓦性能提升高達(dá)45%，同時(shí)也支持諸如GPT類型的大型復(fù)雜模型，并且可以單實(shí)例實(shí)現(xiàn)1750億參數(shù)模型的推理。