▓成人丝瓜视频▓无码免费,99精品国产一区二区三区不卡 ,大长腿白丝被c到爽哭视频 ,高清无码内谢

澎湃Logo
下載客戶端

登錄

  • +1

英偉達GH200首次亮相AI性能基準評測,比H100性能提升17%

澎湃新聞記者 邵文
2023-09-12 20:57
來源:澎湃新聞
? 未來2% >
字號

·英偉達GH200 Grace Hopper超級芯片首次亮相影響力最廣的國際AI性能基準評測——MLPerf行業基準測試。在此次測試中, GH200每芯片性能優勢比H100 GPU高出17%。

·為提高大型語言模型(LLM)的推理性能,英偉達推出一款能夠優化推理的生成式AI軟件——TensorRT-LLM,其能夠在不增加成本的情況下將現有H100 GPU的推理性能提升兩倍以上。

當地時間9月11日,推出不到兩個月的英偉達GH200 Grace Hopper超級芯片首次亮相MLPerf行業基準測試。在此次測試中,具有更高的內存帶寬和更大的內存容量的GH200與H100 GPU相比,性能高出17%。

Grace Hopper與DGX H100 SXM在MLPerf推理數據中心性能結果的比較。來源:英偉達

在新聞發布會上,英偉達人工智能總監戴夫·薩爾瓦托(Dave Salvator)表示:“Grace Hopper表現出色,首次提交的性能比H100 GPU性能高出多達17%,而我們的H100 GPU產品已經在各個領域取得了領先地位。”

MLPerf是影響力廣泛的國際AI性能基準評測,其推理性能評測涵蓋使用廣泛的六大AI場景,比如計算機視覺、自然語言處理、推薦系統、語音識別等,每個場景采用最主流的AI模型作為測試任務,每一任務又分為數據中心和邊緣兩類場景。其由MLCommons(由來自學術界、研究實驗室和行業的人工智能領導者組成的聯盟)開發,旨在對硬件、軟件和服務的訓練和推理性能“構建公平和有用的基準測試”。

此次MLPerf Inference v3.1基準測試是繼4月發布3.0版本之后的又一次更新,值得注意的是,這次更新包含了兩個第一次:引入基于60億參數大語言模型GPT-J的推理基準測試(AI模型的大小通常根據它有多少參數來衡量)和改進的推薦模型。

GPT-J是來自EleutherAI的OpenAI GPT-3的開源替代品,現已在MLPerf套件中用作衡量推理性能的基準。與一些更先進的人工智能模型(如1750億參數的GPT-3)相比,60億參數的GPT-J屬于相當輕量的模型,但它非常適合推理基準的角色。該模型總結了文本塊,并可在延遲敏感的在線模式和吞吐量密集型的離線模式下運行。

GH200 Grace Hopper超級芯片在GPT-J工作負載方面取得了優異的成績,在離線和服務器場景中的每加速器性能都達到了最高水平。據英偉達介紹,GH200 Grace Hopper超級芯片是專為計算和內存密集型工作負載而設計,它在最苛刻的前沿工作負載上提供了更高的性能,如基于Transformer的大型語言模型(具有數千億或數萬億參數)、具有數萬億字節嵌入表的推薦系統和矢量數據庫。

GH200 Grace Hopper 超級芯片的邏輯概述。來源:英偉達

GH200超級芯片最新版由英偉達CEO黃仁勛在8月的世界頂級計算機圖形學會議SIGGRAPH上公布。之所以稱其為超級芯片,因為它在同一塊板上將英偉達Grace中央處理單元(CPU)和Hopper圖形處理單元(GPU)連接在一起。借助新型雙GH200服務器中的NVLink,系統中的CPU和GPU將通過完全一致的內存互連進行連接。這種組合提供了更大內存、更快帶寬,能夠在CPU和GPU之間自動切換計算所需要的資源,????實現性能最優化。

薩爾瓦托說:“如果GPU非常忙碌,而CPU相對空閑,我們可以將功率預算轉移到GPU上,以允許它提供額外的性能。通過擁有這個功率余地,我們可以在整個工作負載中保持更好的頻率駐留,從而提供更多的性能。”

TensorRT-LLM能夠在不增加成本的情況下將現有H100 GPU的推理性能提升兩倍以上。來源:英偉達

此外,為提高大型語言模型(LLM)的推理性能,英偉達推出一款能夠優化推理的生成式AI軟件——TensorRT-LLM,其能夠在不增加成本的情況下將現有H100 GPU的推理性能提升兩倍以上。重要的是,該軟件可以實現這種性能改進,而無需重新訓練模型。

英偉達稱,由于時間原因,TensorRT-LLM沒有參加8月的MLPerf提交。據英偉達的內部測試,在運行60億參數GPT-J模型時,相較于沒有使用TensorRT-LLM的上一代GPU,在H100 GPU上使用TensorRT-LLM能夠實現8倍的性能提升。

    責任編輯:鄭潔
    校對:張艷
    澎湃新聞報料:021-962866
    澎湃新聞,未經授權不得轉載
    +1
    收藏
    我要舉報
            查看更多

            掃碼下載澎湃新聞客戶端

            滬ICP備14003370號

            滬公網安備31010602000299號

            互聯網新聞信息服務許可證:31120170006

            增值電信業務經營許可證:滬B2-2017116

            ? 2014-2025 上海東方報業有限公司

            反饋
            主站蜘蛛池模板: 大宁县| 南召县| 长寿区| 泸溪县| 清水县| 龙口市| 阿坝县| 曲阳县| 闵行区| 宣汉县| 罗平县| 大埔区| 禄劝| 安泽县| 曲沃县| 富川| 乐亭县| 沁水县| 容城县| 临泽县| 旺苍县| 灵山县| 聂荣县| 佛冈县| 仙桃市| 清远市| 霍山县| 乌拉特中旗| 筠连县| 永城市| 涞源县| 陆河县| 云霄县| 赤城县| 博白县| 孝义市| 贵阳市| 济宁市| 晋中市| 武冈市| 屯留县|