澎湃新聞記者 邵文

3月22日，在2022 GTC大會上，NVIDIA宣布推出采用Hopper架構(gòu)的新一代加速計算平臺，其將取代兩年前推出的Ampere架構(gòu)（NVIDIA迄今為止最成功的GPU架構(gòu)）。同時，NVIDIA發(fā)布了其首款基于Hopper架構(gòu)的GPU—NVIDIA H100。

NVIDIA H100集成了800億個晶體管，采用臺積電N4工藝，是全球范圍內(nèi)最大的加速器，擁有Transformer引擎和高度可擴展的NVLink互連技術(shù)（最多可連接達256個H100 GPU，相較于上一代采用HDR Quantum InfiniBand網(wǎng)絡(luò)，帶寬高出9倍，帶寬速度為900GB/s）等功能，可推動龐大的AI語言模型、深度推薦系統(tǒng)、基因組學(xué)和復(fù)雜數(shù)字孿生的發(fā)展。

Hopper架構(gòu)以“計算機軟件工程第一夫人”Grace Hopper命名。Grace Hopper是計算機科學(xué)的先驅(qū)之一，發(fā)明了世界上第一個編譯器——A-0 系統(tǒng)。1945年，Grace Hopper在 Mark Ⅱ中發(fā)現(xiàn)了一只導(dǎo)致機器故障的飛蛾，從此“bug” 和 “debug” (除蟲) 便成為計算機領(lǐng)域的專用詞匯。

NVIDIA表示，H100 GPU在FP16、FP32和FP64計算方面比上一代A100快三倍，在8位浮點數(shù)學(xué)運算方面快六倍。“對于大型Transformer模型的訓(xùn)練，H100 將提供高達9倍的性能，過去需要數(shù)周時間才能完成的訓(xùn)練可以減少到幾天內(nèi)，”NVIDIA產(chǎn)品管理高級總監(jiān)Paresh Kharya在發(fā)布會上表示。

Transformer現(xiàn)在已成為自然語言處理的標準模型方案，也是深度學(xué)習(xí)模型領(lǐng)域最重要的模型之一。

NVIDIA創(chuàng)始人兼CEO黃仁勛表示，“數(shù)據(jù)中心正在轉(zhuǎn)變成‘AI工廠’，它們處理大量數(shù)據(jù)，以實現(xiàn)智能。NVIDIA H100是全球AI基礎(chǔ)設(shè)施的引擎，讓企業(yè)能夠利用其實現(xiàn)自身AI業(yè)務(wù)的加速。”

H100的800億個晶體管采用了專為NVIDIA加速計算需求設(shè)計的TSMC 4N工藝，因而能夠顯著提升AI、HPC、顯存帶寬、互連和通信的速度，并能夠?qū)崿F(xiàn)近5TB/s的外部互聯(lián)帶寬。H100是首款支持PCIe 5.0的GPU，也是首款采用HBM3的GPU，可實現(xiàn)3TB/s的顯存帶寬。

據(jù)介紹，20個H100 GPU便可承托相當于全球互聯(lián)網(wǎng)的流量，使其能夠?qū)崟r運行數(shù)據(jù)推理的大型語言模型和推出先進的推薦系統(tǒng)。

H100也是全球首款具有機密計算功能的加速器，可保護AI模型和正在處理的數(shù)據(jù)。據(jù)NVIDIA介紹，客戶還可以將機密計算應(yīng)用于醫(yī)療健康和金融服務(wù)等隱私敏感型行業(yè)的聯(lián)邦學(xué)習(xí)，也可以應(yīng)用于共享云基礎(chǔ)設(shè)施。

H100采用新的DPX指令可加速動態(tài)規(guī)劃，適用于包括路徑優(yōu)化和基因組學(xué)在內(nèi)的一系列算法，與CPU和上一代GPU相比，其速度提升分別可達40倍和7倍。Floyd-Warshall算法（可在動態(tài)倉庫環(huán)境中為自主機器人車隊尋找最優(yōu)線路）與Smith-Waterman算法（可用于DNA和蛋白質(zhì)分類與折疊的序列比對）也在其加速之列。

H100將支持聊天機器人使用功能強大的monolithic Transformer語言模型Megatron 530B，吞吐量比上一代產(chǎn)品高出30倍，同時滿足實時對話式AI所需的次秒級延遲。利用H100，研究人員和開發(fā)者能夠訓(xùn)練龐大的模型，如包含3950億個參數(shù)的混合專家模型，訓(xùn)練速度加速達9倍，將訓(xùn)練時間從幾周縮短到幾天。

H100可部署于各種數(shù)據(jù)中心，包括內(nèi)部私有云、云、混合云和邊緣數(shù)據(jù)中心，產(chǎn)品預(yù)計于今年晚些時候全面發(fā)售。

責任編輯：李躍群

校對：丁曉