通過NVIDIA H800超微NV服務器

Tensor Core GPU ,在每個工作負載中實現(xiàn)出色性能、可擴 展性和安全性。使用NVIDIA? NVLink Switch系統(tǒng),可連接多達256個H100來

加速百億億級(Exascale)工作負載,另外可通過專用的Transformer引擎來處理萬億參數(shù)語言模型。與上一代產(chǎn)品相比, H100的綜合技術

創(chuàng)新可以將大型語言模型的速度提高30倍,從而提供業(yè)界領先的對話式Al。

H800配備第四代Tensor Core和Transformer引擎( FP8精度)，與上一代產(chǎn)品相比 ,可為多專家(MoE)模型提供高9倍的訓練速度。通

過結合可提供900 GB/s GPU間互連的第四代NVink、可跨節(jié)點加速每個GPU通信的NVLINK Switch系統(tǒng)、PCle 5.0以及NVIDIA

Magnum I0?軟件,為小型企業(yè)到大規(guī)模統(tǒng)一GPU 集群提供高效的可擴展性。

NVIDIA H800超微NV服務器進一步擴 展了NVIDIA在推理領域的市場領先地位,其多項先進技術可將推理速度提高30倍,并提供超低的延

遲。第四代Tensor Core可加速所有精度(包括FP64、TF32、 FP32、 FP16 和INT8)。Transformer 引擎可結合使用FP8和FP16精

度,減少內存占用并提高性能,同時仍能保持大型語言模型的準確性。

VIDIA數(shù)據(jù)中心平臺性能持續(xù)提升,超越摩爾定律。H100 的全新突破性Al性能進一步加強了HPC+AI的力量,加速科學家和研究人員的探

索，讓他們全身心投入工作,解決世界面臨的重大挑戰(zhàn)。