NVIDIA heeft op de SC23-conferentie de introductie van de NVIDIA HGX H200 aangekondigd. Deze nieuwe GPU, gebaseerd op de NVIDIA Hopper-architectuur, is ontworpen om de data-eisen van generatieve AI en high performance computing (HPC) workloads te ondersteunen.
De H200, de eerste GPU met HBM3e-geheugen, biedt een aanzienlijke verbetering in snelheid en capaciteit. Het apparaat heeft 141GB aan geheugen met een verwerkingssnelheid van 4.8 terabytes per seconde, wat aanzienlijk meer is dan de vorige NVIDIA A100.
De levering van H200-systemen door grote serverfabrikanten en cloud service providers staat gepland voor het tweede kwartaal van 2024.
Ian Buck, vicepresident van hyperscale en HPC bij NVIDIA, legt uit dat de H200 essentieel is voor het verwerken van grote datahoeveelheden bij generatieve AI en HPC-toepassingen.
De Hopper-architectuur van NVIDIA blijft verbeteren met nieuwe software-updates, waaronder NVIDIA TensorRT-LLM. De H200 belooft aanzienlijke prestatieverbeteringen, zoals een bijna verdubbeling van de inference-snelheid op Llama 2, een taalmodel met 70 miljard parameters, in vergelijking met de H100.
De H200 is beschikbaar in verschillende serverbordconfiguraties en in de NVIDIA GH200 Grace Hopper Superchip met HBM3e, aangekondigd in augustus. Cloud service providers zoals Amazon Web Services, Google Cloud, Microsoft Azure en Oracle Cloud Infrastructure zullen vanaf volgend jaar H200-gebaseerde instances aanbieden.
Met NVIDIA NVLink en NVSwitch interconnects biedt de HGX H200 hoge prestaties voor diverse applicatieworkloads, waaronder training en inference van grote taalmodellen.
De combinatie van de H200 met NVIDIA Grace-CPU’s en NVLink-C2C-interconnect resulteert in de GH200 Grace Hopper Superchip met HBM3e, bedoeld voor grote HPC- en AI-applicaties.
NVIDIA’s versnelde computingplatform wordt ondersteund door softwaretools die het ontwikkelen en versnellen van AI- tot HPC-applicaties mogelijk maken, waaronder de NVIDIA AI Enterprise-suite.
De NVIDIA H200 zal beschikbaar zijn bij systeemfabrikanten en cloud service providers wereldwijd vanaf het tweede kwartaal van 2024.
