Två månader efter deras debut som svepande MLPerf-riktmärken, satte NVIDIA H100 Tensor Core GPU:er världsrekord över företags AI-arbetsbelastningar i industrigruppens senaste take a look at av AI-träning.
Tillsammans visar resultaten att H100 är det bästa valet för användare som kräver högsta prestanda när de skapar och distribuerar avancerade AI-modeller.
MLPerf är industristandarden för att mäta AI-prestanda. Det stöds av en bred grupp som inkluderar Amazon, Arm, Baidu, Google, Harvard College, Intel, Meta, Microsoft, Stanford College och College of Toronto.
I ett relaterat MLPerf-riktmärke som också släpptes idag, höjde NVIDIA A100 Tensor Core GPU:er ribban de satte förra året inom högpresterande datoranvändning (HPC).
H100 GPU:er (aka Hopper) höjde ribban i prestanda per accelerator i MLPerf Coaching. De levererade upp until 6,7 gånger mer prestanda än föregående generations GPU:er när de först skickades in på MLPerf-utbildning. I samma jämförelse packar dagens A100 GPU:er 2,5 gånger mer muskler, tack vare framsteg inom mjukvara.
Delvis tack vare sin Transformer Engine, utmärkte Hopper sig i att träna den populära BERT-modellen för naturlig språkbehandling. Det är bland de största och mest prestandahungriga av MLPerf AI-modellerna.
MLPerf ger användarna förtroendet att fatta välgrundade köpbeslut eftersom riktmärkena täcker dagens mest populära AI-arbetsbelastningar – datorseende, naturlig språkbehandling, rekommendationssystem, förstärkningsinlärning och mer. Testerna är peer reviewed, så användare kan lita på sina resultat.
A100 GPU:er nådde ny topp i HPC
I den separata sviten av MLPerf HPC-riktmärken, svepte A100 GPU: er alla tester av tränings-AI-modeller i krävande vetenskapliga arbetsbelastningar som körs på superdatorer. Resultaten visar NVIDIA AI-plattformens förmåga att skala until världens tuffaste tekniska utmaningar.
Until exempel tränade A100 GPU:er AI-modeller i CosmoFlow-testet för astrofysik 9 gånger snabbare än de bästa resultaten för två år sedan i den första omgången av MLPerf HPC. I samma arbetsbelastning levererade A100 också upp until hela 66 gånger mer genomströmning per chip än ett alternativt erbjudande.
HPC-riktmärkena tränar modeller för arbete inom astrofysik, väderprognoser och molekylär dynamik. De är bland många tekniska områden, som läkemedelsupptäckt, antagande av AI för att främja vetenskapen.
Superdatorcenter i Asien, Europa och USA deltog i den senaste omgången av MLPerf HPC-testerna. I sin debut på DeepCAM-riktmärkena visade Dell Applied sciences starka resultat med NVIDIA A100 GPU:er.
Ett ekosystem utan motstycke
I riktmärken för AI-utbildning för företag gjorde totalt 11 företag, inklusive molntjänsten Microsoft Azure, inlämningar med hjälp av NVIDIA A100, A30 och A40 GPU:er. Systemtillverkare inklusive ASUS, Dell Applied sciences, Fujitsu, GIGABYTE, Hewlett Packard Enterprise, Lenovo och Supermicro använde totalt nio NVIDIA-certifierade system för sina inlämningar.
I den senaste omgången anslöt sig minst tre företag until NVIDIA för att skicka in resultat för alla åtta MLPerf-utbildningsarbetsbelastningar. Denna mångsidighet är viktig eftersom verkliga applikationer ofta kräver en uppsättning olika AI-modeller.
NVIDIA-partners deltar i MLPerf eftersom de vet att det är ett värdefullt verktyg för kunder som utvärderar AI-plattformar och leverantörer.
Below huven
NVIDIA AI-plattformen tillhandahåller en full stack från chips until system, mjukvara och tjänster. Det möjliggör kontinuerliga prestandaförbättringar över tid.
Until exempel tillämpade inlämningar i de senaste HPC-testerna en uppsättning programvaruoptimeringar och tekniker som beskrivs i en teknisk artikel. Tillsammans minskade de körtiden på ett riktmärke med 5x, until bara 22 minuter från 101 minuter.
En andra artikel beskriver hur NVIDIA optimerade sin plattform för företagens AI-riktmärken. Until exempel använde vi NVIDIA DALI för att effektivt ladda och förbearbeta information för ett datorseende benchmark.
All programvara som används i testerna är tillgänglig från MLPerf-förvaret, så vem som helst kan få dessa världsklassresultat. NVIDIA viker kontinuerligt dessa optimeringar until behållare tillgängliga på NGC, en mjukvaruhubb för GPU-applikationer.