最新GPU, AI Chip の実力

Nvidia Exhibits Hopper in Latest MLPerf Benchmarks (EETIMES)より。

AI推論のMLPerfベンチマークの最新結果が公開された。注目はNVIDIAのHopper だが、多数のAI Chipの結果も登録されている。

• Nvidia H100 (Hopper) : A100の1.5倍～2倍の性能, BERT 4.5倍
• Qualcomm Cloud AI 100 : 18 アクセラレータシステム, ResNet-50でトップ
• Biren BR104 : ResNet-50, BERT99.9 オフラインでA100を上回る
• Sapeon X220 : Nvidia A2に対し電力効率2.2倍
• Intel Sapphire Rapids : 前世代比 3.9～4.7倍 (オフラインモード)
• Moffett : Antoumチップ
• Neural Magic : Softwareベースの推論エンジン (Intel Xeon)
• Deci : ニューラルアーキテクチャ検索 (AMD Epyc)