最新GPU, AI Chip の実力
Nvidia Exhibits Hopper in Latest MLPerf Benchmarks (EETIMES)より。
AI推論のMLPerfベンチマークの最新結果が公開された。注目はNVIDIAのHopper だが、多数のAI Chipの結果も登録されている。
- Nvidia H100 (Hopper) : A100の1.5倍~2倍の性能, BERT 4.5倍
- Qualcomm Cloud AI 100 : 18 アクセラレータシステム, ResNet-50でトップ
- Biren BR104 : ResNet-50, BERT99.9 オフラインでA100を上回る
- Sapeon X220 : Nvidia A2に対し電力効率2.2倍
- Intel Sapphire Rapids : 前世代比 3.9~4.7倍 (オフラインモード)
- Moffett : Antoumチップ
- Neural Magic : Softwareベースの推論エンジン (Intel Xeon)
- Deci : ニューラルアーキテクチャ検索 (AMD Epyc)