nvidia blackwell gpu相当强悍,大家都知道,但到底有多强呢?
除了官方宣传数据,现在终于第一次看到了实测数据,来自mlcommons mlperf v4.1,考察ai训练推理性能的最佳平台。
对比对象是两代hgx b200、hgx h200,前者包含多达八颗blackwell gpu b200,单颗功耗高达1000w。
gpt-3预训练项目中,blackwell的性能相比上代hopper翻了一番。
llama 2 700亿参数微调项目中,blackwell的性能更是提升了多达2.2倍。
值得一提的是,blackwell平台具备connectx-7 supernics网卡、quantum-2 infiniband交换机,再加上第五代nvlink互连总线,可以充分保障节点间的通信,可以平衡分配ai训练负载,整体效率更高。
比如同样的gpt-3 1750亿参数性能,hopper需要多达256颗gpu,blackwell就只需要64颗。