如何评价英伟达 3 月 22 日发布的全新 GPU H100 ？ 第1页

错峰回答一波，白皮书里的各方面性能数据大家吹得很多了。先贴一个两年前A100发布时候写的一个回答和NV未来发展趋势的预测，基本还是符合预期的。

NV的GPU在DSA的道路上下注得越来越坚定。大家如果看这几年NV的发布会，一般性能要吊打上一代5～10倍这个量级。但如果大家列出这几代芯片的cuda core的数量变化，其实SIMT这条路带来的提升只有2倍左右，性能提升其实越来越倚重DSA。volta架构之前基本沿着SIMT道路扩展。

从volta开始加入tensorcore，属于吃了一口DSA的毒药了，ampere扩展一系列低精度数据格式，搞sparse计算，到hopper搞fp8增强transformer搞dpx，已经到了药不能停的地步。之所以说DSA是毒药，是因为副作用真的很大，我相信每个搞AI芯片的公司都吃过这其中的苦头，那就是软件生态非常难建立。即使NV坐拥cuda生态和巨大的行业号召力，这种毒性也会慢慢发挥作用。我相信很多做NV平台算子开发的朋友都有这样的感觉，v100的tensor core才慢慢开始用起来，a100才刚到货没多久，sparsity之类的特性软件整体也还没来得及去适配，现在h100又整出来一堆新东西，外部软件团队其实是很难跟上这个节奏的。这会慢慢导致NV的生态变得和各个AI公司一样，靠NV内部力量去搞，但自己玩那还叫“生态”吗？一方面外部团队很难跟上NV的变化去建设生态，另一方面外部团队也会充满强烈的不安全感，今天老黄把transformer搞了，明天会不会把我的一亩三分地也给收割了？

这种毒性会慢慢损伤NV自己的生态，除非NV在构建一套新的生态来革了cuda生态的命。虽然我是个十足的N吹，但在这一块，我确实还没看到NV有所布局，而且NV在DSA的吃法属实有点过于变态。我之前写过一系列文章试图为大家构建一个DSA构建稳定生态和演进空间的可能性，实现DSA的无毒化烹饪，以此来对抗NV强大的SIMT生态。

但NV目前在DSA上的吃法都是属于完全无法做到软件透明的，尤其是ampere和hopper引入的这些DSA特性，无论用什么样的系统和软件栈设计也兜不住的。这在我上面这个系列的文章里抛出的方案也兜不住的DSA，实在是过于变态。最终的算法用户必须根据NV的特性特点去改造算法才能用上这些特性。作为一个N吹，虽然我也想辩解说NV敢这么做一定说明这种改动大概率在算法层面是可行的，但站在一个搞系统和架构的人角度，我还是觉得这种做法毒性属实过大。当然了，以NV当前的号召力，也没准能把这些新特性中的一部分变成事实的算法标准。

很多朋友喜欢摸着NV过河，觉得NV几乎把各种路都走了一遍，让大家无路可走，有点绝望。实际上我倒是反而觉得老黄这一口毒药吃得倒是暴露出了一定弱点，是广大AI厂商的机会，DSA的核心竞争力一定是软件生态的建设，不搞好就是毒药，显然现在NV也没有办法。

这里我再多说两句，很多朋友对生态的理解还是把硬件包得足够好用，把更多已有的软件对接过来。这样做当然也没错，但背后都是面向客户的生态建设，而不是面向开发者的生态建设。大家可以想一个简单的问题，如果各家AI芯片厂商可以穿越到2012年，AI的软件和生态还是一片蛮荒的时代，你们会怎么建设软件生态？NV没有选择做一个大而全的框架，NV只是在到处送卡和推广cuda。上面的深度学习框架一轮又一轮，你方唱罢我登场，cuda在下面稳如泰山。以NV的实力，做一个深度学习框架根本不是什么难事，想通过造一个大而全的软件框架保姆式地伺候最终的算法客户其实很难拿到软件生态，生态建设是需要遵循着面向开发者的原则展开。当然，在cuda已经成为事实上标准的情况下，NV才开始了如今的收割模式，以cuda为大本营大规模建设软件解决方案，面向客户开始收割各种垂直场景。

虽然2012年已经过去十年，SIMT的机会完全被cuda占据了，但DSA目前其实还是一片蛮荒，即使NV如此下注DSA，其实也还没拿出一套生态建设思路。我们其实完全可以好好学习一下cuda是如何在多核cpu几十年成熟的软件生态下大开局面的，希望大家好好把握机会（逃

当然，除了这些非常变态的DSA变化外。NV也一直在致力于将通用的cuda编程变得异步化，比如之前增加独立pc，比如这次TMA的引入，以及编程模型中block cluster的引入。这部分仍然是强大的SIMT生态的范畴，逐渐微调cuda的编程模型，逐渐暴露更多硬件细节出来，同时做一定的抽象，这些方面其实能感受到NV在这方面做得相当克制。当然了，这些微调一方面可以说增加了写cuda算子的难度，另一方面也可以说增加了更多卷的机会。有人喜欢有人喷，仁者见仁，智者见智。

我个人还是比较喜欢这一类调整的，相比很多AI芯片非常粗放地把硬件约束暴露上来，NV在cuda上的打磨我觉得还是相当精细的，编程模型一方面没有做得太复杂，但又足够把硬件用好的机会呈现出来，并且给未来很多代芯片进一步演进保留一定空间。这种软硬件分赃的刀工还是非常了得的。

这里我也不妨多说几句，我之前跟很多写cuda算子的朋友一起吹NV，我发现大家受cuda编程模型的影响，常常会一定程度上“忘记”硬件memory wall的各种问题。很多在别的架构上看起来非常蛋疼的问题似乎挪到cuda下面就不那么严重了，实际上NV GPU在整个memory通路上用了很多代价给cuda营造出来的这种假象，比如memory coalescing、大量sm访存的分发、冲突等问题。但这些问题确实硬件处理会更好，软件处理很容易出现舍近求远的各种奇葩情形。这些隐藏在cuda后面处理memory wall的各种机制也是NV在GPU硬件设计上非常核心的竞争力。在软硬件架构设计上的把控能力其实就是体现在这里，到底什么暴露给软件什么由硬件抗，cuda的竞争力其实就在这里。

MIG这一块这次的h100也得到了增强，之前写的a100的回答里也提到了，个人觉得这一块老黄是在dsa形态的gpu铺路，通过虚拟化让云上不同的workload能够把同一个gpu的不同dsa模块都充分利用起来，同时又保持一个干净的软件界面，可以继承现有针对单GPU的软件生态。当然现阶段还是硬分配，未来我相信一定会有类似超线程的超卖机制，一个GPU虚拟成若干个GPU实例，给云上不同类型的workload跑，每个实例虽然名义上只分到1/n之一的资源，但实际上可以把其他实例不用的资源（tensorcore、rtcore这个粒度）调度过来。这样真个云的利用率也能提高，应用的性能也可以提高。同时还能给云厂商自己去搞QoS卷竞争力，当然怎么切软硬件的分层确实是个很有意思的问题，我还是比较相信NV的刀法的。硬件层面的schedule确实也有一定的挑战性，不过以NV在warp schedule上的成熟经验，我觉得也是完全现实的。

总得来讲，NV的整体步伐还是稳重带着激进。虽然我对于NV下注DSA这一块的打法不是太乐观，但作为坐拥强大cuda生态的公司，直接把自己的主航道产品切换到其最大挑战者DSA的路径上，把一众竞争者从差异化竞争打压成同质化竞争，这还是相当有魄力的。

迭代很快，可能很多人第一感觉是：

1、A100还没到货，H100就发布了；

2、面向A100的软件优化还刚开始，又要考虑H100怎么优化了。

H100的一些摘要：
1、算力。H100 的 FP8 算力是 4PetaFLOPS， 6倍于A100；FP16 则为 2PetaFLOPS，TF32 算力为 1PetaFLOPS，FP64 和 FP32 算力为 60TeraFLOPS，FP16/FP32是A100的3倍。
2、内置Transformer Engine。可以将此类机器学习模型的训练时间从几周缩短到几天；内置DP加速器。
3、功耗。H100 的功率可以高达 700W——上代 A100 还是 400W。
4、虚拟化。H100 也可以虚拟化为 7 个用户共同使用，每个用户获得的算力相当于两块全功率的 T4 GPU。

5、H100 实现了业界首个基于 GPU 的机密计算。

因为细节比较少，比较关心几个问题：

1、实际的能效比/性价比怎么样

2、增加了transformer、dp这些加速器，这些加速器具体是怎么实现的；同时，内存和同步机制有了不少变化，DSA特征在增强，编程体验上是否有大的变化

3、引入TMA/异步等新的机制，最后对发挥H100算力起到多大作用。

总结，TMA/异步机制等已经很大程度改变了GPU以寄存器为中心的架构，我理解主要还是想尽量拿到tensor core这些加速器的收益；于是我们看到像NPU这些DSA架构(已经充分拿到tensor core收益)像Tenstorrent那样努力把DSA/SIMD架构进行同构化，提升架构的扩展性和编程的透明性；而H100则把原来SIMT这种同构的架构进行异构化，那他的编程性怎么办？感觉NV很大程度在搞很多一体机来隐藏这些变化和复杂度。