如何看待美国造出超过神威太湖之光的「顶点」的超级计算机？ 第1页

此答案目的是客观评价一下今年超算Top500榜单的变化和超算发展的趋势。以下榜单均来自18年06月。

由于Summit获得了第一，大部分关注点都集中在了Summit上，但是今年榜单的前5名中除了神威外其实有4个都是“新星”，包括天河2号。

榜单的第1、第3、第5都是今年首次上榜，而且使用了几乎一样的架构设计：NVIDIA Tesla(TM) Volta 100 GPU+ EDR Infiniband（而神威的网络是基于Infiniband改的）。而天河2号换下了老旧的Intel Xeon Phi，换成了Matrix-2000协处理器，性能提升了接近一倍。

大部分人不知道的是，Top500其实拥有3个榜单：HPL(High-Performance Linpack)，HPCG和Green500。其中 HPL 是解一个大规模的密集随机矩阵构成的线性方程组，限定使用LU分解算法，限定使用双精度，限定误差上限，不得使用迭代来减小误差。HPL 的结果也称为 Rmax （持续运行最大性能）。与之对应的参考指标是 Rpeak （峰值性能），峰值性能又称为理论性能，其性能等于所有运算单元双精度浮点运算能力的和，简单地说就是正比于堆的机器数量。正是为了避免超算竞争变成“堆机器大赛”，Top500排名使用HPL作为指标而不是 Rpeak。

随着时代的推移，人们对计算机的性能影响因素也在逐渐改变，因此评价指标也在逐渐变化。早期的计算机几乎都使用 Rpeak 作为评价指标，是因为早期最主要的影响因素是计算单元的性能，比如ENIAC的评价指标就是“每秒能够进行5000次加法”。到后来随着晶体管集成技术的提升，运算单元不再成为决定性因素，访存速度和网络通信速度也成了重要的指标。HPL有基本的对于访存速度和网络通信速度测试，在这些测试的影响下，HPL性能只有Rpeak的60%-70%。不过，有些专家觉得HPL仍然不能真正体现计算机的真实性能，因为求解密集随机矩阵构成的线性方程组并不是一个特别实用的问题，在现实的科学计算等任务中，有很多偏微分方程，其求解方式是稀疏矩阵构成的方程组，以及超大规模的稀疏向量操作。由此抽象出的评测方式称为HPCG。HPCG包含以下任务：

• 稀疏矩阵-向量乘法
• 向量更新
• 全局内积
• 局部对称 Gauss-Seidel 平滑器（包含稀疏三角求解）
• 任务由一个多网格定界共轭梯度下降算法驱动

HPCG相比于HPL更加重视访存和网络性能，这些都是当代计算机架构的软肋，这导致HPCG性能只有Rpeak的0.5%-2%左右。通过堆机器来提升HPCG相比于HPL更加困难。17年我在Top500发布会现场，发布会指出近些年可能会使用HPCG代替HPL作为排名，或者至少要作为排名参考。

下面是HPCG性能：

其中可以看到今年新上榜的Summit和Sierra一骑绝尘，在HPCG上碾压其他对手，其秘诀显然是用了双路的EDR Infiniband大幅提升了网络效率，且使用了NVIDIA Telsa Volta 100 GPU，其HBM2内存的带宽数十倍于传统的DDR4/DDR3内存。而神威在HPL性能和Summit相近的情况下，HPCG只有1/6的性能，而天河HPCG排名要到20名开外。另一个非常显著的例子是日本的“京”计算机，其HPL性能只有神威10%的情况下跑出了125%的HPCG性能，在HPCG/HPL性能比上让人吃惊，这个原因外界推测是他们使用了6维超立方结构的“豆腐”网络，客观而言神威使用的“胖树”网络就要粗糙一些，某些情形下通信延迟很高（据说达到了秒级，需要处理器等待1,000,000,000个指令周期）。从HPCG排行榜上来看，美国两台新超算几乎就是冲着HPCG去的（虽然不一定是故意的，但是很难不让人想到如此），如果Top500委员会真的在未来要改用HPCG作为排名标准，那么对目前中国的超算排名非常不利（按照神威目前的HPCG性能比，中国要造出E级计算机才能超过当时的Summit）。

除了性能外，超算另外一个重要指标是“性价比”，这决定了商用化价值。性价比中的长期成本主要是电费，也包括散热成本等，最终体现在超算的“每W电能算力”上，评价这个指标的排行榜是 Green500。

Green500上前三被日本的 ZettaScaler-2.2 系列占据，这个系列在设计中都严格控制了功效比，但是性能都不佳。Top500前5名在Green500中的排名为：

• Summit，Green 500 #5, 13.889 Gflops/W
• 神威，Green 500 #24，6.051 Gflops/W
• Sierra, Green 500未测试，推测功效比接近Summit
• 天河2A，Green 500 #54，3.325Glops/W
• AI Bridging Cloud Infrastructure (ABCI), Green500#8, 12.054 Gflops/W

在功效上，Summit，Sierra，ABCI基本一致，但是是神威的2倍，天河2A的4倍。电费低是由于他们的由于使用了GV100（老黄很开心的说），由于制程的提高，NVIDIA的GPU计算卡的几个系列，即Kepler-Tesla-Maxwell-Pascal-Volta，在功耗几乎不变的情况下性能提升了几个数量级。中国由于光刻机和内存堆叠等技术受限，自主研发芯片到这样的制程还很困难，可能最近几年功效比很难获得较大优势。

其他方面

另外需要注意的是，Summit使用NVIDIA V100还带了几个附加buff:

1. 非常高的单精度和低精度运算性能。注意到我提到性能测试时一直加粗了“双精度”，是的，不谈精度说性能就是耍流氓，比如前些阵子Google说他们的TPU集群的运算性能达到了100Pflops，也就是比神威还快，这实际上说的是半精度。在跑HPL/HPCG时，仅仅使用了 NVIDIA V100的双精度单元，而NVIDIA V100的单精度计算能力是双精度的2倍，并且因为Tensor Core其半精度计算能力达到了惊人的16倍，也就是Summit的全机的半精度运算能力已经达到了1Eflops（1E=1000P=1000,000G=1,000,000,000M=1,000,000,000,000K=1,000,000,000,000,000）。半精度不能用于传统的科学计算，但是可以用于很多基因分析等离散任务。目前消息称Summit已经完成了Eflops级的基因分析应用，这意味着在Eflops问题上美国已经捷足先登，中国下面进而需要和美国争夺Eflops的HPL性能。
2. 可以用于前所未有规模的机器学习，特别是深度学习中的强化学习和模型搜索任务。如果仅仅按照性能计，DeepMind使用3000块 TPUv1 训练AlphaGo Zero在3天就超过了人类，Summit上预计只要不到7个小时。

其实吧，这次比较真的让人不服气，美国超算直接上了NVIDIA V100，爆了各类指标，大部分功劳都要归NVIDIA。NVIDIA的CUDA战略确实赶上了这个时代。

超算的发展趋势

虽然前5名的架构有所区别，但是他们都给出相同的路线：

1. 多核向众核发展。以后超算一块主板上有超过500个核心将是常态。（注意Top500没有算上GPU的内部核心而是将其整体作为一块加速器，作为众核时架构应该计入内部核心数）。
2. 众核去cache化，用局部SRAM取代（神威的SPM，NVIDIA V100的shared memory）。Cache几乎是现代计算机体系结构的必然要素，其利用了访存局部性。但是在超算上其逐渐显现出了众多缺点：功耗高，bug多（Intel芯片众多漏洞都直接间接来自Cache），多核间同步困难（学过体系结构的同学都应该有所感悟），在复杂访存时“负向优化”（典型的是遍历大规模的图，即Graph500评测）。而超算任务往往分为两种：一种是非常规则的计算，因此可以手动控制内存访问，不需要cache协助；另外一种是非常不规则的访存，cache会帮倒忙；而需要cache的地方往往不是计算性能瓶颈，可以用主核来处理。所以从核去cache是一个趋势。
3. 使用RDMA网络。使用专用硬件+DMA机制封装、处理和分发网络包，将计算单元从网络通信中解放出来。
4. 对Intel的冲击。由于Intel在众核架构上的部分失利，以及之前美国对Intel出口的封锁，Intel在超算上失去了很多机会。我觉得Top500官网上的说法很讽刺：自从今年天河2号使用自产的Matrix-2000换掉了3年之久的Intel Xeon Phi后，功耗几乎没变，性能却翻倍了。

此外中美的超算发展路径也开始有了分歧。中国开始倾向于总体设计：主板，主核，从核都是配套的，可以直接集成在主板上。好处是可控性高，且集成度非常高（神威的一个节点比手机厚不了多少），且可以配备先进的水冷系统，坏处是成本以及通用性；美国继续走商业化集成：使用商用处理器、网络和加速器，自己只管集群系统。这样的好处是成本和通用性，坏处是集成度，以及需要等待NVIDIA和Intel挤牙膏。下面10年将见证两者的高下。