固态硬盘读写速度理论上有上限吗？ 第1页

一般的用户态程序读取硬盘数据理论上最高可以达到host主内存实际读写速度的一半略低一些的速度，例如双通道DDR4-3200平台大约上限是24GB/s。这是理论上无论有多快的硬盘、再多的PCIe通道和硬盘数量都无法突破的上限，除非使用PCIe P2P直接送到其它设备（例如网卡、显卡或者FPGA加速器等等）

简化的SSD读取流程：

1. 用户态软件发起类似 read(2) 的系统调用，传入文件fd和缓冲区信息；
2. fs驱动计算读取位置后，调用block设备驱动通过MMIO向SSD发送读取命令；
3. SSD控制器/HBA通过DMA将数据写入主机内存的DMA缓冲区；
4. block驱动、fs驱动最终将数据拷贝到用户态传入的读取缓冲区。
   如果是简单的跑分测试软件，用户态传入的缓冲区一般较小并且会重用，所以copy后不会立即写回到内存而是会留在CPU的write back cache里，并且会不停地由新拷贝进来地数据覆盖旧的数据。

可以看出，在第三步、第四步分别有一次主机内存的写入与读取操作，会占用两倍于IO速度的内存带宽。

一般用户的硬盘数量较少所以通常不会遇到这个瓶颈，但是对于一些特殊的设备（例如NVMe NAS）很可能遇到。

以AM4桌面平台为例，如果将所有PCIe通道都插满NVMe硬盘，可以获得20条直连CPU的PCIe 4.0通道和4条X570的PCIe 4.0通道，能同时连接6个三星980 pro SSD，理论总读取速度约为40GB/s （单盘6.7GB/s）。但是实测所有硬盘同时读取时，在内存不极限超频的情况下无论如何都很难超过24GB/s，内存超频后则可以达到26GB/s或更高。大量SSD读写的场景在DDR5平台会有更好的表现（目前ADL搭配DDR5内存已经可以轻松超越这个数值）。

桌面平台给双通道3200内存仅仅搭配了24条PCIe通道，但同样的架构在服务器上每两个通道都配备了32条PCIe通道，DRAM带来的带宽瓶颈会更明显一些。

事实上也不仅仅是内存可能造成瓶颈，还有处理器内部总线也有可能造成类似问题。如上图所示，sIOD内部的拓扑相比于cIOD非常复杂，并且带宽非常有限，每一个位置都可能成为瓶颈。所以别看128条PCIe 4.0通道提供了512GB/s的双向合计带宽，实际可用的数值会远远低于通过PCIe版本和通道数量计算出来的理论数值。

在这样的环境下需要具体分析硬件IO拓扑，针对性的进行优化，才能达到理想的性能。例如Netflix有一个97页的presentation，专门讲他们如何在不同硬件平台解决大量IO场景下的瓶颈问题。

里面提到了减少CPU对内存的读写，使得内存带宽需求减半的优化。

综上所述，内存和CPU内部总线的速率决定了固态硬盘读写速度的理论绝对上限。