为什么PyTorch的GPU训练推荐用NCCL而不是Gloo？ 第1页
1
yuan-dong-39 网友的相关建议:
NCCL支持RDMA。
理论上，从算法上gloo的没有道理比NCCL更好，因为gloo 至多也用ring allreduce。
实际上实现上，应该没有其它库超过NCCL，NCCL的实现充分利用了流水线来重叠传输和计算。
1
相关话题
如何看待nvidia收购mellanox?为什么 CPU 的浮点运算能力比 GPU 差，为什么不提高 CPU 的浮点运算能力？
transformer中的Q,K,V到底是什么？
为什么我认为AMD的显卡比不过同时期NVIDIA的显卡？
如果CPU够强的话GPU可以阉割掉吗？
目前有 1650s 显卡有必要抢 3050 显卡吗？
AMD的7nm GPU能否追上英伟达的脚步？
AMD 显卡卖不过 NVIDIA，CPU 卖不过 Intel，为什么还能生存到现在？
如何评价从ps1到ps4 pc机与主机机能差距缩小的时间越来越短？
如何评价英伟达刚出的1650s？
前一个讨论
行为识别常用哪种特征提取？
下一个讨论
普通二本院校青年教师发文章比好大学难很多吗？
相关的话题
实验室一块GPU都没有怎么做深度学习？rtx3060最低需要什么CPU搭配？
下一世代的游戏主机为达到更高性能是否有可能选用英伟达的GPU？
如何评价苹果真正的“王炸”，代号为Jade 4C-Die的芯片?
Meta 市值被英伟达赶超，跌至第八，都有哪些因素影响，Meta 股价还会继续下跌吗，为什么？
apple最新的A13处理器不考虑温控下，能大致等同于什么级别的PC领域的CPU和GPU？
如何看待Nvidia于2020年5月4日发布的全新Ampere GPU A100 (GA100核心)？
为什么游戏主机（PS3/XBOX 360）和次世代游戏主机（PS4/XBOX One）不采用Intel/nVidia平台？
为什么华为用了短短几年时间就在手机CPU超越了高通CPU处理器研发？
如何评价NVIDIA RTX 4090 显卡？
AMD的7nm GPU能否追上英伟达的脚步？
AMD 公司持续亏损、市值不断蒸发、产品竞争力不强，那为什么公司还没倒闭？
为什么我认为AMD的显卡比不过同时期NVIDIA的显卡？
请问现在买30系显卡游戏算是背刺吗？
DX12下的R9 Fury X CF和GTX980TI SLI哪个4K游戏性能好?
APU模式和CPU+GPU模式哪种更能适应未来笔记本发展方向？
如果英伟达不计成本全力研发一款显卡，以现在的技术水平能达到什么水平？
如何评价摩尔线程发布基于 MUSA 统一系统架构发布的 GPU?
如果学习从零开始学习Pytorch,有优秀的开源项目可以推荐吗？
6700XT和3070该如何选择?
CPU 和 GPU 的区别是什么？
SIMD指令和SIMT指令有什么区别？
AMD今年的RDNA2究竟有多强，能不能给老黄高端真正的压力?
如何评价苹果真正的“王炸”，代号为Jade 4C-Die的芯片?
6700XT和3070该如何选择?
如何看待英伟达收购以色列芯片公司 Mellanox 获中国批准？对中国市场意味着什么？
如何看待英伟达收购以色列芯片公司 Mellanox 获中国批准？对中国市场意味着什么？
如何看待网曝三星 Exynos 1000 用上 AMD GPU，性能将超 iPhone GPU？
光线追踪会不会和曲面细分一样成为伪需求？
有没有什么可以节省大量时间的 Deep Learning 效率神器？