mxnet的并行计算为什么这么牛，是什么原理？ 第1页
1
james-82 网友的相关建议:
个人理解
通过执行引擎来达到计算和收发的并行，例如后向时算完某一个参数的梯度后，执行引擎会立刻提交到发送队列中开始发送，这时候其他的后向计算还在进行中。
此外发送与接收的队列有优先级，时刻保证最高优先级参数的接收与发送
上述机制保证了对于较深的网络能够达到了很好的线性加速比，不过对于浅层网络，比如只有两层lstm的 encoder decoder这种方法的并行效果欠佳。
总的来说还是灰常牛逼滴！
mli65 网友的相关建议:
简单来说是当计算开销大于通讯开销时，通过并行两者可以达到将近线性的加速。
具体可参见 Sec 4.4 和 4.5
http://www. cs.cmu.edu/~muli/mu-the sis.pdfps: 这里有新的在256块GPU上的加速，和10台机器vs单机的收敛：
详细见：
dmlc/mxnet1
相关话题
目标检测中的mAP是什么含义？为什么新增特征有时候会对模型带来负面影响？
adversarial training为什么会起作用？
为什么现在有这么多人工智能无用论？
假如我穿越到2017年第一个提出了Transformer、BERT等模型，我可以保送到清华北大吗？
给男友配置一个适合做深度学习的电脑要多少钱？
有哪些比较好的元学习（meta learning）领域的学习资源？
如何理解链接预测（link prediction）？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
ICLR 2019 有什么值得关注的亮点？
相关的话题
为什么在SGD中使用L1正则化很难获得稀疏性？人脸识别哪家强？
当前人工智能特别是深度学习最前沿的研究方向是什么？
如何直观地解释 backpropagation 算法？
如何评价微软新出的自拍软件 Microsoft Selfie？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
如何评价中国人民大学高瓴人工智能学院教授的薪酬标准？
有什么深度学习数学基础书推荐？
因果推断会是下一个AI热潮吗？
Linear least squares, Lasso,ridge regression有何本质区别？
视觉算法的工业部署及落地方面的技术知识，怎么学？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
2019 秋招的 AI 岗位竞争激烈吗？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
Python中 __init__的通俗解释是什么？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
去美国读CS博士，方向是机器人导航，视觉方面，推荐一下相关编程方面准备？还有相关算法需要学习哪些？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
搞机器学习的生环化材是天坑吗？
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
如何看待微软小冰写的诗？
深度学习在信息安全的应用有哪些可以关注的人或论文？
深度学习的多个loss如何平衡？
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？
现在的BERT等语言模型，最快训练要多久？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
人工智能的意义和价值是什么？