mxnet的并行计算为什么这么牛，是什么原理？ 第1页
1
james-82 网友的相关建议:
个人理解
通过执行引擎来达到计算和收发的并行，例如后向时算完某一个参数的梯度后，执行引擎会立刻提交到发送队列中开始发送，这时候其他的后向计算还在进行中。
此外发送与接收的队列有优先级，时刻保证最高优先级参数的接收与发送
上述机制保证了对于较深的网络能够达到了很好的线性加速比，不过对于浅层网络，比如只有两层lstm的 encoder decoder这种方法的并行效果欠佳。
总的来说还是灰常牛逼滴！
mli65 网友的相关建议:
简单来说是当计算开销大于通讯开销时，通过并行两者可以达到将近线性的加速。
具体可参见 Sec 4.4 和 4.5
http://www. cs.cmu.edu/~muli/mu-the sis.pdfps: 这里有新的在256块GPU上的加速，和10台机器vs单机的收敛：
详细见：
dmlc/mxnet1
相关话题
计算机视觉是否已经进入瓶颈期？视觉算法的工业部署及落地方面的技术知识，怎么学？
CTC和Encoder-Decoder有什么关系?
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
adversarial training为什么会起作用？
物理专业的学生如何看待机器学习和大数据这些方向呢？
目前有哪些比较成功的人工智能应用？
在你做推荐系统的过程中都遇到过什么坑？
网络上一位长者提出了“完全不依靠人工神经网络与机器学习算法实现人工智能”的理论，大家怎么看？
相关的话题
请问有没有基于实例的迁移学习的数据？计算机视觉中，目前有哪些经典的目标跟踪算法？
有什么深度学习数学基础书推荐？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
把某人的 DNA 序列作为输入，正面照片作为输出，丢到深度神经网络里面学习，可行吗？
物理专业的学生如何看待机器学习和大数据这些方向呢？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
如何系统学习机器学习？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
可以对只有一个像素的图片拥有版权或著作权吗？为什么？
迁移学习入门，新手该如何下手？
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
机器学习如何才能避免「只是调参数」？
为什么 Bert 的三个 Embedding 可以进行相加？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
能否使用神经网络来判断奇偶数？
batchsize=1时可以用BN吗?
深度学习图像处理什么时候用到GPU？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
Transformer在工业界的应用瓶颈如何突破？
是不是并不是所有问题都适合用神经网络预测？
机器学习领域是否已经达到饱和？
目标检测中的mAP是什么含义？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
面试官如何判断面试者的机器学习水平？
ICLR 2018 有什么值得关注的亮点？
为什么说深度学习没有理论基础?