mxnet的并行计算为什么这么牛，是什么原理？ 第1页
1
james-82 网友的相关建议:
个人理解
通过执行引擎来达到计算和收发的并行，例如后向时算完某一个参数的梯度后，执行引擎会立刻提交到发送队列中开始发送，这时候其他的后向计算还在进行中。
此外发送与接收的队列有优先级，时刻保证最高优先级参数的接收与发送
上述机制保证了对于较深的网络能够达到了很好的线性加速比，不过对于浅层网络，比如只有两层lstm的 encoder decoder这种方法的并行效果欠佳。
总的来说还是灰常牛逼滴！
mli65 网友的相关建议:
简单来说是当计算开销大于通讯开销时，通过并行两者可以达到将近线性的加速。
具体可参见 Sec 4.4 和 4.5
http://www. cs.cmu.edu/~muli/mu-the sis.pdfps: 这里有新的在256块GPU上的加速，和10台机器vs单机的收敛：
详细见：
dmlc/mxnet1
相关话题
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
NLP领域，你推荐哪些综述性的文章？
目前，人工智能语音在说中文时的语气感觉上还比较机械，怎样使人工智能语音的语气更自然一些？
李航的统计学习方法，吴恩达的视频，关于机器学习的东西都看不懂是怎么回事？
ICLR 2018 有什么值得关注的亮点？
有哪些解决完之后让你拍案叫绝的算法问题？
使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
硕士方向，选择迁移学习还是自然语言处理？
Kaggle如何入门？
相关的话题
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？如何看待周志华等人的新书《机器学习理论导引》？
自学深度学习是怎样一种体验？
2019 秋招的 AI 岗位竞争激烈吗？
2022 年人工智能领域的发展趋势是什么？你都有哪些期待？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
为什么C4.5决策树能处理连续特征，ID3树不能处理连续特征？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
Deep Learning 的专家如此急缺，它难在何处？
人脸识别哪家强？
为什么deep lab v3起，输出不再接 DenseCRF了？
为什么计算注意力机制的时候不加偏置项？
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
深度学习中有哪些数据增强方法？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
如何直观地解释 backpropagation 算法？
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
有哪些比较好的元学习（meta learning）领域的学习资源？
人工智能可以为人类找寻他们心目中的另一半吗?
2018年了，MXNet 发展的如何了？
深度学习中有哪些数据增强方法？
如何看待SIREN激活函数的提出？
Resnet到底在解决一个什么问题呢？
如何理解 natural gradient descent?
如何评价余凯创立的horizon robotics？
目前有哪些比较成功的人工智能应用？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
有没有什么可以节省大量时间的 Deep Learning 效率神器？