mxnet的并行计算为什么这么牛，是什么原理？ 第1页
1
james-82 网友的相关建议:
个人理解
通过执行引擎来达到计算和收发的并行，例如后向时算完某一个参数的梯度后，执行引擎会立刻提交到发送队列中开始发送，这时候其他的后向计算还在进行中。
此外发送与接收的队列有优先级，时刻保证最高优先级参数的接收与发送
上述机制保证了对于较深的网络能够达到了很好的线性加速比，不过对于浅层网络，比如只有两层lstm的 encoder decoder这种方法的并行效果欠佳。
总的来说还是灰常牛逼滴！
mli65 网友的相关建议:
简单来说是当计算开销大于通讯开销时，通过并行两者可以达到将近线性的加速。
具体可参见 Sec 4.4 和 4.5
http://www. cs.cmu.edu/~muli/mu-the sis.pdfps: 这里有新的在256块GPU上的加速，和10台机器vs单机的收敛：
详细见：
dmlc/mxnet1
相关话题
如何解读 Jeff Dean 等联合在 arXiv 上发布的用深度学习分析电子病历的论文？有哪些相见恨晚的 TensorFlow 小技巧？
DeepMind 团队中有哪些厉害的人物和技术积累？
如何评价MXNet发布的1.0版本？
对于技术岗位而言，开发岗累还是算法岗累呢？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
如何评价AWS的图神经网络框架DGL？
如何评价 NVIDIA 最新技术 5 秒训练 NERF？
生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？
相关的话题
为什么熵值最大的分布状态是正态分布而不是均匀分布？请解释下variational inference？
请解释下variational inference？
机器学习，深度神经网络等方法是否是正确的方向？
语音识别中，声学模型与语言模型扮演什么角色？或者说是怎么通过两个模型进行语音识别的?
为什么softmax很少会出现[0.5，0.5]？
机器学习最好的课程是什么？
如何用简单易懂的例子解释隐马尔可夫模型？
深度学习中Attention与全连接层的区别何在？
为什么现在不看好 CV 方向了呢?
什么是meta-learning?
如何用机器学习判断《溪岸图》是否董源真迹？
在机器学习中，L2正则化为什么能够缓过拟合？
神经网络的损失函数为什么是非凸的?
如何理解空洞卷积（dilated convolution）？
实验室一块GPU都没有怎么做深度学习？
请问机器学习中的预测与决策的区别是什么，他们的界限在哪里呢？
如何理解MCMC中的细致平稳条件？
如何评价Sony新出的深度学习库NNabla？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
机器学习算法工程师如何自己接项目单干、并赚取比上班多得多的收入？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
国内做NLP业务的香侬科技值得去吗？
如何评价微软亚洲研究院提出的LightRNN？
我决定进军期货市场，您有什么建议吗？
先进的图像识别怎样改变 AV 产业？
如何评价PyTorch 0.4.0？
什么是大模型？超大模型？Foundation Model？
国内哪些公司在用caffe、torch、TensorFlow、paddle等框架，哪些在用自研框架？
mxnet的并行计算为什么这么牛，是什么原理？