mxnet的并行计算为什么这么牛，是什么原理？ 第1页
1
james-82 网友的相关建议:
个人理解
通过执行引擎来达到计算和收发的并行，例如后向时算完某一个参数的梯度后，执行引擎会立刻提交到发送队列中开始发送，这时候其他的后向计算还在进行中。
此外发送与接收的队列有优先级，时刻保证最高优先级参数的接收与发送
上述机制保证了对于较深的网络能够达到了很好的线性加速比，不过对于浅层网络，比如只有两层lstm的 encoder decoder这种方法的并行效果欠佳。
总的来说还是灰常牛逼滴！
mli65 网友的相关建议:
简单来说是当计算开销大于通讯开销时，通过并行两者可以达到将近线性的加速。
具体可参见 Sec 4.4 和 4.5
http://www. cs.cmu.edu/~muli/mu-the sis.pdfps: 这里有新的在256块GPU上的加速，和10台机器vs单机的收敛：
详细见：
dmlc/mxnet1
相关话题
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？神经网络模型压缩好就业吗?
Resnet到底在解决一个什么问题呢？
TensorFlow的自动求导具体是在哪部分代码里实现的？
如何评价Facebook AI提出的ResMLP，对比Google的MLP-Mixer?
联邦学习在机器学习领域有什么独立存在的价值?
为什么ViT里的image patch要设计成不重叠？
word2vec有什么应用？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
你有哪些deep learning（rnn、cnn）调参的经验？
相关的话题
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？自学深度学习是怎样一种体验？
如何看待Capsule Network在NLP领域的潜力？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
计算商品embedding然后平均得到用户embedding，会不会存在这种问题？
如果美国禁用 Tensorflow 和 Pytorch 对中国的人工智能有何影响？
为什么梯度下降能找到最小值？
反馈控制理论在优化、机器学习等领域有哪些应用？
训练过程中loss震荡特别严重，可能是什么问题？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
有哪些深度学习效果不如传统方法的经典案例？
2021年，ncnn发展的如何了？
深度学习底层开发对数学有哪些要求？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
如何评价中国人民大学高瓴人工智能学院教授的薪酬标准？
如何评价 DeepMind 在北京时间 19 年 1 月 25 日 2 点的《星际争霸 2》项目演示？
如何看待周志华等人的新书《机器学习理论导引》？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
反馈控制理论在优化、机器学习等领域有哪些应用？
TensorFlow 有哪些令人难以接受的地方？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
为什么有的论文放出训练好的模型和测试脚本，但不开源训练代码？
如何理解attention中的Q,K,V？
为什么计算注意力机制的时候不加偏置项？
CPU和GPU跑深度学习差别有多大？
目前手势识别发展到什么水平了？
怎么通过一维分布的随机样本推测原分布？