pytorch 分布式计算 你们都遇到过哪些 坑/bug？ 第1页
1
fan-ru-chao 网友的相关建议:
说下我之前遇到的坑，如果是用pytorch实现同步梯度更新，然后数据接口是自己写的话一定要注意保证每张卡分配的batch数是一样的。因为如果某张卡少了一个batch的话，其他卡就会等待，从而程序卡在torch.all_reduce()上。最后的情况就会出现在第一个epoch结尾处程序卡住，而且没有报错信息。
当时调了半天，一度以为是pytorch的某种bug，最后检查数据接口才发现了这个小错误。
1
相关话题
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?如果你是面试官，你怎么去判断一个面试者的深度学习水平？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
如何解读 Jeff Dean 等联合在 arXiv 上发布的用深度学习分析电子病历的论文？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
如何开发一个自己的 TensorFlow？
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？
把某人的 DNA 序列作为输入，正面照片作为输出，丢到深度神经网络里面学习，可行吗？
深度学习方面的科研工作中的实验代码有什么规范和写作技巧？如何妥善管理实验数据？
联邦学习在机器学习领域有什么独立存在的价值?
前一个讨论
怎样理解阻塞非阻塞与同步异步的区别？
下一个讨论
国内做NLP业务的香侬科技值得去吗？
相关的话题
如何进行图像模糊与清晰的分类？如何评价 Self-Normalizing Neural Networks 这篇论文?
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
deepmind发表的neural processes(神经过程)，这个是怎么实现的呢？
为什么Transformer要用LayerNorm？
机器学习能否用于综合评价？具体怎么操作？
如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？
BERT中，multi-head 768*64*12与直接使用768*768矩阵统一计算，有什么区别？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
如何用一句话证明自然语言处理很难？
人工智能 CV 岗位是不是现在供严重大于需？
如何看待MXNet在CVPR2017上公布的gluon接口？
为什么中文 NLP 数据集这么少？
下一代 AI 框架长什么样？
如何评价Sony新出的深度学习库NNabla？
把某人的 DNA 序列作为输入，正面照片作为输出，丢到深度神经网络里面学习，可行吗？
请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？
2019年CVPR有哪些糟糕的论文?
如何看待马毅老师深度学习第一性原理的文章在 ICML 四个审稿人一致接收的情况下被 AC 拒了？
GAN生成的数据没有标签怎么用来训练分类模型？
如何评价微软亚洲研究院提出的LightRNN？
attention跟一维卷积的区别是啥？
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
从应用的角度来看，深度学习怎样快速入门？
除了深度学习，机器学习领域近年来还有什么热点吗？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
如何理解今年发表在JMLR上随机森林算法SPORF？