pytorch 分布式计算 你们都遇到过哪些 坑/bug？ 第1页
1
fan-ru-chao 网友的相关建议:
说下我之前遇到的坑，如果是用pytorch实现同步梯度更新，然后数据接口是自己写的话一定要注意保证每张卡分配的batch数是一样的。因为如果某张卡少了一个batch的话，其他卡就会等待，从而程序卡在torch.all_reduce()上。最后的情况就会出现在第一个epoch结尾处程序卡住，而且没有报错信息。
当时调了半天，一度以为是pytorch的某种bug，最后检查数据接口才发现了这个小错误。
1
相关话题
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？为什么yolov5从零开始训练（不在ImageNet上预训练）能够达到如此高的性能？
attention跟一维卷积的区别是啥？
如何评价「Patches are all you need」?
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
如何看待 AlphaFold 在蛋白质结构预测领域的成功？
Google 的神经网络生成图像 (Inceptionism) 是怎么做到的？
百度学术能否替代 Google 学术网站？有没有其他选择？
普通FPGA工程师怎样向人工智能靠拢？
全连接层的作用是什么？
前一个讨论
怎样理解阻塞非阻塞与同步异步的区别？
下一个讨论
国内做NLP业务的香侬科技值得去吗？
相关的话题
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
如何看待FAIR提出的8-bit optimizer：效果和32-bit optimizer相当？
深度学习中有哪些数据增强方法？
视觉Transformer如何优雅地避开位置编码？
硕士方向，选择迁移学习还是自然语言处理？
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？
2019 秋招的 AI 岗位竞争激烈吗？
如果学习从零开始学习Pytorch,有优秀的开源项目可以推荐吗？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
视觉算法的工业部署及落地方面的技术知识，怎么学？
Google 的神经网络生成图像 (Inceptionism) 是怎么做到的？
能否使用神经网络来判断奇偶数？
反馈控制理论在优化、机器学习等领域有哪些应用？
视觉Transformer如何优雅地避开位置编码？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
贝叶斯深度学习是什么，和传统神经网络有何不同？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
现在的人工智能是否走上了数学的极端？
2021 年了，机器/深度学习还有哪些坑比较好挖？
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
如何评价AWS的图神经网络框架DGL？
深度学习方面的科研工作中的实验代码有什么规范和写作技巧？如何妥善管理实验数据？
应该选择TensorFlow还是Theano？
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？