pytorch 分布式计算 你们都遇到过哪些 坑/bug？ 第1页
1
fan-ru-chao 网友的相关建议:
说下我之前遇到的坑，如果是用pytorch实现同步梯度更新，然后数据接口是自己写的话一定要注意保证每张卡分配的batch数是一样的。因为如果某张卡少了一个batch的话，其他卡就会等待，从而程序卡在torch.all_reduce()上。最后的情况就会出现在第一个epoch结尾处程序卡住，而且没有报错信息。
当时调了半天，一度以为是pytorch的某种bug，最后检查数据接口才发现了这个小错误。
1
相关话题
KL散度衡量的是两个概率分布的距离吗？AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
视觉算法的工业部署及落地方面的技术知识，怎么学？
如何评价陈天奇团队新开源的TVM？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
mxnet的并行计算为什么这么牛，是什么原理？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？
为什么deep lab v3起，输出不再接 DenseCRF了？
卷积神经网络中卷积核是如何学习到特征的？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
前一个讨论
怎样理解阻塞非阻塞与同步异步的区别？
下一个讨论
国内做NLP业务的香侬科技值得去吗？
相关的话题
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?现在的人工智能是否走上了数学的极端？
深度学习做股票预测靠谱吗？
如何评价DALL-E模型的实现？
如何评价 Self-Normalizing Neural Networks 这篇论文?
Pytorch有什么节省显存的小技巧？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
生成对抗网络的毕设怎么上手？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
当前（2020年）机器学习中有哪些研究方向特别的坑？
主动学习（Active Learning）近几年的研究有哪些进展，现在有哪些代表性成果？
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
AI 有可能代替人类从事数学研究吗？
大牛Bengio 团队最新的研究和我自己之前的研究成果重复了，应该怎么办？
pytorch ddp训练中一个node fail，导致整个训练失败，有可能解决吗？
使用强化学习解决实际问题时常常避不开环境模拟或者使用离线强化学习算法，两者分别有什么优缺点？
2019年NeurIPS有哪些糟糕的论文？
自监督学习（Self-supervised Learning）有什么比较新的思路？
现在互联网公司还有做特征工程的工作吗？
计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？
深度学习在信息安全的应用有哪些可以关注的人或论文？
如何评价 Exploring Simple Siamese Learning?
硕士方向，选择迁移学习还是自然语言处理？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？