pytorch 分布式计算 你们都遇到过哪些 坑/bug？ 第1页
1
fan-ru-chao 网友的相关建议:
说下我之前遇到的坑，如果是用pytorch实现同步梯度更新，然后数据接口是自己写的话一定要注意保证每张卡分配的batch数是一样的。因为如果某张卡少了一个batch的话，其他卡就会等待，从而程序卡在torch.all_reduce()上。最后的情况就会出现在第一个epoch结尾处程序卡住，而且没有报错信息。
当时调了半天，一度以为是pytorch的某种bug，最后检查数据接口才发现了这个小错误。
1
相关话题
深度学习在生物信息领域有什么应用？如何进行图像模糊与清晰的分类？
除了深度学习，机器学习领域近年来还有什么热点吗？
如何看待旷视科技新产品监视学生上课？
如何看待旷视科技新产品监视学生上课？
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
能否把一个人的所有物理数据输入在一个模型里，然后计算他接下来的状态变化？
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
硕士方向，选择迁移学习还是自然语言处理？
前一个讨论
怎样理解阻塞非阻塞与同步异步的区别？
下一个讨论
国内做NLP业务的香侬科技值得去吗？
相关的话题
卷积神经网络如果将池化层去除，与神经网络的区别还大么？2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
如何看待旷视科技新产品监视学生上课？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
深度学习有哪些好玩的案例？
如何评价 DeepMind 公司？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
如何看待 Google 既可以作 Inference，又可以作 Training 的新一代 TPU？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
深度学习两张3080ti和一张3090ti哪个好?
如何判断两个Deep Learning 数据集的数据分布是否一致？
AI 有可能代替人类从事数学研究吗？
怎么选取训练神经网络时的Batch size?
计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？
resnet（残差网络）的F（x）究竟长什么样子？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？
如何将某个分布作为机器学习的特征？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
为什么多标签分类（不是多类分类）损失函数可以使用Binary Cross Entropy？
深度学习底层开发对数学有哪些要求？
国内做NLP业务的香侬科技值得去吗？
如何评价DALL-E模型的实现？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？