pytorch 分布式计算 你们都遇到过哪些 坑/bug？ 第1页
1
fan-ru-chao 网友的相关建议:
说下我之前遇到的坑，如果是用pytorch实现同步梯度更新，然后数据接口是自己写的话一定要注意保证每张卡分配的batch数是一样的。因为如果某张卡少了一个batch的话，其他卡就会等待，从而程序卡在torch.all_reduce()上。最后的情况就会出现在第一个epoch结尾处程序卡住，而且没有报错信息。
当时调了半天，一度以为是pytorch的某种bug，最后检查数据接口才发现了这个小错误。
1
相关话题
数字图像处理的工作是用传统算法更多还是用深度学习更多?让人工智能去下路边街头的象棋残局会赢吗？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
wav2vec中的30ms是怎么得来的?
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
batchsize=1时可以用BN吗?
深度学习在信息安全的应用有哪些可以关注的人或论文？
为什么deep lab v3起，输出不再接 DenseCRF了？
怎样让机器有意识?
目标检测中的mAP是什么含义？
前一个讨论
怎样理解阻塞非阻塞与同步异步的区别？
下一个讨论
国内做NLP业务的香侬科技值得去吗？
相关的话题
为什么说大模型训练很难？用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
深度学习两张3080ti和一张3090ti哪个好?
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
是不是并不是所有问题都适合用神经网络预测？
2018年了，MXNet 发展的如何了？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
如果美国禁用 Tensorflow 和 Pytorch 对中国的人工智能有何影响？
现在互联网公司还有做特征工程的工作吗？
如果你是面试官，你怎么去判断一个面试者的深度学习水平？
机器之心提问：如何评价Facebook Training ImageNet in 1 Hour这篇论文?
百度学术能否替代 Google 学术网站？有没有其他选择？
深度学习中有哪些数据增强方法？
mxnet的并行计算为什么这么牛，是什么原理？
如何评价MSRA最新的 Relation Networks for Object Detection？
神经网络的损失函数为什么是非凸的?
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
有哪些可以自学机器学习、深度学习、人工智能的网站？
能否对卷积神经网络工作原理做一个直观的解释？
如何评价 DeepMind 的新工作 AlphaCode?
AMD的CPU是否适合搭建深度学习主机？
神经网络的损失函数为什么是非凸的?
PyTorch中在反向传播前为什么要手动将梯度清零？
为什么Transformer适合做多模态任务？
人工智能领域有哪些精妙的数学原理？
人工智能可以为人类找寻他们心目中的另一半吗?
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
DL/ML 模型如何部署到生产环境中？
自己学习深度学习时，有哪些途径寻找数据集？