pytorch 分布式计算 你们都遇到过哪些 坑/bug？ 第1页
1
fan-ru-chao 网友的相关建议:
说下我之前遇到的坑，如果是用pytorch实现同步梯度更新，然后数据接口是自己写的话一定要注意保证每张卡分配的batch数是一样的。因为如果某张卡少了一个batch的话，其他卡就会等待，从而程序卡在torch.all_reduce()上。最后的情况就会出现在第一个epoch结尾处程序卡住，而且没有报错信息。
当时调了半天，一度以为是pytorch的某种bug，最后检查数据接口才发现了这个小错误。
1
相关话题
如何评价Google提出的MLP-Mixer：只需要MLP就可以在ImageNet上达到SOTA？Google 的神经网络生成图像 (Inceptionism) 是怎么做到的？
如何评价Momenta ImageNet 2017夺冠架构SENet?
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
如何评价DALL-E模型的实现？
硕士方向，选择迁移学习还是自然语言处理？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
如何将某个分布作为机器学习的特征？
二分类问题，应该选择sigmoid还是softmax？
前一个讨论
怎样理解阻塞非阻塞与同步异步的区别？
下一个讨论
国内做NLP业务的香侬科技值得去吗？
相关的话题
深度学习中Attention与全连接层的区别何在？NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
你见过最差的算法工程师能差到什么程度？
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
为什么强大的 MXNet 一直火不起来？
2021 年了，机器/深度学习还有哪些坑比较好挖？
如何看待周志华等人的新书《机器学习理论导引》？
如何看待pytorch在主页写下帮助乌克兰进行人道主义援助？
pytorch dataloader数据加载占用了大部分时间，各位大佬都是怎么解决的？
为什么 BERT 的 intermediate_size 这么大？
迁移学习与fine-tuning有什么区别？
如何看待在某度搜不到megengine官网？
PyTorch中在反向传播前为什么要手动将梯度清零？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
nlp有哪些值得完整实现一遍的算法?
resnet（残差网络）的F（x）究竟长什么样子？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
普通FPGA工程师怎样向人工智能靠拢？
2018年了，MXNet 发展的如何了？
给男友配置一个适合做深度学习的电脑要多少钱？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
如何看待SIREN激活函数的提出？
TensorFlow 中 padding 的 SAME 和 VALID 两种方式有何异同？
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
为什么 Bert 的三个 Embedding 可以进行相加？