pytorch 分布式计算 你们都遇到过哪些 坑/bug？ 第1页
1
fan-ru-chao 网友的相关建议:
说下我之前遇到的坑，如果是用pytorch实现同步梯度更新，然后数据接口是自己写的话一定要注意保证每张卡分配的batch数是一样的。因为如果某张卡少了一个batch的话，其他卡就会等待，从而程序卡在torch.all_reduce()上。最后的情况就会出现在第一个epoch结尾处程序卡住，而且没有报错信息。
当时调了半天，一度以为是pytorch的某种bug，最后检查数据接口才发现了这个小错误。
1
相关话题
2020年，多标签学习（multi-label）有了哪些新的进展？2019 秋招的 AI 岗位竞争激烈吗？
深度学习如何入门？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
深度学习领域有哪些瓶颈？
2021 年了，机器/深度学习还有哪些坑比较好挖？
北京深鉴科技基于FPGA平台的DPU架构如何？
关于tensorflow中的滑动平均？
为什么交叉熵（cross-entropy）可以用于计算代价？
前一个讨论
怎样理解阻塞非阻塞与同步异步的区别？
下一个讨论
国内做NLP业务的香侬科技值得去吗？
相关的话题
2021 年了，TensorFlow 和 PyTorch 两个深度学习框架地位又有什么变化吗？深度学习中有哪些数据增强方法？
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
反馈控制理论在优化、机器学习等领域有哪些应用？
DeepMind 研发的围棋 AI AlphaGo 是如何下棋的？
pytorch 的高层库ignite怎么样？
什么是meta-learning?
如何评价AlphaGo Zero？
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？
机器学习中有哪些形式简单却很巧妙的idea？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
如何看待swin transformer成为ICCV2021的 best paper？
Pytorch有什么节省显存的小技巧？
什么是大模型？超大模型？Foundation Model？
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
DL/ML 模型如何部署到生产环境中？
2019年NeurIPS有哪些糟糕的论文？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
如何比较Keras, TensorLayer, TFLearn ？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
Batch normalization和Instance normalization的对比？
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？