pytorch 分布式计算 你们都遇到过哪些 坑/bug？ 第1页
1
fan-ru-chao 网友的相关建议:
说下我之前遇到的坑，如果是用pytorch实现同步梯度更新，然后数据接口是自己写的话一定要注意保证每张卡分配的batch数是一样的。因为如果某张卡少了一个batch的话，其他卡就会等待，从而程序卡在torch.all_reduce()上。最后的情况就会出现在第一个epoch结尾处程序卡住，而且没有报错信息。
当时调了半天，一度以为是pytorch的某种bug，最后检查数据接口才发现了这个小错误。
1
相关话题
人工智能可以解决人类难题吗？2019年NeurIPS有哪些糟糕的论文？
有哪些比较好的机器学习，深度学习的网络资源可利用？
Github、Node、React、pytorch 等官网声明支援乌克兰，如何看待开源组织参与政治?
为什么现在不看好 CV 方向了呢?
有什么算法能对一个长短不一的时间序列进行分类预测?
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
机器之心提问：如何评价Facebook Training ImageNet in 1 Hour这篇论文?
FPGA做深度学习能走多远？
当前（2020年）机器学习中有哪些研究方向特别的坑？
前一个讨论
怎样理解阻塞非阻塞与同步异步的区别？
下一个讨论
国内做NLP业务的香侬科技值得去吗？
相关的话题
为什么最近几年 FPGA 变得越发受大家重视了？硕士方向，选择迁移学习还是自然语言处理？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
如何理解今年发表在JMLR上随机森林算法SPORF？
如何评价深度学习相关顶级期刊论文难复现的问题？
Transformer是如何处理可变长度数据的？
DeepMind 团队中有哪些厉害的人物和技术积累？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
深度学习方面的科研工作中的实验代码有什么规范和写作技巧？如何妥善管理实验数据？
机器之心提问：如何评价Facebook Training ImageNet in 1 Hour这篇论文?
如何评价 On Unifying Deep Generative Models 这篇 paper?
能否对卷积神经网络工作原理做一个直观的解释？
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？
什么是meta-learning?
请问下大家训练 SimCSE 时, loss 有没有这样的情况?
2018年了，MXNet 发展的如何了？
Batch Normalization 训练的时候为什么不使用 moving statistics？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
多模态方面，有哪些牛组值得我们follow他们的工作？
从应用的角度来看，深度学习怎样快速入门？
如果不按套路下棋是不是就能赢 Alpha Go 了？
深度学习在信息安全的应用有哪些可以关注的人或论文？
深度学习调参有哪些技巧？
为什么学习深度学习感觉无法入门？
如何评价AlphaGo Zero？