pytorch 分布式计算 你们都遇到过哪些 坑/bug？ 第1页
1
fan-ru-chao 网友的相关建议:
说下我之前遇到的坑，如果是用pytorch实现同步梯度更新，然后数据接口是自己写的话一定要注意保证每张卡分配的batch数是一样的。因为如果某张卡少了一个batch的话，其他卡就会等待，从而程序卡在torch.all_reduce()上。最后的情况就会出现在第一个epoch结尾处程序卡住，而且没有报错信息。
当时调了半天，一度以为是pytorch的某种bug，最后检查数据接口才发现了这个小错误。
1
相关话题
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？人工智能会是泡沫吗？
pytorch 分布式计算 你们都遇到过哪些 坑/bug？
pytorch 的高层库ignite怎么样？
2019 秋招的 AI 岗位竞争激烈吗？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
如何看待周志华等人的新书《机器学习理论导引》？
把某人的 DNA 序列作为输入，正面照片作为输出，丢到深度神经网络里面学习，可行吗？
究竟什么是损失函数 loss function?
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
前一个讨论
怎样理解阻塞非阻塞与同步异步的区别？
下一个讨论
国内做NLP业务的香侬科技值得去吗？
相关的话题
人工智能可以解决人类难题吗？如何理解深度学习源码里经常出现的logits？
硕士方向，选择迁移学习还是自然语言处理？
BERT模型可以使用无监督的方法做文本相似度任务吗？
围棋AI为什么没有下出同局？
如何评价ST-GCN动作识别算法？
pytorch 分布式计算 你们都遇到过哪些 坑/bug？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
如何评价 MSRA 最新的 Deformable Convolutional Networks？
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
如何比较Keras, TensorLayer, TFLearn ？
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
如何评价 Self-Normalizing Neural Networks 这篇论文?
现在的人工智能是否走上了数学的极端？
pytorch 的高层库ignite怎么样？
硕士方向，选择迁移学习还是自然语言处理？
人工智能领域有哪些精妙的数学原理？
如何看待百度无人车， 三千多个场景，一万多个if？
你见过最差的算法工程师能差到什么程度？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？
能分享你收藏的国外AI talk, seminar平台或网站吗？
如何评价 Exploring Simple Siamese Learning?
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
如何看待 Nervana 被 Intel 收购？
BERT模型可以使用无监督的方法做文本相似度任务吗？
attention跟一维卷积的区别是啥？
如何评价最新的Octave Convolution？
计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？
机器之心提问：如何评价Facebook Training ImageNet in 1 Hour这篇论文?