百科问答小站 logo
百科问答小站 font logo



pytorch 分布式计算 你们都遇到过哪些 坑/bug? 第1页

  

user avatar   fan-ru-chao 网友的相关建议: 
      

说下我之前遇到的坑,如果是用pytorch实现同步梯度更新,然后数据接口是自己写的话一定要注意保证每张卡分配的batch数是一样的。因为如果某张卡少了一个batch的话,其他卡就会等待,从而程序卡在torch.all_reduce()上。最后的情况就会出现在第一个epoch结尾处程序卡住,而且没有报错信息。

当时调了半天,一度以为是pytorch的某种bug,最后检查数据接口才发现了这个小错误。




  

相关话题

  2020年,多标签学习(multi-label)有了哪些新的进展? 
  2019 秋招的 AI 岗位竞争激烈吗? 
  深度学习如何入门? 
  计算机视觉中video understanding领域有什么研究方向和比较重要的成果? 
  深度学习领域,你心目中 idea 最惊艳的论文是哪篇? 
  深度学习领域有哪些瓶颈? 
  2021 年了,机器/深度学习还有哪些坑比较好挖? 
  北京深鉴科技基于FPGA平台的DPU架构如何? 
  关于tensorflow中的滑动平均? 
  为什么交叉熵(cross-entropy)可以用于计算代价? 

前一个讨论
怎样理解阻塞非阻塞与同步异步的区别?
下一个讨论
国内做NLP业务的香侬科技值得去吗?





© 2025-06-05 - tinynew.org. All Rights Reserved.
© 2025-06-05 - tinynew.org. 保留所有权利