百科问答小站 logo
百科问答小站 font logo



如何评价 NVIDIA 最新技术 5 秒训练 NERF? 第1页

  

user avatar   huang-xiang-38 网友的相关建议: 
      

刚看到新闻非常惊讶,粗读了一下文章,原来是一堆加速hack,思路好哇,

作者的思路是(本人理解可能有误):

  1. 对于图像/3D信息表达,传统方法存储的是结构化数据,计算是干净的公式,与计算分离的;
  2. 神经网络计算与数据混到了一起,典型如Nerf,radience field数据信息存储到了网络权重里;
  3. 但信息完全在网络权重里导致训练非常慢,效率低,网络表达能力也受训练的限制;
  4. 于是有了parametric encoding方式,把latent feature用结构化方式存储,例如存到3D grid上,这样表达能力不受网络权重数量的限制,每次back propogate的参数只跟3D grid对应的cell以及小网络相关,训练的时间也大量缩短;
  5. 但3D grid这种结构化数据,其实也非常浪费,因为三维模型只有表面信息有意义,绝大多数的cell都是空的;
  6. 用分层的树形数据结构能减少内存和需要训练的数据量,但在训练过程中动态调整树的结构开销也不小;同样稀疏数据结构同样因为需要动态更新开销也大;
  7. 所以不管那些空间结构,用个LOD哈希表存grid的feature,把位置hash一下存最dense,效率最高;
  8. 为了简单,哈希函数选了个最快的,哈希碰撞就不管了,因为有LOD,并不在乎某一层的error,因为Loss是把所有层都叠一起训练的,在当前层碰撞了也没关系,反正前后层会弥补;



  

相关话题

  深度学习attention机制中的Q,K,V分别是从哪来的? 
  从今年校招来看,机器学习等算法岗位应届生超多,竞争激烈,未来 3-5 年机器学习相关就业会达到饱和吗? 
  如何评价AMD显卡负责人Raja离职跳槽到intel? 
  2022年1月发布的3070 ti 16g 售价会不会比较高 有必要等吗? 
  华硕 RTX 30 显卡全系原价开卖,12.5 万人疯抢,显卡荒结束了吗? 
  5-10年后,你觉得哪些科技会让我们“遗忘”现在的生活? 
  现在 2000 以内的显卡,3700X 和 5600X 在游戏方面有区别吗? 
  如何看待3060显卡被锤“英伟达内鬼”自出破解程序? 
  如何用简单易懂的例子解释条件随机场(CRF)模型?它和HMM有什么区别? 
  为什么这么多 NLP 大牛硕士毕业去企业不留在学术界? 

前一个讨论
攻博期间你是如何度过没有正向反馈的阶段?
下一个讨论
导师的什么话或者行为让你对科研失去了兴趣或者充满向往?





© 2025-05-06 - tinynew.org. All Rights Reserved.
© 2025-05-06 - tinynew.org. 保留所有权利