百科问答小站 logo
百科问答小站 font logo



计算商品embedding然后平均得到用户embedding,会不会存在这种问题? 第1页

  

user avatar   huo-hua-de-41 网友的相关建议: 
      

问题的本质在于维数诅咒curse of dimensionality,你需要的是一个对于高维向量的正确图景。你想象中的情况是左边2维或者3维的情况,这个时候猫猫狗狗的确是混在一起的,取平均后会有“四不像”的情况。但实际上,embedding都是几百维,是高维向量。每个样本猫或者狗都存在于一个个尖尖上,几个尖尖取平均后,只会依然离这几个尖尖最近,能够保证“四都像”。


user avatar   chenran 网友的相关建议: 
      

因为在高维空间中的平均,会依然离原来的点特别近,离其他的点特别远?

我们假设这样一个情形,在空间中取4个点{A1..A4},取平均得A‘可以看作 User Embedding,再在空间中随机生成100个点{B1..B100}。我们计算A' 最近的点是在 {A1..A4} 中还是在 {B1..B100} 中。

在二维空间中特别明显,A‘ 大概率离B点集更近一些。我们跑个模拟,看看随着维度的变高,有什么变化。

可以看到,在低维度的时候,取平均会更像其他的 Item,但随着 Embedding 维度的增加,User Embedding 最近的点几乎全是A集中的点,依然在那几个 Item Embedding 的附近,而离其他的 Embedding 更远一些。

所以并不会是“四不像”,而是“四都像”。高维度和低维度上的直觉有时候很不同罢。




  

相关话题

  如何评价沐神他们写的《动手学深度学习》这本书? 
  如果百年后深度学习最终有了公认的数学理论作为基础,能解释实验中的各类玄学,那这个理论会长什么样子? 
  计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些? 
  在CV/NLP/DL领域中,有哪些修改一行代码或者几行代码提升性能的算法? 
  深度学习的多个loss如何平衡? 
  ICLR 2021 有什么值得关注的投稿? 
  如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』? 
  人是如何做黑盒优化的? 
  多模态方面,有哪些牛组值得我们follow他们的工作? 
  什么时候对数据进行[0,1]归一化,什么时候[-1,1]归一化,二者分别在什么场景? 

前一个讨论
机械工程专业为什么要学 C 语言?
下一个讨论
如何自学数学以达到数学博士的水平?





© 2025-04-04 - tinynew.org. All Rights Reserved.
© 2025-04-04 - tinynew.org. 保留所有权利