计算商品embedding然后平均得到用户embedding，会不会存在这种问题？ 第1页
1
huo-hua-de-41 网友的相关建议:
问题的本质在于维数诅咒curse of dimensionality，你需要的是一个对于高维向量的正确图景。你想象中的情况是左边2维或者3维的情况，这个时候猫猫狗狗的确是混在一起的，取平均后会有“四不像”的情况。但实际上，embedding都是几百维，是高维向量。每个样本猫或者狗都存在于一个个尖尖上，几个尖尖取平均后，只会依然离这几个尖尖最近，能够保证“四都像”。
chenran 网友的相关建议:
因为在高维空间中的平均，会依然离原来的点特别近，离其他的点特别远？
我们假设这样一个情形，在空间中取4个点{A1..A4}，取平均得A‘可以看作 User Embedding，再在空间中随机生成100个点{B1..B100}。我们计算A' 最近的点是在 {A1..A4} 中还是在 {B1..B100} 中。
在二维空间中特别明显，A‘ 大概率离B点集更近一些。我们跑个模拟，看看随着维度的变高，有什么变化。
可以看到，在低维度的时候，取平均会更像其他的 Item，但随着 Embedding 维度的增加，User Embedding 最近的点几乎全是A集中的点，依然在那几个 Item Embedding 的附近，而离其他的 Embedding 更远一些。
所以并不会是“四不像”，而是“四都像”。高维度和低维度上的直觉有时候很不同罢。
1
相关话题
如何看待比 iPad 还大的史上最大芯片问世？ 功耗比电磁炉还高有什么用？怎么通俗地理解张量？
CVPR 2019 有哪些值得关注的亮点？
如何看待Capsule Network在NLP领域的潜力？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
为什么C4.5决策树能处理连续特征，ID3树不能处理连续特征？
让人工智能去下路边街头的象棋残局会赢吗？
有哪些定理在高维情况下与三维情况下培养出来的直觉不符？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
前一个讨论
机械工程专业为什么要学 C 语言？
下一个讨论
如何自学数学以达到数学博士的水平？
相关的话题
机器学习能否用于综合评价？具体怎么操作？人工智能的意义和价值是什么？
如何看待Kaggle最新比赛Zillow禁止中国居民参加第二轮？
中科院某所研一新生，小样本学习、数据融合、强化学习、图神经网络、资源受限的计算这几个方向选哪个更好？
统计模型和概率模型的区别是什么呢？
DL/ML 模型如何部署到生产环境中？
能否对卷积神经网络工作原理做一个直观的解释？
有哪些可以自学机器学习、深度学习、人工智能的网站？
如何评价Sony新出的深度学习库NNabla？
DL/ML 模型如何部署到生产环境中？
CVPR 2019 有哪些值得关注的亮点？
为什么ViT里的image patch要设计成不重叠？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
为什么现在很多人不看好商汤科技？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
有谁给解释一下流形以及流形正则化？
为什么计算注意力机制的时候不加偏置项？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
奇异值分解（SVD）有哪些很厉害的应用？
年轻人为什么要做期货？
如何看待西安电子科技大学偷偷给贫困生打钱，大数据精准帮助贫困生是否值得推广？
为什么做机器学习的很少使用假设检验？
强化学习和自适应控制的关系是什么？
近几年有哪些关于机器学习中隐私（Privacy）和安全（Security）相关的研究值得关注?
如何看待多所 985 大学开设人工智能专业？
NLP领域，你推荐哪些综述性的文章？
是不是并不是所有问题都适合用神经网络预测？
新智元提问：如何看待李飞飞高徒Karpathy加入特斯拉，主管人工智能部门？
如何看待最近一段时间旷视科技Face++、阿里、小米、京东、科大讯飞和地平线等相继在南京建立研发中心？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？