计算商品embedding然后平均得到用户embedding，会不会存在这种问题？ 第1页
1
huo-hua-de-41 网友的相关建议:
问题的本质在于维数诅咒curse of dimensionality，你需要的是一个对于高维向量的正确图景。你想象中的情况是左边2维或者3维的情况，这个时候猫猫狗狗的确是混在一起的，取平均后会有“四不像”的情况。但实际上，embedding都是几百维，是高维向量。每个样本猫或者狗都存在于一个个尖尖上，几个尖尖取平均后，只会依然离这几个尖尖最近，能够保证“四都像”。
chenran 网友的相关建议:
因为在高维空间中的平均，会依然离原来的点特别近，离其他的点特别远？
我们假设这样一个情形，在空间中取4个点{A1..A4}，取平均得A‘可以看作 User Embedding，再在空间中随机生成100个点{B1..B100}。我们计算A' 最近的点是在 {A1..A4} 中还是在 {B1..B100} 中。
在二维空间中特别明显，A‘ 大概率离B点集更近一些。我们跑个模拟，看看随着维度的变高，有什么变化。
可以看到，在低维度的时候，取平均会更像其他的 Item，但随着 Embedding 维度的增加，User Embedding 最近的点几乎全是A集中的点，依然在那几个 Item Embedding 的附近，而离其他的 Embedding 更远一些。
所以并不会是“四不像”，而是“四都像”。高维度和低维度上的直觉有时候很不同罢。
1
相关话题
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？如何将某个分布作为机器学习的特征？
双非小硕一枚 能否从事机器学习?
生成对抗网络的毕设怎么上手？
我决定进军期货市场，您有什么建议吗？
如何解读「量子计算应对大数据挑战：中国科大首次实现量子机器学习算法」？
迁移学习与fine-tuning有什么区别？
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
卷积神经网络中卷积核是如何学习到特征的？
物理专业的学生如何看待机器学习和大数据这些方向呢？
前一个讨论
机械工程专业为什么要学 C 语言？
下一个讨论
如何自学数学以达到数学博士的水平？
相关的话题
如何评价余凯创立的horizon robotics？如何看待指出 神经网络的训练罪魁祸首是退化一文？
如何理解 inductive learning 与 transductive learning?
在你做推荐系统的过程中都遇到过什么坑？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
NLP领域，你推荐哪些综述性的文章？
PRML为何是机器学习的经典书籍中的经典？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
如何评价最新的Octave Convolution？
985工科研一觉得快要退学了怎么办？
神经网络中的能量函数是如何定义的？
什么是机器学习？
统计模型和概率模型的区别是什么呢？
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？
如何评价 Kaiming He 在 ICCV 2017 上拿下双 Best 的 paper？
当前人工智能特别是深度学习最前沿的研究方向是什么？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
人们是如何想到奇异值分解的？
机器学习算法工程师如何自己接项目单干、并赚取比上班多得多的收入？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
为什么机器学习解决网络安全问题总是失败?
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？
如何理解 natural gradient descent?
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
TensorFlow的自动求导具体是在哪部分代码里实现的？
如何看待 TI7 上与 Dendi solo 的 OpenAI？
魔鬼如何在最短时间内抓住天使？
ICLR 2022有哪些值得关注的投稿？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
如何理解attention中的Q,K,V？