计算商品embedding然后平均得到用户embedding，会不会存在这种问题？ 第1页
1
huo-hua-de-41 网友的相关建议:
问题的本质在于维数诅咒curse of dimensionality，你需要的是一个对于高维向量的正确图景。你想象中的情况是左边2维或者3维的情况，这个时候猫猫狗狗的确是混在一起的，取平均后会有“四不像”的情况。但实际上，embedding都是几百维，是高维向量。每个样本猫或者狗都存在于一个个尖尖上，几个尖尖取平均后，只会依然离这几个尖尖最近，能够保证“四都像”。
chenran 网友的相关建议:
因为在高维空间中的平均，会依然离原来的点特别近，离其他的点特别远？
我们假设这样一个情形，在空间中取4个点{A1..A4}，取平均得A‘可以看作 User Embedding，再在空间中随机生成100个点{B1..B100}。我们计算A' 最近的点是在 {A1..A4} 中还是在 {B1..B100} 中。
在二维空间中特别明显，A‘ 大概率离B点集更近一些。我们跑个模拟，看看随着维度的变高，有什么变化。
可以看到，在低维度的时候，取平均会更像其他的 Item，但随着 Embedding 维度的增加，User Embedding 最近的点几乎全是A集中的点，依然在那几个 Item Embedding 的附近，而离其他的 Embedding 更远一些。
所以并不会是“四不像”，而是“四都像”。高维度和低维度上的直觉有时候很不同罢。
1
相关话题
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
如何理解 natural gradient descent?
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
神经网络模型压缩好就业吗?
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
到了 2022 年，人工智能有哪些真正可落地的应用？
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
前一个讨论
机械工程专业为什么要学 C 语言？
下一个讨论
如何自学数学以达到数学博士的水平？
相关的话题
在Auto ML的冲击下，ML算法人员是否会在前者成熟后失业的情况？高斯过程的kernel构成的矩阵为何叫协方差矩阵而不是相关系数矩阵？
如何看待与评价 AAAI 2022 的录用结果？
为什么机器学习解决网络安全问题总是失败?
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
机器学习包含哪些学习思想？
如何评价微软正在开发的人工智能编程软件 DeepCoder？
自然语言处理怎么最快入门？
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
cygwin和mingw选哪个？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
如何评价小米开源的移动端深度学习框架MACE？
为什么deep lab v3起，输出不再接 DenseCRF了？
如何看待斯坦福博士生2prime陆一平关于新冠起源的一系列言论？
大家用resnet50在imagenet上面top1最高能到多少？
如何评价最新的Octave Convolution？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
小样本学习中关于虚拟样本有效性的问题？
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
MPI 在大规模机器学习领域的前景如何？
语音识别中，声学模型与语言模型扮演什么角色？或者说是怎么通过两个模型进行语音识别的?
2021 年，深度学习方面取得了哪些关键性进展？
深度学习中有哪些数据增强方法？
如何理解attention中的Q,K,V？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
DeepMind 团队中有哪些厉害的人物和技术积累？
深度学习如何入门？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？