计算商品embedding然后平均得到用户embedding，会不会存在这种问题？ 第1页
1
huo-hua-de-41 网友的相关建议:
问题的本质在于维数诅咒curse of dimensionality，你需要的是一个对于高维向量的正确图景。你想象中的情况是左边2维或者3维的情况，这个时候猫猫狗狗的确是混在一起的，取平均后会有“四不像”的情况。但实际上，embedding都是几百维，是高维向量。每个样本猫或者狗都存在于一个个尖尖上，几个尖尖取平均后，只会依然离这几个尖尖最近，能够保证“四都像”。
chenran 网友的相关建议:
因为在高维空间中的平均，会依然离原来的点特别近，离其他的点特别远？
我们假设这样一个情形，在空间中取4个点{A1..A4}，取平均得A‘可以看作 User Embedding，再在空间中随机生成100个点{B1..B100}。我们计算A' 最近的点是在 {A1..A4} 中还是在 {B1..B100} 中。
在二维空间中特别明显，A‘ 大概率离B点集更近一些。我们跑个模拟，看看随着维度的变高，有什么变化。
可以看到，在低维度的时候，取平均会更像其他的 Item，但随着 Embedding 维度的增加，User Embedding 最近的点几乎全是A集中的点，依然在那几个 Item Embedding 的附近，而离其他的 Embedding 更远一些。
所以并不会是“四不像”，而是“四都像”。高维度和低维度上的直觉有时候很不同罢。
1
相关话题
有哪些贝叶斯推理入门的书籍？2020到2021年小样本学习取得重大进展了吗？
语音识别中，声学模型与语言模型扮演什么角色？或者说是怎么通过两个模型进行语音识别的?
如何证明马尔科夫链一定会达到稳态？
深度学习如何入门？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
共轭是指 ‘先验分布与后验分布共轭“ ，还是指 "先验分布与似然函数共轭“？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
如何评价AWS的图神经网络框架DGL？
怎么在家学习一些关于机器学习的知识?
前一个讨论
机械工程专业为什么要学 C 语言？
下一个讨论
如何自学数学以达到数学博士的水平？
相关的话题
为什么要压缩模型，而不是直接训练一个小的CNN？如何看待旷视科技新产品监视学生上课？
百度学术能否替代 Google 学术网站？有没有其他选择？
为啥gan里面几乎不用pooling？
深度学习有哪些好玩的案例？
基于计算机视觉从一张图片重建人体的三维网格，能否获取腰围、胸围、臂长、腿长等数据？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
2020年，多标签学习（multi-label）有了哪些新的进展？
word2vec 相比之前的 Word Embedding 方法好在什么地方？
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
在推荐系统中，如何较好的采用深度学习方法获取用户长短期兴趣？
如何看待MXNet获得amazon官方支持首位？
如何评价 BERT 模型？
在数据分析、挖掘方面，有哪些好书值得推荐？
在中文 NLP 等论文中，应该如何翻译 token 这个词？
如何看待斯坦福博士生2prime陆一平关于新冠起源的一系列言论？
如何评价 MLSys 这个会议？
自己学习深度学习时，有哪些途径寻找数据集？
如何判断两个Deep Learning 数据集的数据分布是否一致？
如何判断两个Deep Learning 数据集的数据分布是否一致？
请问应该怎样去学习图像识别和深度学习？
如何将某个分布作为机器学习的特征？
微软小冰测颜值是否比较准？为什么？
能分享你收藏的国外AI talk, seminar平台或网站吗？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
如何评价 DeepMind 发表在 Nature 上的使用深度强化学习对托卡马克等离子体进行磁控制？
如何看待 Nervana 被 Intel 收购？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
R 中的哪些命令或者包让你相见恨晚？