计算商品embedding然后平均得到用户embedding，会不会存在这种问题？ 第1页
1
huo-hua-de-41 网友的相关建议:
问题的本质在于维数诅咒curse of dimensionality，你需要的是一个对于高维向量的正确图景。你想象中的情况是左边2维或者3维的情况，这个时候猫猫狗狗的确是混在一起的，取平均后会有“四不像”的情况。但实际上，embedding都是几百维，是高维向量。每个样本猫或者狗都存在于一个个尖尖上，几个尖尖取平均后，只会依然离这几个尖尖最近，能够保证“四都像”。
chenran 网友的相关建议:
因为在高维空间中的平均，会依然离原来的点特别近，离其他的点特别远？
我们假设这样一个情形，在空间中取4个点{A1..A4}，取平均得A‘可以看作 User Embedding，再在空间中随机生成100个点{B1..B100}。我们计算A' 最近的点是在 {A1..A4} 中还是在 {B1..B100} 中。
在二维空间中特别明显，A‘ 大概率离B点集更近一些。我们跑个模拟，看看随着维度的变高，有什么变化。
可以看到，在低维度的时候，取平均会更像其他的 Item，但随着 Embedding 维度的增加，User Embedding 最近的点几乎全是A集中的点，依然在那几个 Item Embedding 的附近，而离其他的 Embedding 更远一些。
所以并不会是“四不像”，而是“四都像”。高维度和低维度上的直觉有时候很不同罢。
1
相关话题
Google 的神经网络生成图像 (Inceptionism) 是怎么做到的？如何评价陈天奇的模块化深度学习系统NNVM？
分类问题的label为啥必须是 one hot 形式？
新手如何入门pytorch？
反馈控制理论在优化、机器学习等领域有哪些应用？
2021年，作为算法工程师的你们会在CV业务落地上用Transformer吗？
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
年轻人为什么要做期货？
为什么机器学习解决网络安全问题总是失败?
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
前一个讨论
机械工程专业为什么要学 C 语言？
下一个讨论
如何自学数学以达到数学博士的水平？
相关的话题
本科数学，目前在读计算机研一，毕业的时候想要应聘数据挖掘工程师，看了对数据挖掘工程师的招聘要求，感觉太宽泛了，希望能具体说一下现在应该准备哪些知识（算法？编程语言？其他？），谢谢！语义网所谓的“本体”的具体例子是什么？
如何理解 Graph Convolutional Network（GCN）？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
人工智能在生活中的应用都有哪些？
机器学习为生物学和医学研究带来了哪些改变？能解决哪些医学难题？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
如何看待字节跳动 AI 实验室总监李磊入职 UCSB？
深度学习如何入门？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
面试官如何判断面试者的机器学习水平？
如何评价MXNet发布的1.0版本？
2020年，多标签学习（multi-label）有了哪些新的进展？
神经网络的损失函数为什么是非凸的?
如何系统学习机器学习？
让人工智能去下路边街头的象棋残局会赢吗？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
有哪些深度学习效果不如传统方法的经典案例？
怎么通俗地理解张量？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
机器学习到底是什么，如何使用这项技术？
如何用一句话证明自然语言处理很难？
搞机器学习的生环化材是天坑吗？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
GAN生成的数据没有标签怎么用来训练分类模型？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
可以对只有一个像素的图片拥有版权或著作权吗？为什么？
graph convolutional network有什么比较好的应用task？
二次型的意义是什么？有什么应用？