计算商品embedding然后平均得到用户embedding，会不会存在这种问题？ 第1页
1
huo-hua-de-41 网友的相关建议:
问题的本质在于维数诅咒curse of dimensionality，你需要的是一个对于高维向量的正确图景。你想象中的情况是左边2维或者3维的情况，这个时候猫猫狗狗的确是混在一起的，取平均后会有“四不像”的情况。但实际上，embedding都是几百维，是高维向量。每个样本猫或者狗都存在于一个个尖尖上，几个尖尖取平均后，只会依然离这几个尖尖最近，能够保证“四都像”。
chenran 网友的相关建议:
因为在高维空间中的平均，会依然离原来的点特别近，离其他的点特别远？
我们假设这样一个情形，在空间中取4个点{A1..A4}，取平均得A‘可以看作 User Embedding，再在空间中随机生成100个点{B1..B100}。我们计算A' 最近的点是在 {A1..A4} 中还是在 {B1..B100} 中。
在二维空间中特别明显，A‘ 大概率离B点集更近一些。我们跑个模拟，看看随着维度的变高，有什么变化。
可以看到，在低维度的时候，取平均会更像其他的 Item，但随着 Embedding 维度的增加，User Embedding 最近的点几乎全是A集中的点，依然在那几个 Item Embedding 的附近，而离其他的 Embedding 更远一些。
所以并不会是“四不像”，而是“四都像”。高维度和低维度上的直觉有时候很不同罢。
1
相关话题
如何评价沐神他们写的《动手学深度学习》这本书？如果百年后深度学习最终有了公认的数学理论作为基础，能解释实验中的各类玄学，那这个理论会长什么样子？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
在CV/NLP/DL领域中，有哪些修改一行代码或者几行代码提升性能的算法？
深度学习的多个loss如何平衡？
ICLR 2021 有什么值得关注的投稿？
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
人是如何做黑盒优化的？
多模态方面，有哪些牛组值得我们follow他们的工作？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
前一个讨论
机械工程专业为什么要学 C 语言？
下一个讨论
如何自学数学以达到数学博士的水平？
相关的话题
如何看待 Nervana 被 Intel 收购？如何看待马毅老师深度学习第一性原理的文章在 ICML 四个审稿人一致接收的情况下被 AC 拒了？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
现在机器学习工业界和学术界的差别越来越大了吗？尽早实习和踏实科研各有什么利弊？
如何看待鄂维南院士等发起的机器学习联合研讨计划（c2sml.cn）？
为什么最近几年 FPGA 变得越发受大家重视了？
主动学习（Active Learning）近几年的研究有哪些进展，现在有哪些代表性成果？
为什么梯度下降能找到最小值？
为何感觉“知识蒸馏”这几年没有什么成果？
什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
神经网络中的能量函数是如何定义的？
如何评价 On Unifying Deep Generative Models 这篇 paper?
xgboost原理？
如何评价谷歌大脑的EfficientNet？
深度学习工作站中使用AMD的CPU会有问题吗？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
百度在深度学习上使用Xilinx FPGA?
Graph Attention Network的本质是什么？
如何看待 TI7 上与 Dendi solo 的 OpenAI？
2021 年，深度学习方面取得了哪些关键性进展？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
能否对卷积神经网络工作原理做一个直观的解释？
如何评价 2018 清华大学特等奖学金计算机大类（贵系、软院、姚班）无人通过一轮筛选？
三位物理学家与陶哲轩发现的特征向量全新求解公式，会给机器学习领域带来怎样的变化？
如何看待MXNet获得amazon官方支持首位？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
如何直观地解释 backpropagation 算法？