计算商品embedding然后平均得到用户embedding，会不会存在这种问题？ 第1页
1
huo-hua-de-41 网友的相关建议:
问题的本质在于维数诅咒curse of dimensionality，你需要的是一个对于高维向量的正确图景。你想象中的情况是左边2维或者3维的情况，这个时候猫猫狗狗的确是混在一起的，取平均后会有“四不像”的情况。但实际上，embedding都是几百维，是高维向量。每个样本猫或者狗都存在于一个个尖尖上，几个尖尖取平均后，只会依然离这几个尖尖最近，能够保证“四都像”。
chenran 网友的相关建议:
因为在高维空间中的平均，会依然离原来的点特别近，离其他的点特别远？
我们假设这样一个情形，在空间中取4个点{A1..A4}，取平均得A‘可以看作 User Embedding，再在空间中随机生成100个点{B1..B100}。我们计算A' 最近的点是在 {A1..A4} 中还是在 {B1..B100} 中。
在二维空间中特别明显，A‘ 大概率离B点集更近一些。我们跑个模拟，看看随着维度的变高，有什么变化。
可以看到，在低维度的时候，取平均会更像其他的 Item，但随着 Embedding 维度的增加，User Embedding 最近的点几乎全是A集中的点，依然在那几个 Item Embedding 的附近，而离其他的 Embedding 更远一些。
所以并不会是“四不像”，而是“四都像”。高维度和低维度上的直觉有时候很不同罢。
1
相关话题
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？2019年CVPR有哪些糟糕的论文?
机器学习中使用正则化来防止过拟合是什么原理？
为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
机器学习系统MLSys中有哪些比较有前途的研究方向？
学习机器学习有哪些好工具推荐？
能识别情绪的机器人可以算做有情感的机器人吗？
ICML2020有哪些值得关注的工作?
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
为什么ViT里的image patch要设计成不重叠？
前一个讨论
机械工程专业为什么要学 C 语言？
下一个讨论
如何自学数学以达到数学博士的水平？
相关的话题
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
为什么deep lab v3起，输出不再接 DenseCRF了？
Resnet到底在解决一个什么问题呢？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
百度学术能否替代 Google 学术网站？有没有其他选择？
如何看待周志华等人的新书《机器学习理论导引》？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
如何评价DALL-E模型的实现？
研一刚入学，从未接触过神经网络，python也是才开始学，现在导师要我做LSTM，我应该去学什么？
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
现在机器学习工业界和学术界的差别越来越大了吗？尽早实习和踏实科研各有什么利弊？
如何评价 BERT 模型？
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
为什么多标签分类（不是多类分类）损失函数可以使用Binary Cross Entropy？
如何评价Momenta ImageNet 2017夺冠架构SENet?
给男友配置一个适合做深度学习的电脑要多少钱？
为什么现在不看好 CV 方向了呢?
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
机器学习，数据挖掘在研究生阶段大概要学些什么？
如何看待字节跳动 AI 实验室总监李磊入职 UCSB？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
请问在金融风控方向，如何运用用户行为序列进行特征设计和挖掘？
神经网络能否代替决策树算法？
如果你是面试官，你怎么去判断一个面试者的深度学习水平？
在中文 NLP 等论文中，应该如何翻译 token 这个词？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
如何看待 Uber 发生全球首例自动驾驶致死事件？
深度学习的多个loss如何平衡？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？