如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
为什么交叉熵（cross-entropy）可以用于计算代价？
Partial Multi-Label Learning是什么？它的发展史又是怎样的？最新的进展如何？
如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津？
深度学习和强化学习之间的差别有多大？
计算机视觉研一，只学过Python基础，目前代码能力很差，要不要换导师，不换的话如何毕业？
在Auto ML的冲击下，ML算法人员是否会在前者成熟后失业的情况？
如何用一句话证明自然语言处理很难？
为什么softmax很少会出现[0.5，0.5]？
前一个讨论
人是如何做黑盒优化的？
相关的话题
中国人工智能图像识别技术的开创者是谁？谈谈机器学习在网络安全领域的局限性，以及是否乐观？
自学深度学习是怎样一种体验？
Partial Multi-Label Learning是什么？它的发展史又是怎样的？最新的进展如何？
从应用的角度来看，深度学习怎样快速入门？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
生成对抗网络的毕设怎么上手？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
如何理解attention中的Q,K,V？
BERT模型可以使用无监督的方法做文本相似度任务吗？
西交利物浦大学（英国利物浦大学博士学位）全奖博士?
推荐算法岗是否存在严重人才过剩?
如何对用户进行聚类分析？
机器学习中有哪些形式简单却很巧妙的idea？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？
计算机图形学是否已经进入瓶颈期？
如何系统学习机器学习？
为什么nlp没有像cv四小龙一样的创业公司？
注意力机制是如何学习到模型所应注意的区域的？
什么是大模型？超大模型？Foundation Model？
如何看待李国杰院士在科学网发文称，国内 AI 研究「顶不了天、落不了地」，该想想了？
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
卷积神经网络中卷积核是如何学习到特征的？
数据挖掘与数据分析的主要区别是什么？
机器学习里面的流形都是怎么用的？
如何评价谷歌大脑的EfficientNet？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
如何评价余凯创立的horizon robotics？