如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
为什么说深度学习没有理论基础?如何正确理解小概率事件，以及概率和哲学的关系？
给男友配置一个适合做深度学习的电脑要多少钱？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
如何看待亚马逊的无人超市产品 Amazon Go?
深度学习方面还有什么Open Problem?
编写基于机器学习的程序，有哪些编写和调试的经验和窍门？
为什么神经网络具有泛化能力？
为什么nlp没有像cv四小龙一样的创业公司？
前一个讨论
人是如何做黑盒优化的？
相关的话题
image caption这个方向更偏向NLP还是CV？DeepMind 团队中有哪些厉害的人物和技术积累？
编写基于机器学习的程序，有哪些编写和调试的经验和窍门？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
adversarial training为什么会起作用？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
能否使用区块链的算力来解决深度学习训练？
如何评价Yann LeCun宣称『他已经做好放弃概率论的准备』？
基于深度学习的人工智能程序和传统程序的差别在哪里？
如何评价 Self-Normalizing Neural Networks 这篇论文?
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
因果推断会是下一个AI热潮吗？
如何理解MCMC中的细致平稳条件？
生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
如果你是面试官，你怎么去判断一个面试者的深度学习水平？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
机器学习，深度神经网络等方法是否是正确的方向？
为什么我学过微积分、线性代数和概率论，还是看不懂机器学习？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
如何评价中国人民大学高瓴人工智能学院教授的薪酬标准？
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
机器学习包含哪些学习思想？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
大二就中 CVPR/ICCV/ECCV/NIPS 是一种怎样的体验？
目前有哪些比较成功的人工智能应用？
年轻人为什么要做期货？
神经网络，人工智能这块怎么入门？
有哪些相见恨晚的 TensorFlow 小技巧？