如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
主动学习（Active Learning）近几年的研究有哪些进展，现在有哪些代表性成果？除了深度学习，机器学习领域近年来还有什么热点吗？
目前，人工智能语音在说中文时的语气感觉上还比较机械，怎样使人工智能语音的语气更自然一些？
K-means聚类算法中的K如何确定？
batchsize=1时可以用BN吗?
有哪些贝叶斯推理入门的书籍？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
wasserstein 距离的问题?
如何评价 DeepMind 公司？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
前一个讨论
人是如何做黑盒优化的？
相关的话题
如何看待旷视科技新产品监视学生上课？CVPR 2015 有什么值得关注的亮点？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
如何理解空洞卷积（dilated convolution）？
如果不按套路下棋是不是就能赢 Alpha Go 了？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
如何用简单易懂的例子解释隐马尔可夫模型？
已有大量编程基础，如何速成python用于学习机器学习？
如何评价Google发布的第二代深度学习系统TensorFlow?
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
如何证明对任意给定的正数e，存在M上的矩阵范数||A||，满足不等式||A||<=谱半径+e?
现在的BERT等语言模型，最快训练要多久？
如何用自然语言处理判断一句话是否符合中文口语习惯？
如何看待MXNet在CVPR2017上公布的gluon接口？
视觉Transformer如何优雅地避开位置编码？
2019 秋招的 AI 岗位竞争激烈吗？
CVPR 2019 有哪些值得关注的亮点？
机器学习中有哪些形式简单却很巧妙的idea？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
如何评价微软提出的无监督视觉模型BEiT：ImageNet达到88.6，ADE20K达到57.0？
是不是机器学习的框架都偏向 Python ？如果是，为什么？
为什么 BERT 的 intermediate_size 这么大？
GBDT算法的细节问题？
有哪些有趣的图形学(CG)和计算机视觉(CV)相结合的应用的例子？
深度学习调参有哪些技巧？
了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构？