如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
在数据分析、挖掘方面，有哪些好书值得推荐？如何简单理解贝叶斯决策理论（Bayes Decision Theory）？
让人工智能去下路边街头的象棋残局会赢吗？
机器学习中macro-F1的计算公式？
2020到2021年小样本学习取得重大进展了吗？
怎样计算两个服从高斯分布的向量乘积的期望？
ICML 2018 有哪些值得关注的亮点?
AI 有可能代替人类从事数学研究吗？
多任务学习中loss多次backward和loss加和后backward有区别吗？
如何看待何恺明最新一作论文Masked Autoencoders？
前一个讨论
人是如何做黑盒优化的？
相关的话题
为什么神经网络具有泛化能力？如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
如何看待西安电子科技大学偷偷给贫困生打钱，大数据精准帮助贫困生是否值得推广？
2019年CVPR有哪些糟糕的论文?
如何可以通过自学来深入学习机器学习？
如何判断两个Deep Learning 数据集的数据分布是否一致？
如何评价CUHK以及Yuanjun Xiong提出的Trajectory Convolution？
人脸识别进小区合法吗？为什么要用人脸识别？
机器学习的解释模型存在嘛？
三维重建怎么入门？
人是如何做黑盒优化的？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
数字图像处理的工作是用传统算法更多还是用深度学习更多?
现在的人工智能是否走上了数学的极端？
人工智能相关的岗位薪酬状况如何？
27岁了跨考计算机研究生会不会太晚？
如何开发一个自己的 TensorFlow？
使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
如何理解MCMC中的细致平稳条件？
刚进算法团队，大牛们讨论高深的cv术语和算法，如何才能听懂？
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
如何评价 DeepMind 在北京时间 19 年 1 月 25 日 2 点的《星际争霸 2》项目演示？
机器通过主动学习能为人类生活带来怎样的改变？
把某人的 DNA 序列作为输入，正面照片作为输出，丢到深度神经网络里面学习，可行吗？
ICLR 2019 有什么值得关注的亮点？
Graph Attention Network的本质是什么？
算法研究属于数学专业还是计算机专业？
生成对抗网络的毕设怎么上手？
如何看待旷视 detection 组组长俞刚跳槽腾讯 PCG 光影研究室?