如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
为啥gan里面几乎不用pooling？为什么学习深度学习感觉无法入门？
如何看待swin transformer成为ICCV2021的 best paper？
为什么这么多 NLP 大牛硕士毕业去企业不留在学术界？
ICLR 2021 有什么值得关注的投稿？
机器学习里面的流形都是怎么用的？
如何评价VOLO: Vision Outlooker for Visual Recognition？
如何评价旷视开源的YOLOX，效果超过YOLOv5?
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
前一个讨论
人是如何做黑盒优化的？
相关的话题
ICLR 2021 有什么值得关注的投稿？加州大学伯克利分校为何能连续孵化出 Mesos,Spark,Alluxio,Ray 等重量级开源项目?
如何评价 NVIDIA 最新技术 5 秒训练 NERF？
2021 年，深度学习方面取得了哪些关键性进展？
PyTorch中在反向传播前为什么要手动将梯度清零？
为什么 Non-Convex Optimization 受到了越来越大的关注？
强化学习和自适应控制的关系是什么？
如何看待 Alex Smola 加入 Amazon？
隐私计算、计算机视觉、自然语言处理三者中，哪个研究起来更有前途？
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
深度学习的多个loss如何平衡？
二次型的意义是什么？有什么应用？
如何看待亚马逊的无人超市产品 Amazon Go?
为什么神经网络具有泛化能力？
如何评价陈天奇的模块化深度学习系统NNVM？
为什么做机器学习的很少使用假设检验？
有什么深度学习数学基础书推荐？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
因果推断会是下一个AI热潮吗？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
如何理解 inductive learning 与 transductive learning?
魔鬼如何在最短时间内抓住天使？
ICLR 2021 有什么值得关注的投稿？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
共轭是指 ‘先验分布与后验分布共轭“ ，还是指 "先验分布与似然函数共轭“？
如何直观地解释 backpropagation 算法？
现在的人工智能是否走上了数学的极端？
有哪些你看了以后大呼过瘾的数据分析书？
cv/nlp等方向的就业困难是全球性的吗？