如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
2019年NeurIPS有哪些糟糕的论文？
未来 3~5 年内，哪个方向的机器学习人才最紧缺？
如何看待End-to-End Object Detection with Transformers？
ICLR 2021 有什么值得关注的投稿？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
前一个讨论
人是如何做黑盒优化的？
相关的话题
看完麻省理工博士胡渊鸣用代码实现「冰雪奇缘」后，自己陷入了深深的自卑，如何排解这种情绪？现在的BERT等语言模型，最快训练要多久？
机器学习里的 kernel 是指什么？
为什么dropout正则化经常在视觉方面使用而不是其他？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
2020到2021年小样本学习取得重大进展了吗？
如何评价生成模型框架 ZhuSuan?
现在的人工智能是否走上了数学的极端？
Resnet到底在解决一个什么问题呢？
因果推断会是下一个AI热潮吗？
如何看待 TI7 上与 Dendi solo 的 OpenAI？
参加kaggle竞赛是怎样一种体验？
多模态训练，怎么解决不同模态之间差异的问题？
如何看待微软小冰写的诗？
2021年，ncnn发展的如何了？
如何评价哈工大的左旺孟老师？
注意力机制是如何学习到模型所应注意的区域的？
目标检测算法中Two-stage算法速度慢,到底在哪里?
如何看待swin transformer成为ICCV2021的 best paper？
attention跟一维卷积的区别是啥？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
机器学习里的 kernel 是指什么？
如何理解今年发表在JMLR上随机森林算法SPORF？
自动化的控制与检测领域中，有没有像机器学习、图像处理领域一样经典巧妙的算法？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
如何评价Kaiming He的Momentum Contrast for Unsupervised?
如何评价英伟达于 GTC 2021 大会发布的基于 ARM 架构的 Grace CPU？
深度学习的多个loss如何平衡？