如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
CVPR 2018 有什么值得关注的亮点？
如何看待 NIPS 2018 submission达到近 5000 篇？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
算法研究属于数学专业还是计算机专业？
神经网络为什么可以（理论上）拟合任何函数？
前一个讨论
人是如何做黑盒优化的？
相关的话题
深度学习中，模型大了好还是小了好呢？如何用自然语言处理判断一句话是否符合中文口语习惯？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
如何评价微软新出的自拍软件 Microsoft Selfie？
有哪些解决完之后让你拍案叫绝的算法问题？
人工智能在生活中的应用都有哪些？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
能否把一个人的所有物理数据输入在一个模型里，然后计算他接下来的状态变化？
如何评价周志华教授新提出的 Deep Forest 模型，它会取代当前火热的深度学习 DNN 吗？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
求通俗解释下bandit老虎机到底是个什么东西？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
为什么dropout正则化经常在视觉方面使用而不是其他？
如何评价谷歌用30亿数据训练的20亿参数ViT-G/14模型在 ImageNet 达到新的 SOTA？
在机器学习模型的训练期间，大概几十分钟到几小时不等，大家都会在等实验的时候做什么？
机器学习中如何识别图片中的手是手背还是手心？
如何理解深度学习源码里经常出现的logits？
MPI 在大规模机器学习领域的前景如何？
如何理解Inductive bias？
多因子模型是否真的可以带来阿尔法（alpha）？
行为识别常用哪种特征提取？
现大二，准备做大学生创新创业项目计划 ，目前定的方向是深度学习+畜牧业／养殖业，有什么建议给我们吗？
如何看待 Nervana 被 Intel 收购？
能识别情绪的机器人可以算做有情感的机器人吗？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
是不是并不是所有问题都适合用神经网络预测？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
为什么做GPU计算，深度学习用amd显卡的很少，基本都nvidia？
如何评价 CVPR 2020的论文接收结果？有哪些亮点论文？