如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
全连接层的作用是什么？大牛Bengio 团队最新的研究和我自己之前的研究成果重复了，应该怎么办？
能否使用神经网络来判断奇偶数？
南京大学LAMDA（周志华）组的实力如何？
如何评价 DeepMind 公布的可生成算法竞赛解题代码的 AlphaCode？
如何评价 DeepMind 发表在 Nature 的论文公开无需人类棋谱的 AlphaGo Zero？
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
Python中 __init__的通俗解释是什么？
机器学习算法进行分类时，样本极度不平衡，评估模型要看哪些指标？
人工智能领域有哪些精妙的数学原理？
前一个讨论
人是如何做黑盒优化的？
相关的话题
如何评价陈天奇的模块化深度学习系统NNVM？金融学及金融从业者如何应对人工智能和大数据？
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
现在的人工智能是否走上了数学的极端？
如何看待北京交通大学学生在 ATM 机内学习?
如何看待旷视科技新产品监视学生上课？
Resnet是否只是一个深度学习的trick？
如何评价生成模型框架 ZhuSuan?
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
华为年薪百万的应届博士到底有多厉害？
人工智能退潮期来了吗？
Batch Normalization 训练的时候为什么不使用 moving statistics？
如何看待 NIPS 2018 submission达到近 5000 篇？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
用于数据挖掘的聚类算法有哪些，各有何优势？
wav2vec中的30ms是怎么得来的?
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？
为什么读论文最好打印出来读？
目前手势识别发展到什么水平了？
CVPR2022 有什么值得关注的论文 ?
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
如何评价何恺明等 arxiv 新作 Rethinking ImageNet Pre-training？
机器学习包含哪些学习思想？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
神经网络能否代替决策树算法？
主题模型(topic model)到底还有没有用，该怎么用？
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？