如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
2019年，计算机视觉领域，你推荐哪些综述性的文章？什么时候对数据进行[0,1]归一化，什么时候[-1,1]归一化，二者分别在什么场景？
如何评价谷歌大脑的EfficientNet？
如何评价mixup: BEYOND EMPIRICAL RISK MINIMIZATION？
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
机器视觉为什么不用手机的镜头，而要用那么大的工业相机？
如何判断两个Deep Learning 数据集的数据分布是否一致？
如何看待AI伦理科学家Timnit Gebru在邮件控诉谷歌缺乏种族多样性后被Jeff Dean炒掉？
Transformer是如何处理可变长度数据的？
Learning To Rank的pair wise方法如何得到全局排序结果呢？
前一个讨论
人是如何做黑盒优化的？
相关的话题
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？为啥gan里面几乎不用pooling？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
如何看待 Nervana 被 Intel 收购？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
计算机视觉（CV）的算法有哪些，具体都有哪些特点？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
NIPS 2018 有什么值得关注的亮点？
凸分析和凸优化有什么推荐的教材吗？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
attention跟一维卷积的区别是啥？
graph convolutional network有什么比较好的应用task？
如何看待马毅老师深度学习第一性原理的文章在 ICML 四个审稿人一致接收的情况下被 AC 拒了？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
如何理解压缩感知(compressive sensing)？
国内有哪些不错的CV(计算机视觉)团队?
如何激怒一位人工智能（机器学习、深度学习、强化学习等）爱好者？
NIPS 2018 有什么值得关注的亮点？
算法研究属于数学专业还是计算机专业？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
深度学习对图像的处理，为什么大多基于RGB，而没有其他色彩空间，比如HSV？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
华为年薪百万的应届博士到底有多厉害？
如何评价《State Estimation for Robotics》？
如何看待「机器学习不需要数学，很多算法封装好了，调个包就行」这种说法？
是否有可能使用人工智能在高原、戈壁和沙漠中进行工业生产？
image caption这个方向更偏向NLP还是CV？
机器学习领域是否已经达到饱和？