如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
ICLR 2021 有什么值得关注的投稿？目标检测中的mAP是什么含义？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
AAAI 2022有哪些值得关注的方向？
如何评价AWS的图神经网络框架DGL？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
正负样本极不平衡的问题？
联邦学习/联盟学习 (Federated Learning) 的发展现状及前景如何？
你见过最差的算法工程师能差到什么程度？
究竟什么是损失函数 loss function?
前一个讨论
人是如何做黑盒优化的？
相关的话题
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？广告算法工程师的核心竞争力是什么？
如何评价余凯在朋友圈发表呼吁大家用 caffe、mxnet 等框架，避免使用 TensorFlow？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
二分类问题，应该选择sigmoid还是softmax？
国内目前的量化交易是否很少涉及到机器学习？
三维重建怎么入门？
机器视觉为什么不用手机的镜头，而要用那么大的工业相机？
机器学习算法进行分类时，样本极度不平衡，评估模型要看哪些指标？
如何理解 natural gradient descent?
深度学习（机器学习）的下一步如何发展？
深度学习中，模型大了好还是小了好呢？
从应用的角度来看，深度学习怎样快速入门？
什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)？
PRML为何是机器学习的经典书籍中的经典？
机器学习如何才能避免「只是调参数」？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
一张图片怎么用matlab 把颜色反相，就是红的部分变成绿的，蓝的部分变成黄的？
凸分析和凸优化有什么推荐的教材吗？
如何系统学习机器学习？
物理专业的学生如何看待机器学习和大数据这些方向呢？
2021 年了，TensorFlow 和 PyTorch 两个深度学习框架地位又有什么变化吗？
ICML2020有哪些值得关注的工作?
如何评价《Science》封面文章《通过概率规划归纳的人类层次概念学习》?
参加kaggle竞赛是怎样一种体验？
如何看待与评价 AAAI 2022 的录用结果？
为什么计算机科学专业背景的人喜欢黑机器学习？