如何判断两个Deep Learning 数据集的数据分布是否一致？ 第1页
1
jindongwang 网友的相关建议:
很遗憾，分布距离如你的身高般永远无法精确度量。现有的方法也均是采用特定假设下能给出的解决方案，并不存在一种统一的、精确的分布度量方式。
常用的可以尝试的方法：
- MMD是一种常用的数据分布距离度量方式。你完全可以用MMD得到数据集A和B的MMD距离，以此作为二者的数据分布距离D1。
- KL divergence也是很常用的计算方式。利用KL divergence，得到分布距离D2。
- 基于domain adaptation理论构建一个线性分类器去分两个数据集，也就是A-distance，得到距离D3。
- 其他任何已有的pair-wise距离计算，如欧氏距离、余弦相似度等，都能得到其他的距离，我们用D4表示。
首先，D1~D4这些数值肯定是不相等的；其次，它们没有可比性；再次，并没有一个距离和传说中的“groundtruth”接近。。。
在实际使用时，根据自己的问题选择适当的分布度量差异、言之成理即可。当然，你也可以自己开发新的分布差异度量方法。
1
相关话题
如何评价1700亿参数的GPT-3？超越人类的人工智能 (AI) 是否能够实现？
全连接层的作用是什么？
CVPR 2018 有什么值得关注的亮点？
如何比较Keras, TensorLayer, TFLearn ？
华为年薪百万的应届博士到底有多厉害？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
国内目前的量化交易是否很少涉及到机器学习？
Partial Multi-Label Learning是什么？它的发展史又是怎样的？最新的进展如何？
如何看待End-to-End Object Detection with Transformers？
前一个讨论
人是如何做黑盒优化的？
相关的话题
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？为什么强大的 MXNet 一直火不起来？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
如何用机器学习判断《溪岸图》是否董源真迹？
人工智能的意义和价值是什么？
反馈控制理论在优化、机器学习等领域有哪些应用？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
如何看待百度无人车， 三千多个场景，一万多个if？
三位物理学家与陶哲轩发现的特征向量全新求解公式，会给机器学习领域带来怎样的变化？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
为什么机器学习解决网络安全问题总是失败?
二分类问题，应该选择sigmoid还是softmax？
低分辨率图像相对于高分辨率图像在CNN中缺失了哪些特征？
如何评价 NVIDIA 发布的 DGX-1？
大二就中 CVPR/ICCV/ECCV/NIPS 是一种怎样的体验？
如何评价浪潮发布的2457亿参数源1.0智能大模型？与GPT-3相比如何？处于AI模型领域什么水平？
2021 年，深度学习方面取得了哪些关键性进展？
在Lasso中，oracle property指的是什么性质？
2020到2021年小样本学习取得重大进展了吗？
未来五年，数据科学家（Data Scientist）的岗位需求会如何变化？
为什么我学过微积分、线性代数和概率论，还是看不懂机器学习？
有哪些深度学习效果不如传统方法的经典案例？
cv/nlp等方向的就业困难是全球性的吗？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
2021 年各家大厂的 AI Lab 现状如何？
如何解读「量子计算应对大数据挑战：中国科大首次实现量子机器学习算法」？
LSTM如何来避免梯度弥散和梯度爆炸？