为什么交叉熵（cross-entropy）可以用于计算代价？ 第1页
1
fffar 网友的相关建议:
一个函数，如果是非负的，且当predict与label越接近，函数值越小，那么该函数就可以作为代价函数。
是标签label， 是模型的预测结果。
交叉熵损失的形式是：
事实上，把log去掉，或者换成exp，都能作为代价函数。
因为这类公式的背后原理都是“排序不等式”。
排序不等式指的是：
当 ,
,
有，
其中是的一个置换。
简而言之，就是顺序和≥乱序和≥倒序和。大的数和大的数配对相乘，小的数和小的数配对相乘，这样的顺序和是最大的。
交叉熵损失函数越小，意味着预测与真实标签越接近。此时应该越大。根据排序不等式，对于任何一个，当比较大时，也应该比较大，反之同理。这是符合直觉的，当某一个类的真实label很大时，预测分数也应该比较高，这才能保证损失函数较小。
根据排序不等式的思想，我们可以对交叉熵进行魔改。
原始版本：
内积版本：
协方差版本：
和 分别是p和q的均值
如果再除以p和q的标准差，那么可以得到相关系数版本（或余弦距离版本）。
指数爆炸版本：
双重否定版本：
禁止套娃版本：
ling-jian-94 网友的相关建议:
交叉熵这东西你如果理解为两个概率分布会发现它就是nonsense，你得把对数里面那个分布理解为真实的随机变量分布，而将对数外面那个理解为观察到的频率。然后你就会发现它就是最最原始的MLE（最大似然估计）套了个时髦的壳而已。
比如说现在有一个真实分布为 的随机变量，我们对它进行了N次独立同分布实验，对于每个可能的结果x观察到的次数为 ，那么它的似然值就可以写成
很好理解对吧，乘法公式，把每次实验的概率乘起来，然后合并相同的项写成幂次。这是个乘积的形式，取个对数可以得到求和的形式：
这个式子有两个缺点，第一它是个负数，第二它的数值跟样本数有关，样本越多数值越小，因此除以一下总的样本数归一化，再取个相反数，然后改用频率表示：
这就齐活了。
因此可以看出，交叉熵最小实质上就是似然值最大。我们可以证明，在给定 的情况下，使交叉熵最小的分布P一定有 ，只需要用拉格朗日乘子法就可以：
求偏导得到
即 和 成比例，再根据归一化条件得到
因此在有模型约束的条件下求交叉熵最小值，也就是让模型输出的分布尽量能接近训练数据的分布。
1
相关话题
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
AlphaGo 和人类棋手比起来谁消耗的资源更多？
如何评价诺奖得主 Thomas J. Sargent「人工智能其实就是统计学」的观点？
自监督学习（Self-supervised Learning）有什么比较新的思路？
在你做推荐系统的过程中都遇到过什么坑？
是不是并不是所有问题都适合用神经网络预测？
如何看待MXNet在CVPR2017上公布的gluon接口？
2021 年各家大厂的 AI Lab 现状如何？
CVPR2022 有什么值得关注的论文 ?
前一个讨论
下一个讨论
相关的话题
GBDT算法的细节问题？请问人工智能到底是什么？
为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？
用人工智能计算股票的涨和跌可行吗？
生成对抗网络的毕设怎么上手？
USC 大学教授、Pinscreen CEO Hao Li 是否存在论文造假、产品虚假宣传等问题？
如何看待End-to-End Object Detection with Transformers？
如何以赵泠是个 AI 为开头，写一个故事？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
如何看待支付宝在 2019 年 4 月 1 日展示的三折叠屏、被偷自动归还等功能的「休想骗我」手机?
2019 年 8 月 9-11 日召开的华为开发者大会（HDC.2019）上有哪些值得关注的信息？
如何证明马尔科夫链一定会达到稳态？
如何看待字节跳动 AI 实验室总监李磊入职 UCSB？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
「绝艺」成为中国国家围棋队指定训练 AI 后会有哪些影响？
如何看待人工智能用于配音？
如何评价PyTorch 0.4.0？
大四年级，完全没接触过高数，目前对机器学习产生浓厚兴趣，该如何学习数学？
苏联计划经济体制能否在大数据与智能决策时代展现出某些优势？
能否把一个人的所有物理数据输入在一个模型里，然后计算他接下来的状态变化？
为什么做stacking之后，准确率反而降低了？
神经网络激活函数的作用和原理？有没有形象解释？
为什么ViT里的image patch要设计成不重叠？
上学和读书有什么区别?
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
为什么中国诞生不了Hugging Face这样的公司？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
清华首个虚拟学生华智冰演唱视频遭质疑，小冰回应称并非仅仅 AI 换脸，对此你怎么看？