为什么交叉熵（cross-entropy）可以用于计算代价？ 第1页
1
fffar 网友的相关建议:
一个函数，如果是非负的，且当predict与label越接近，函数值越小，那么该函数就可以作为代价函数。
是标签label， 是模型的预测结果。
交叉熵损失的形式是：
事实上，把log去掉，或者换成exp，都能作为代价函数。
因为这类公式的背后原理都是“排序不等式”。
排序不等式指的是：
当 ,
,
有，
其中是的一个置换。
简而言之，就是顺序和≥乱序和≥倒序和。大的数和大的数配对相乘，小的数和小的数配对相乘，这样的顺序和是最大的。
交叉熵损失函数越小，意味着预测与真实标签越接近。此时应该越大。根据排序不等式，对于任何一个，当比较大时，也应该比较大，反之同理。这是符合直觉的，当某一个类的真实label很大时，预测分数也应该比较高，这才能保证损失函数较小。
根据排序不等式的思想，我们可以对交叉熵进行魔改。
原始版本：
内积版本：
协方差版本：
和 分别是p和q的均值
如果再除以p和q的标准差，那么可以得到相关系数版本（或余弦距离版本）。
指数爆炸版本：
双重否定版本：
禁止套娃版本：
ling-jian-94 网友的相关建议:
交叉熵这东西你如果理解为两个概率分布会发现它就是nonsense，你得把对数里面那个分布理解为真实的随机变量分布，而将对数外面那个理解为观察到的频率。然后你就会发现它就是最最原始的MLE（最大似然估计）套了个时髦的壳而已。
比如说现在有一个真实分布为 的随机变量，我们对它进行了N次独立同分布实验，对于每个可能的结果x观察到的次数为 ，那么它的似然值就可以写成
很好理解对吧，乘法公式，把每次实验的概率乘起来，然后合并相同的项写成幂次。这是个乘积的形式，取个对数可以得到求和的形式：
这个式子有两个缺点，第一它是个负数，第二它的数值跟样本数有关，样本越多数值越小，因此除以一下总的样本数归一化，再取个相反数，然后改用频率表示：
这就齐活了。
因此可以看出，交叉熵最小实质上就是似然值最大。我们可以证明，在给定 的情况下，使交叉熵最小的分布P一定有 ，只需要用拉格朗日乘子法就可以：
求偏导得到
即 和 成比例，再根据归一化条件得到
因此在有模型约束的条件下求交叉熵最小值，也就是让模型输出的分布尽量能接近训练数据的分布。
1
相关话题
人工智能相关的岗位薪酬状况如何？GPT-3 到底花了多少钱？为什么有的网站显示 1200 万美元，有的显示 460 万美元呢？
数据挖掘、机器学习、自然语言处理这三者是什么关系？这几个怎么入门啊？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
最数学的计算机科学方向有哪些？
为什么最近几年 FPGA 变得越发受大家重视了？
如何评价中国人民大学高瓴人工智能学院教授的薪酬标准？
自动驾驶汽车在危险情况下可以不计后果地保护自己的主人吗？
人工智能中的符号主义为什么又叫心理学派？
什么叫做泛函空间的大数定律？
前一个讨论
下一个讨论
相关的话题
深度学习在无人驾驶汽车上面的运用有哪些？如何评价亚马逊利用算法自动解雇无效率的仓库工人？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
请问应该怎样去学习图像识别和深度学习？
当你拥有一块魔镜，你最想问的是什么问题？
NLP 中 prompt learning 有哪些可能的天生缺陷？目前有什么样的方法来解决这样的缺陷？
高斯过程的kernel构成的矩阵为何叫协方差矩阵而不是相关系数矩阵？
如何评价中国人民大学高瓴人工智能学院教授的薪酬标准？
机器学习中常常提到的正则化到底是什么意思？
在优化问题里，强化学习相比启发式搜索算法有什么好处？
机器学习最好的课程是什么？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
目前有哪些比较成功的人工智能应用？
在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？
如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津？
如何看待学霸君的高考机器人 Aidam 高考全国文科数学卷考了 134 分？
人工智能是否会导致劳动力大量失业？端走人类的饭碗吗？
LSTM如何来避免梯度弥散和梯度爆炸？
如何评价清华大学「天机芯」登上 Nature 封面，清华施路平团队发布全球首款异构融合类脑芯片？
为啥星际争霸2里的神族的肉盾炮灰主要是活人，而像巨像这种人工智能反而是需要保护的珍贵精英？
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
如何看待阿里平头哥发布的全球最高性能 AI 芯片「含光 800」？这款芯片核心技术是什么呢？
人类目前能实现微型的力场护盾技术吗？
如何评价谷歌刚推出的Cloud AutoML？
c4.5为什么使用信息增益比来选择特征？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
如何评价百度收购渡鸦科技？
结合深度学习的图像修复怎么实现？
Graph Attention Network的本质是什么？
三维重建 3D reconstruction 有哪些实用算法？