为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
日本东京大学用 AI 开发电极材料，实验次数降至千分之一，对此还有哪些值得关注？我怀疑人类真的把人工智能当成傻子了，这才是最可怕的，是变局来临前的预兆，人类有什么资格看扁AI？
未来会不会出现一种科技能够改变甚至主宰人类？
人工智能领域有哪些精妙的数学原理？
如何看待微博上疑似出现来自境外的AI“拳师”？
如何评价 BERT 模型？
ICML 2018 有哪些值得关注的亮点?
10 月 25 日韩国突发大面积断网，全国企业、普通家庭等均受影响，为何出现断网问题？将造成多大损失？
有哪些见过的时间复杂度为无限大的算法？
如何评价甲骨文（ORACLE）中国区裁员？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
如何理解香农第一定理?贝叶斯深度学习是什么，和传统神经网络有何不同？
IT 和网络技术发展正日益消弭距离的障碍，这种趋势是否会减慢甚至停止城市化的进程，或渐渐消融现有城市？
为什么技术总是被轻视？国内做技术能不能有较大发展？
如何看待前员工发表《Keep的困顿与终局》？
现在什么职业最容易被人工智能取代？
机器学习中的 Bias（偏差）、Error（误差）、Variance（方差）有什么区别和联系？
为什么苏联打下了如此强的数学基础，俄罗斯却至今无法成为AI强国？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
深度学习有哪些好玩的案例？
如果人工智能杀人，按照现在的法律应该追究谁的责任？
你们都是怎么学 Python 的？
如何看待A.O.史密斯AI-LINK全联全控智能物联？会对生活产生哪些影响？
机器学习到底是什么，如何使用这项技术？
为什么谷歌不像微软、思科、甲骨文那样搞认证体系？
计算机在德州扑克比赛中可以战胜人类吗？
最有可能引领第四次工业革命的是哪种技术？
如何评价通信工程很多导师都研究机器学习人工智能而不是传统的天线电磁场等方向?
从虚拟偶像到 AI 学生，数字人概念还能火多久？
未来会不会有一种方式，可以使一部蓝光电影压缩到几Mb甚至几Kb？
华为的奋斗者协议还在吗？
你爱上了一个人，你们俩一起游玩，一起逛街，最后发现你爱的只是一个高级智能机器人，你怎么想？
adversarial training为什么会起作用？
智能机器时代，“技术中立”原则还有效吗？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
什么是HDR？HDR对短视频和图片画质究竟有多大改善？
很多人认为元宇宙是骗人的，为什么还是全球很多著名大公司投巨资去做？
如何看待李徐（业余 6 段）在现实比赛中以超高 AI 吻合度击败张涛（职业七段）？
用人工智能辅助法官判案可行么？
为什么香港的 IT 行业平均薪酬较低？