为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何看待韩国棋院院长回应棋手用AI作弊参赛？有线鼠标会被无线鼠标取代吗？
如何评价 DeepMind 在北京时间 19 年 1 月 25 日 2 点的《星际争霸 2》项目演示？
索尼这家公司的伟大之处在哪里？
人工智能、模式识别领域最终是否会被一种本质、通用的算法主导？
如何评价《Science》封面文章《通过概率规划归纳的人类层次概念学习》?
字节跳动的发展潜力到底有多大，是否有可能超过BAT?
为什么在脸部打马赛克的时候通常选择在眼部？
如何看待Oracle暂停俄罗斯业务，这对数据库等自研技术有何启发？
是否有算法可以去除电影中的马赛克？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
如何看待国务院印发的 2 万多字人工智能发展规划？未来信息技术高度发达的时代，计划经济有无可能取代市场经济，成为各个国家经济体制的主流？
作为程序员面试官或主管，你能容忍你面试者或下属不会盲打甚至二指禅吗？
如何评价荣耀V10？
如何评价阿里巴巴启动NASA计划？
自然语言处理怎么最快入门？
若实行网络白名单会是怎样一种机制？
如果美国禁用 Tensorflow 和 Pytorch 对中国的人工智能有何影响？
如何看待傅首尔对智能汽车的吐槽？智能汽车如何真正为出行带来便利？
迁移学习入门，新手该如何下手？
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
如何看待全球第一位「数字航天员小诤」?数字技术跨界应用是否正在加快？
有哪些科技公司从辉煌到衰落？因为什么原因？
AlphaGo 能战胜李世石吗？
现代的人工智能机器人是采用什么编程语言来写系统的？
在未来，人造子宫＋社会化抚养能否真正实现？
李彦宏夫妇向北大捐赠 6.6 亿元用于前沿学术研究，将产生哪些影响？
为什么 Windows 不像 iOS、 macOS 一样隔年迭代？
2021年，在人工智能领域有哪些值得关注的成果？
如何看待由 AI 绘制的漫画《Phaedo》？
以前 CSDN 很好，但是现在只有提问的，都是没人回复，没人参与了，现在的程序员遇到问题用什么交流呢？
如果利用人工智能程序找到一个未见过的好听的和弦进行，但在现有乐理上得不到解释，你们会怎样看待？
如何看待2019年8月19日美方给予华为禁令额外的90天延期，但同时在禁令增加46个华为子公司？
多模态方面，有哪些牛组值得我们follow他们的工作？
三维重建怎么入门？
如何看待Rokid发布的语音AI芯片KAMINO18?
今天发布的Apache Log4j2漏洞，对于非IT界的人来说有什么危害呢 ?
人工智能发展之后会不会带来共产主义。？
装满的硬盘中是 1 多还 0 多？
如何看待人工智能系统 Libratus 战胜四位德州扑克顶级选手，获得最终胜利？