为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如果我研究出通用型人工智能并让它们去996，我可以获得福报吗？人工智能会是泡沫吗？
如果智能机器人真的大批量取代人工，那真的会失业么？
如何评价Kaiming He团队的MoCo v3？
如何看待广电总局新规定：手游中不得出现英文以及繁体字？
为什么 Siri 听懂了我的话，还是不能做出有效的回答或准确的操作？
如果阿尔法狗教人类下棋，会比人类围棋师傅要厉害么？
人工智能在麻将领域能够战胜人类吗？
特斯拉 AI 日推出人工智能训练计算机 DOJO 芯片，有哪些技术亮点？使用场景是怎样的？
自动驾驶攻破的难点在哪，何时能到 Level 5？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
化工硕士在读是否该转行计算机？12306 系统在春运高峰期的稳定运行，采用了哪些具体技术？
如何看待美国超算 Summit 超过神威·太湖之光，在最新的全球超级计算机 500 强榜单中排名第一？
如何看待这位百度员工的吐槽？
现在的人工智能水平，能代替程序员写代码吗？如果有一天能写代码，是否会促使它发展自己的思维？
如何避免在元宇宙风潮中成为「韭菜」？
互联网改变了我们什么？
如何看待华大基因董事长汪建称「未来 5-10 年就可以化学合成任何生命，进展可能比人工智能还快」？
为什么上微机课要穿鞋套？
这个世界正在杀死“艺术”，杀死“艺术家”吗？
为什么硅谷的人在造火箭，搞人工智能，虚拟现实生物工程，而我们却在玩互联网？
如果人类的意识被科学家证明只是一种物质或者一种活动，那时候我们该怎么安置我们存在的意义？
大脑是如何进行“联想”的？
2019 年 8 月 9-11 日召开的华为开发者大会（HDC.2019）上有哪些值得关注的信息？
已有大量编程基础，如何速成python用于学习机器学习？
为什么一边有人劝退机械，一边又有人看好机器视觉？
OpenAI 首席科学家称 AI 或有点自主意识了，其中有哪些值得关注的信息？
ICML 2018 有哪些值得关注的亮点?
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
电气工程算不算IT行业？
为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？
AI 发现奥运会得铜牌比银牌更爱笑，这是一种什么心态？对此你怎么看？
35 岁以上的 IT 开发工作者都去哪里了？
怎样防止自己被窃听？
如何评价马云的无人超市？
为什么Python效率比node低，Python却被广泛运用在大数据人工智能？node为什么没有发展？
回收的电子器件是用来干什么的？
如何看待张潼老师从腾讯离职？
如何看待倪光南表示中国人口红利将转化成工程师红利，成为信息领域强国？未来不懂技术的人会被淘汰吗？
广州的CVTE为什么校招给的薪资这么高？