为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
人工智能技术如何应用到相亲？现金奖励对技术社区内容贡献者重要嗎？如果连优质提问也可以赚钱, 是否能推动社区的深度和质量呢？
你觉得我国存在真正的知识型工作吗？
为什么说深度学习没有理论基础?
Facebook 的人工智能实验室 (FAIR) 有哪些厉害的大牛和技术积累？
怎样吸引优秀的C++程序员？
《AI围棋定式大全》适合普通业余爱好者吗？
无人售货柜（智能货柜）领域的视觉识别技术，是否有商业化的可行性？
柯洁与 AlphaGo 三场皆负，对围棋今后的发展会有哪些影响？
苏联计划经济体制能否在大数据与智能决策时代展现出某些优势？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
如何评价知乎想法中「人工智能是否能做艺术创新」这一场论战？GB2312及其扩展标准和Unicode之间有什么区别和优劣势？
西安电信一码通项目此前报道中提到「两天两夜把 1m 图片优化到100kb」，图像压缩技术难度是怎样的？
就目前来看，生物和人工智能的结合意义如何？
如何看待AI伦理科学家Timnit Gebru在邮件控诉谷歌缺乏种族多样性后被Jeff Dean炒掉？
作为 IT 行业的过来人，你有什么话想对后辈说的？
编程真的能改变人的思维方式吗？
如果围棋已经被人工智能完全破解，得出某色必胜，那围棋还有什么意义？
AI 都学会看论文了，科研工作者会被淘汰么？
为什么越来越多的公司选择全部搬到云上？
有什么事情是人工智能永远比不上人类的？
能识别情绪的机器人可以算做有情感的机器人吗？
本科生如何才能进入腾讯、阿里等一流的互联网公司？
中国首个虚拟学生华智冰加入清华大学，其背后有哪些值得关注的技术亮点？
有没有大佬给点建议，想学人工智能，那本科是学计科然后考研学人工智能或者本科直接读人工智能？
一段文字的包含的信息量能不能衡量？
新基建来了，可能会给普通人的生活带来哪些影响或提升？
普通文科大学院和好的专门学校学it技术哪个对于留在日本工作前景更好？
为什么开源的氛围在当下只存在于科技行业？
你心目中的ALPHAGO拟人是怎样的性格?
AI在网络安全领域（尤其是威胁检测领域），有什么好的应用场景？
如何理解香农第一定理?
现在的图灵测试体系能否发现“故意不通过图灵测试来隐藏自己的人工智能”？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
语义网所谓的“本体”的具体例子是什么？
AlphaGo 和人类棋手比起来谁消耗的资源更多？
有什么类似于Al的炒股软件介绍给上班一族？
有哪些优秀的 AI 相关的「一句话科幻」？
如何看待“原谅宝”和推特上的“ChinaWakeUp”事件？
为什么硅谷的人在造火箭，搞人工智能，虚拟现实生物工程，而我们却在玩互联网？