为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
人工智能的爆发点究竟是在高校还是在企业？如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
计算机视觉（CV）的算法有哪些，具体都有哪些特点？
随着人工智能的技术成熟，黑客是否会消失？
未来会不会出现一种科技能够改变甚至主宰人类？
最数学的计算机科学方向有哪些？
无人驾驶运营维护，自动驾驶运营维护，无人驾驶科技公司落地，逐渐走向现实，落地后的运营维护怎么办？
如何看待浙江小学生被戴上头环，被实时监测上课是否走神？
你在电脑课上都做过什么骚操作？
中信出版集团提问：如果《人类简史》和《未来简史》的作者尤瓦尔要举办一场读（记）者见面会邀请你去参加，你最想问他什么问题？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
有哪些只有程序员才能 get 到笑点的故事？AI技术是否是制约单机游戏突破的瓶颈？
deepmind发表的neural processes(神经过程)，这个是怎么实现的呢？
成长型企业如何灵活、高效、全方位地实现数字化转型？
在五到十年内，人工智能能复原成人影片中的被马赛克部分吗？
图片上训的模型，怎么迁移视频上呢？
如何评价DALL-E模型的实现？
开发都认为运维工程师很Low？
华为应届顶尖博士年薪百万，读博是不是有希望了？
控制的未来在哪里？
如何看待2019暴雪嘉年华现场Serral 1:4 败给AlphaStar？
近两年，人工智能有哪些有趣的进展？
去美国读CS博士，方向是机器人导航，视觉方面，推荐一下相关编程方面准备？还有相关算法需要学习哪些？
为什么机器人还没取代廉价低端劳动力?
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
人工智能现在的发展前景如何？
「智慧城市」这一概念科学吗？还是炒作？
在元宇宙世界中，我要怎么证明「我是我」？
人工智能可以作曲吗？
GB2312及其扩展标准和Unicode之间有什么区别和优劣势？
这一波人工智能泡沫将会怎么破灭？
现代的人工智能机器人是采用什么编程语言来写系统的？
如何看待NVIDIA 即将开源的DLA？
AI 是否即将威胁人类生存？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
如何看待「特斯拉宣布：全系在产车辆都将能够完全自动驾驶」？
如何评价ST-GCN动作识别算法？
关于材料计算，模拟，仿真什么区别?
你是否认同：机器人人工智能应该给人类提供便利，而不应该被资本家利用来消灭就业？
如何客观评价科大讯飞这家公司？