为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
如何看待韩国棋院院长回应棋手用AI作弊参赛？L3级别的自动驾驶什么时候能普及，会对目前的交通情况带来什么帮助？
未来会不会有一种方式，可以使一部蓝光电影压缩到几Mb甚至几Kb？
为什么很多人坚持抓着鸿蒙的安卓痕迹不放？
游戏《文明 6》和围棋哪个更复杂？
今天的柯洁对战前ai时代的柯洁（比如他拿第一个世界冠军的时候），胜率能有多少，能让先吗？
中国崛起超越美国会不会成为一件无意义的事？
如何评价 DeepMind 新提出的关系网络（Relation Network）？
基于人工智能参与者的《我的世界》游戏框架的演化与突破？
机器学习，深度神经网络等方法是否是正确的方向？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
如何看待 AI 换脸软件「ZAO」的爆火？目前的人工智能可以打「颜值」分吗？
如何看待张潼老师从腾讯离职？
笔记本内存和台式机内存条,使用的时候,明显笔记本效率更低,这是为什么呢?
如何看待「特斯拉宣布：全系在产车辆都将能够完全自动驾驶」？
为什么说大模型训练很难？
试以「Siri 已失去控制」为开头写一个故事？
26岁去日本读it专门学校，然后留日工作可行吗？
如何评价知乎想法中「人工智能是否能做艺术创新」这一场论战？
让人工智能去下路边街头的象棋残局会赢吗？
人工智能将会为教育带来哪些改变？
美国封杀令已激活，中兴真的无力回天了吗？
新买了笔记本电脑后，需要进行哪些基本的设置和下载？
如何看待日本厚生劳动省统计新冠病毒数据使用手工录入电脑？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
人脑运转到底有没有量子力学机制？
未来会不会有一种方式，可以使一部蓝光电影压缩到几Mb甚至几Kb？
公安部介绍「以后上网或用网证」代替输入身份信息进行认证，福建、广东等地已开展试点，值得推广吗？
人工智能是否毁灭人类？
只利用现有科技，不计成本的发展强人工智能，在短期内能成功吗？
如何看待SQuAD比赛中，阿里、MSRA机器阅读理解准确率超越人类？
如何看待 Facebook 首席 AI 科学家 Yann LeCun 被群骂？
你在电脑课上都做过什么骚操作？
人工智能的意义和价值是什么？
神经网络能否代替决策树算法？
理工科本科生该如何成为双证专利律师？
腾讯自己也做芯片，为什么还投资AI/DPU等初创公司？他们之间会不会成为下一个华为和寒武纪？
如何评价阿里巴巴启动NASA计划？
如何看待饶毅的「人工智能还是伪智能」命题？
普惠AI时代即将来临，开发者如何向AI开发转型？