为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
随机确定密文的加密方式，密码有办法被破解吗？从进化的角度看，实现强人工智能，究竟是数据重要还是模型重要？
如果中国人民银行给中国14亿老百姓每人发个1000万，对中国和世界各有什么影响？
如果所有人类都变成资本家，把机器人当作剥削对象，会发生什么？
如何看待 TI7 上与 Dendi solo 的 OpenAI？
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
欧洲有哪些统计机器学习比较强的大学或者研究院的？？
如何看待特斯拉新演示的完全自动驾驶系统（FSD beta），会不会像苹果一样一举确立行业统治地位？
装满的硬盘中是 1 多还 0 多？
人工智能会让未来的广告变成什么样子？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
这一波人工智能泡沫将会怎么破灭？20年后，你所在行业的科技会发展到什么程度？
人类在过去两百年中积累起来的技术红利，是否已经耗尽？技术范式是否将进入几百年的停滞期？
从应用的角度来看，深度学习怎样快速入门？
为什么柯洁会宣布 2018 再战 AI？
如何看待 2020 届校招算法工程师岗位求职人数远大于招聘岗位的现象？
如何看待柯洁称「可能我太笨了」，这辈子都打败不了 AI 了？人类战胜不了 AI 是好事还是坏事？
人工智能中的符号主义为什么又叫心理学派？
LED/OLED 屏幕造价成本不断提升，激光电视会不会逐渐代替普通电视成为家庭影院的首选？
超人工智能可能会出现吗？
将来医院哪个科室医生最容易/不容易被人工智能取代？
人工智能的意义和价值是什么？
到了 2022 年，人工智能有哪些真正可落地的应用？
god bless us 为什么百度翻译是辛巴？
证明定理创造新的信息吗？
很多人类以为的惊天妙手在AI处被证实为很普通甚至更差。为何那么多人都看不出皇帝的新装？
现在的人工智能是否走上了数学的极端？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
为什么技术领域很多人有“连这种简单的都不懂吗”的风气？
越来越多的年轻人毕业选择IT行业，作为学机械的，同学们基本都跑路了，那中国未来的制造业如何取得发展?
为什么蚂蚁集团会投资 AI 服务商瑞莱智慧？
如何采用进化的方法，在内存中创造智能体？
程序出现bug是必然出现的情况还是程序猿水平有限导致的？
adversarial training为什么会起作用？
大牛Bengio 团队最新的研究和我自己之前的研究成果重复了，应该怎么办？
如果让自动驾驶程序去跑F1，能跑赢顶尖车手吗？
为何谷歌要卖掉表现优异的波士顿动力的机器人？
反馈控制理论在通信、信号处理等领域有哪些应用？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
为什么一边有人劝退机械，一边又有人看好机器视觉？