为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp？ 第1页
1
babyquant 网友的相关建议:
我觉得不把负号变成对数里的倒数是说不清的。
可以看成sum（p*log（1/p））更好理解：
一个随机变量有8种可能，相当于8个事件，如果是0和1表示，一共需要log2（8）=3bit
换句话说，如果一个事件的概率是1/8，需要log2（8）=3bit
再换句话说，如果一个事件的概率是p，需要log2（1/p）bit
再泛化，概率是变量，就是log2（1/p（x））
再泛化，2是变量，就是log（1/p（x））
那么，既然表示其中一个事件需要这么多比特，那么表示所有事件平均需要多少bit呢？很自然就是求期望：
sum（p（x）log（1/p（x）））
把倒数变成负号
-sum（p（x）logp（x））
qinlibo_nlp 网友的相关建议:
女王:求求题主放过我，我可不敢有什么政绩。。。
1
相关话题
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？如何看待广电总局新规定：手游中不得出现英文以及繁体字？
为什么日本公司总是押错技术方向（人工智能，互联网，电动汽车）？
以目前 AI 的能力，可以在各行各业替代哪些方面的工作内容？
交通银行机器人是如何做到如此智能的？
蒙特卡罗算法是什么？
如果要评选中国互联网教父，谁最可能会当选？
如何看待微博里机器人发布女权言论的现象？
今天看到“人工智能没有欲望，只有人工智能管理人类社会才能实现大同社会”这句话，想听听大家怎么说？
什么是大模型？超大模型？Foundation Model？
前一个讨论
怎么知道那些企业(集团)经历过债务重组？
下一个讨论
一个交易者最基本的素养是素养是什么？
相关的话题
如何评价柯洁与 AlphaGo 的对决？如何看待倪光南表示中国人口红利将转化成工程师红利，成为信息领域强国？未来不懂技术的人会被淘汰吗？
国内人写代码的水平跟美国的差距在哪？
对于技术岗位而言，开发岗累还是算法岗累呢？
为什么美国如此反对中国留学生学习人工智能和量子技术？国内外这两种技术的发展现状如何？
你在游戏里遇见的最有「人味」的 NPC 是谁？未来的游戏 AI 可能产生什么新玩法和新体验？
如何评价caffe作者贾扬清加入Facebook?
与其让计算机拥有人类的模糊思考，为什么不想办法让人类拥有计算机的高速计算能力？
武侠小说都写，废了坏人的武功，让他没办法害人，可万一这个人智力超群，武功没了，他照样害人啊？
请问国内有什么好的代理IP(http)提供商?
如何走通企业数智化落地的“最后一公里”，让无人工厂不再纸上谈兵？
这个世界正在杀死“艺术”，杀死“艺术家”吗？
今天发布的Apache Log4j2漏洞，对于非IT界的人来说有什么危害呢 ?
如何看待蚂蚁金服原副总裁漆远离职阿里，入职复旦大学、回归学术界？
请问国内有什么好的代理IP(http)提供商?
如何根据仅有的一两行文字搜索出出自哪本书？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
有哪些结合医学、计算机、人工智能的研究领域？
机器学习中有哪些形式简单却很巧妙的idea？
如何看待英伟达禁止精视软件（GeForce）在数据中心使用？
如果将来想要造一个三次元人工智能美少女，需不需要很多生物知识？
反馈控制理论在通信、信号处理等领域有哪些应用？
脑机接口离实际应用还有多远？未来能否帮助障碍人士恢复生活能力？
Google 是如何从一家搜索引擎公司成长为如今这样的综合科技公司？
国外AI技术成熟，为什么在AI风控领域中国反超了国外？
华为 P30 Pro 相机使用 AI 技术为拍摄的月亮增加细节是合理的吗？
国外AI技术成熟，为什么在AI风控领域中国反超了国外？
交通银行机器人是如何做到如此智能的？
为什么香港的 IT 行业平均薪酬较低？
如何看待关于“数据结构与算法基础”的重要性？