百科问答小站 logo
百科问答小站 font logo



为什么香农要将信息熵公式要定义成 -Σp·log₂(p) 或 -∫p·log₂(p)dp? 第1页

  

user avatar   babyquant 网友的相关建议: 
      

我觉得不把负号变成对数里的倒数是说不清的。

可以看成sum(p*log(1/p))更好理解:

一个随机变量有8种可能,相当于8个事件,如果是0和1表示,一共需要log2(8)=3bit

换句话说,如果一个事件的概率是1/8,需要log2(8)=3bit

再换句话说,如果一个事件的概率是p,需要log2(1/p)bit

再泛化,概率是变量,就是log2(1/p(x))

再泛化,2是变量,就是log(1/p(x))

那么,既然表示其中一个事件需要这么多比特,那么表示所有事件平均需要多少bit呢?很自然就是求期望:

sum(p(x)log(1/p(x)))

把倒数变成负号

-sum(p(x)logp(x))


user avatar   qinlibo_nlp 网友的相关建议: 
      

女王:求求题主放过我,我可不敢有什么政绩。。。




  

相关话题

  随机确定密文的加密方式,密码有办法被破解吗? 
  从进化的角度看,实现强人工智能,究竟是数据重要还是模型重要? 
  如果中国人民银行给中国14亿老百姓每人发个1000万,对中国和世界各有什么影响? 
  如果所有人类都变成资本家,把机器人当作剥削对象,会发生什么? 
  如何看待 TI7 上与 Dendi solo 的 OpenAI? 
  用生成模型做数据增强data augmentation时,如何从合成数据中筛选出质量较好的样本? 
  欧洲有哪些统计机器学习比较强的大学或者研究院的?? 
  如何看待特斯拉新演示的完全自动驾驶系统(FSD beta),会不会像苹果一样一举确立行业统治地位? 
  装满的硬盘中是 1 多还 0 多? 
  人工智能会让未来的广告变成什么样子? 

前一个讨论
怎么知道那些企业(集团)经历过债务重组?
下一个讨论
一个交易者最基本的素养是素养是什么?





© 2025-05-29 - tinynew.org. All Rights Reserved.
© 2025-05-29 - tinynew.org. 保留所有权利