一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
有什么数学名词可以作为人名吗？前N个整数的最小公倍数有没有近似公式？
为什么俄罗斯的文学、数学、音乐都那么强，诞生了好多大牛？
一段文字的包含的信息量能不能衡量？
如何解决这个数学问题?
这张珍贵的照片是什么时候照的？分别都有谁？
十赌九输这句话有根据吗?
为什么数学专业要学计算机？
为什么井盖不做成莱洛三角形？
Minecraft 中只用一格水源，最多能灌溉多少耕地?
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
高三生只对数学感兴趣，其他科都不喜欢，未来该怎么做？当年有哪些让你拍案叫绝的高中数学题？
是否存在某些问题不能用有限步骤解决？
100人坐飞机，第一个乘客在座位中随便选一个坐下，第100人正确坐到自己坐位的概率是？
这个级数是怎么得到的？
为什么有很多学者认为以往至今的数学理念、数学方法、数学语言不足以描述复杂系统？
俄罗斯数学近况如何？
为什么网上那么多想让数学和英语退出高考的人？
如何看待一山东14岁高中生高考数学149分、总分699分，考入中科大少年班？与前几天火的某位相比如何？
希尔伯特空间、内积空间的定义有什么关系和区别？
你知道哪些让你怀疑智商的数学题？
复数范围内，一个数的整数次方是不是永远只有一个值？以及如何证明一个数的无理数次方对应无穷个值？
是否存在整数 x＞1，使 sqrt(x!) 为整数?
(a+b)!/(a!b!) 的结果一定是整数吗？如果是，如何证明？
自然数0 的现实意义是什么？
排队枪毙时代，为什么要求不能自由射击而要集体放枪？从概率的角度来讲，效果应该是一样的吧？
如果放开一个质量为负数的物质会出现什么？
十赌九输这句话有根据吗?
有哪些学科交叉的知识，却在两个学科中有不同的解释或相关问题有不同的答案？你又是怎么处理的？
为什么在应用上高斯消元法很少被用来求逆矩阵?
这个猜实数的游戏有没有必胜策略?
曲线 cosx + cosy = cos(x + y) 有什么性质？
曲线围成的面积存在但是真的可求吗？还是说看作一种定义？
抽象代数，如果G是一个奇数阶群，则G中的任何元都是一个唯一确定的元的平方，怎么证明，尤其是唯一性证明？
信息熵极低的文字会是什么样子？信息熵极高的文字又是什么样子？
正三棱锥内切球的四个切点（两类）分别在三角形的什么位置？
请问这个参数方程是怎么写出来的？
菲尔茨奖得主都是如何在 22、23 岁就拿到博士学位的？
“不能被定义”是一种定义吗？
矩形的面积等于长乘以宽，为什么？