一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
你知道哪些反常识的知识？这个9题不等式右边怎么证明呢？
Minecraft 中只用一格水源，最多能灌溉多少耕地?
考虑一个半径为 1 的圆，若「随机」选择圆上的弦，求弦长的概率分布？
如果《云顶之弈》开局 50 块钱，但只有 1 滴血，能保证吃鸡吗？
现代数学是不是比大学数学中优雅的结论少了很多？
所有整数都能用20个以内的汉字表达出来吗？
如何理解雅克比矩阵？
数学领域有哪些经典的笑话？
一个数从1开始，每次各有50%的概率乘0.9或者乘1.1，重复足够多的次数以后，情况会如何？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
这个数列极限的定义反过来为什么就不行?(lnx)'＝1/x，为什么 (ln3)'≠1/3？
数学中有哪些漂亮的无字证明？
素数或质数为什么叫素数或质数，与词语「素质」有关系吗？
怎么样才能学德好数学？
如何推导以下几种连分数表示？
既然彩票号码中奖概率是一样的，为什么很少有人买「1234……」这组？
如何证明以下式子？
如何评价2021年第三届阿里巴巴全球数学竞赛？
100人坐飞机，第一个乘客在座位中随便选一个坐下，第100人正确坐到自己坐位的概率是？
一个袋子里有n个球，都是红球。现在拿一个球出来，放一个蓝的进去，重复n次过后红球占比？
你认为你所在学科最杰出的思想是什么？
万有引力定律中，为什么由 F∝m、F∝M 可以推出 F∝Mm？如何用数学方法证明？
请问这道数竞题怎么做？请大神不吝赐教？
二次函数无实根的概率是多少？
为何乘法比加法具有运算优先权？或者说加减乘除的本质是什么？
为什么多项数学杯赛被叫停？
如何看待沃顿毕业的川普兄妹不会做最简单的数学题？
如何解决这类数学题?
矩阵A和矩阵B相乘，AxB为什么不等于BxA？
可导，可微，可积，连续的关系是什么？然后，它们各自的充要条件是什么？
三分之一等于零点三三循环，而三分之一乘3等于一，用零点三三循环乘三却等于零点九九循环？
专业的数学爱好者喜欢的是数学的什么（请看问题描述）？
如何看待中科大 26 岁教授陈杲攻克数学复微分几何领域世界难题？
请问如何求这两个数列的通项公式？
这句话对吗：平面直角坐标系中，在给定一个闭区间内存在一条可以被画出的曲线，此曲线定可以用某个函数表示？
如何用数学证明神的存在与否？
大家知道的最长（复杂）的公式是什么？
方程 x³+y³+z³=33 是否存在整数解？
是否存在有源有旋场，不是说有旋必定无源？