一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
最大似然估计法是如何实现的？一个数学专业学生的困惑，我该怎么发展？
实数完备性的基本定理为什么是 6 个？
为什么你会喜欢数学？
是否存在整数 x＞1，使 sqrt(x!) 为整数?
奴隶主在场时克苏恩打死对方的概率如何计算？
这个用什么方法呢？
为什么说高斯公式是斯托克斯公式的特例？
你见过的最丑的函数曲线图形是什么？
数学史上有哪些看似成立的算式形式猜想，最终被某个大数证明不成立？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
如何证明一个数 n 的因子之和是 O(n) 的？矢量的点乘为什么可以求导？
请问以下两个概率问题的答案是否一样？
优秀的程序员需要懂那些数学知识？
如何通俗地解释什么是离散傅里叶变换？
一个多项式在满足什么条件时可以因式分解？能否给出证明（证法随意）?
世界是个方程吗？
一个点到两个定点的距离乘积为定值，这个点的轨迹是什么？
网上常能见到的一段 JS 随机数生成算法如下，为什么用 9301, 49297, 233280 这三个数字做基数？
拥有一个对数学敏感的孩子该如何培养？
从零开始学数学，有谁知道从何处入手，谢谢？
为什么有的无理数可以用有理数表示？
如何看待有的物理学家说物理学就是几何学，以及物理学需要新的几何学注入活力？
为什么到了 2019 年 iPhone、iPad 还是对垃圾信息束手无策？
高斯到底有多厉害？
一个袋子里有n个球，都是红球。现在拿一个球出来，放一个蓝的进去，重复n次过后红球占比？
所有数学表达式都有几何含义吗？
学习数学，意义何在？
个人觉得抛硬币并不是真正的随机事件，和抛硬币时候的各种状态参量有关系，那么到底什么是真正的随机？
我自认为自己证明了0可以作为除数，若是如此将会有哪些改变？
伽马函数中，Γ(1/2)=√π 怎么来的？
上初三的女儿对我说，觉得学数学、化学、物理什么的都没有意义，我该怎么回答她？
哪个瞬间让你觉得学数学真有用？
数学 PhD 有很多内容要学习吗？
忽然不想做数学了，觉着自己智商很低。？
如果 n 个向量线性无关，则其中 n-1 个向量线性相关吗？
如何评价2021年第62届IMO试题？
为什么方程 x³－1＝0 的解不是 x＝1，且 x 是 3 重根？
这个代数题怎么解？
正项级数∑xn收敛，数列xn单调减少，如何证明limnXn＝0？