一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
如何记住所有的三角函数公式？对任意无理数，都存在有理数列趋近于这个无理数，为什么，怎么找这个有理数列？
如何判断社科研究中的数学公式是否具有合法性？
物理专业学生应该具备哪些数学素养？
有理数旁边是无理数还是有理数，无理数旁边是有理数还是无理数？
有什么好看的数学书推荐么？
你有没有什么天赋逐渐丧失的经历？
请问《数字情种》是否可能翻拍成电影？
三位物理学家与陶哲轩发现的特征向量全新求解公式，会给机器学习领域带来怎样的变化？
大家知道的最长（复杂）的公式是什么？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
实数域上的连续函数f，存在一个有理数a和一个无理数b使得a与b均为f的周期。如何证明f为常值函数？怎么做这道不等式的证明题？
矩形的面积等于长乘以宽，为什么？
存不存在一种数制，在这个数制下没有质数？
怎样算原神up池到第x抽才出up角色的概率（1≤x≤180）？
如何理解哈密顿-凯莱定理？
如果1+1=3，这个世界会怎么样？
如何证明呢？
看到正方形能想到什么？
1²+2²+…+n²求和公式的推导有哪些方法?
(xⁿ - 1)/(x - 1) = y² 这个不定方程蕴含了哪些知识？
如何评价菲尔兹奖得主 Vladimir Voevodsky？
有什么学习数学的好网站？
为什么感觉群论学起来比数学分析之类难好多？
除了 1 和 144，还有哪个斐波那契数是平方数?
如何学习几何学（现代微分几何，包括微分流形，黎曼几何等）？
什么是反函数？
数学和英语是不是高中最难的科目？
用分离变量法来解 PDE 的合理性何在？
如何判断级数lnn/n^2(从1到无穷)收敛或发散？
为什么时间序列分析在ar(p)模型之外，还需要ma(q)模型和arma模型？
在数学中，为什么我们要视悖论为洪水猛兽？这难道不是在歧视悖论吗？
为什么有理数 1/49 看起来这么像是个无限不循环小数？循环节在哪里？
高中数学有没有可能在往后的人生中几乎用不到，如果有，那我们学习的意义是什么？
有哪些数学竞赛生才听得懂的笑话?
如何形象地理解矩阵的相似与合同？
如何证明对任意给定的正数e，存在M上的矩阵范数||A||，满足不等式||A||<=谱半径+e?
有数学问题在哪里请教？
请问大佬这个定积分怎么做？
如何评价 EPFL 数学博士后 Anna Kiesenhofer 夺得东京奥运会女子公路自行车金牌？