一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
为什么高中不直接开设高等数学、线性代数、概率统计这几门课呢？北大数学系田刚的学问到底怎么样？
如何看待清华大学数学新领军计划和丘班综合测试？
十几岁的小孩，计算能力特别弱，但是逻辑推理能力超强，梦想是成为数学家，有可能么？
信息熵是什么？
两个人如何通过电话「扔硬币」？
网传清华大学电子系2020春 《概率论与随机过程1》 几乎高达30%的挂科情况，反映出什么现象？
我是学数学的，每次看物理书总有种不严谨的感觉怎么办？
如何证明不等式 ln2>(2/5)^(2/5)?
如何评价2021年丘赛分析试题？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
工作、学习累了做道数学题放松一下的大神究竟是怎样一种体验，为何我做题都累死了？该函数的最小值是多少?应该怎么解？思路是什么？
为什么会有数学家反对对无穷集合使用排中律？
[题]两个数的最小公倍数是36，最大公因数是6，这两个数可能是多少？
祖冲之的圆周率的出处在哪里？
康托尔著名的对角线证明？
有100个砝码，其中只有一个比其它的重1克。现给你一个天秤，请问怎样快速找到那个重一克的砝码？
如何优雅地测量一只猫的体积，而不使其感到惊恐或受到伤害？
印刷体的数学符号在手写的时候有哪些规范？
天赋不够的人可以做数学科研吗？
如何证明一个无理数的整数倍数的小数部分在（0，1）上均匀分布？
不想学数学怎么办？
为什么两个数的公约数都是他们最大公约数的约数?
在你读过的论文中，最离谱的错误有哪些？
在泛函和偏微等学科中，为什么要引进「弱」的概念？
哪些数学命题曾经长期被误认为是正确的，但之后被严格证明是错的？
怎样用非数学语言讲解贝叶斯定理（Bayes's theorem）？
对 n × n 网格图，从左下角走到右上角的边不重复路径（即左下角到右上角的迹）有多少种？
无理数为什么能用图形表示出来？
现在还能通过自学成为数学家吗？
如何看待科学网发布文章称「我国数学家证明 NP=P」，是真的吗？如果是，会带来怎样的影响?
最小二乘法的本质是什么？
你的生活有没有因为你对数学的热爱，或者坚持有什么影响和改变？
求好一点的近世代数的教材。？
我今年 14 岁，想了一个数学思路，把数学各领域的联系写出来了，这个思路有什么问题吗？
甲有101个硬币，乙有100个硬币，两人随机撒在地面上，甲比乙正面朝上多的概率是多少？
无穷级数 ∑ n=1 ∞ ∫ 0 π sin^n x dx 是否收敛？
如何评价数学家、现代概率论的创始人柯尔莫哥洛夫？
人类对自然科学的探索是否会因其自身的复杂而走向停滞？
正整数真的和自然数一样多么？