一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
假如我在高考数学试卷上解决了哥德巴赫猜想会发生什么？各位学哥学姐，我们这儿高考是全国二卷，有谁知道数学简答题用柯西不等式或者是洛必达法则会不会扣分？
你见过哪些让你叹为观止的物理和数学问题的证明或计算方法（包括简单粗暴的数量级估算）？
我在网上淘到一本1930年的数学论文，微分几何方面的，作者DAN SUN，不知哪位大神给证实一下？
如何评价 YouTube 频道 3Blue1Brown？
初三数学20几分怎么能达到100+?
扫雷这个游戏，雷怎么摆使场上数字之和最大？
第6题第(2)问怎么证明？
数学上一些现实的漏洞怎么解释？
y=x^x的原函数是多少，能求出来吗?
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
一粒谷子不算谷堆，再加一点也不算，以此类推加到一万粒也不算，该如何解决这样的谷堆悖论？为什么总有一些人推荐计算机学生把重点放在高数和线代？
sinx求导为什么是cosx？
同时满足两个不同等差数列的数是否组成等差数列？如何证明？等比数列呢？
怎么理解 Yang-Baxter 方程？
如何证明π是圆周率？
如何看待吴伊卓高考数学使用搜题软件作弊？
为什么四则运算规定 × / 的优先级比 + - 高？
为什么菲尔兹奖没有诺贝尔奖在公众的影响力大？
如何学好概率论？
群论研究结构，「结构」一词是什么意思？跟数学有什么关系？
最小二乘法的本质是什么？
「克莱因瓶」是什么，如何借助「克莱因瓶」来理解四维空间？
如何用数学证明活着就有希望？
如何评价动画《理科生坠入情网，故尝试证明》?
圆周率应该如何从更高的数学视角理解？
三位物理学家与陶哲轩发现的特征向量全新求解公式，会给机器学习领域带来怎样的变化？
这个题怎么解，22题第二问有一步看不懂，红色笔圈？
这个运动轨迹方程是什么？
Fick第二定律这个怎么解?
一些人为什么会去选数学专业？
如何证明对于任意大于 1 的正整数 n，(1＋√2＋√3＋…＋√n) 均为无理数？
如何证明这个由Abel定理得到的结论？
由 x²+x+1=0 得到 3=0 错在何处？
物理矢量在计算中怎么运算？（准高一学生有点笨勿喷）？
刑警男友会查到我什么信息？
冰雹猜想疑惑，是不是不能被3整除的数必能回到1？
空间中有多于一个的同种（比如都是正电荷）点电荷，如何说明此时一定有一点电场强度为0？
这道怎么求极限?
求使 y=sqrt(x+a)+sqrt(x+b) 成立的正整数对 (x,y) 的数量这一类的题如何解？