一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
为什么学数学，无论是初中、高中，还是大学，总有种“这我怎么可能想到”的感觉？已知若干个独立同分布的随机变量之积的分布，如何求单个随机变量的分布？
如何理解庞加莱对偶（Poincare Duality）?
为什么不科学的东西，也能够解决问题？
阿贝尔变换强大在哪里？
有哪些「这也能用数学证明」的事件？
4位数字0到9顺序组合，如何在7次内猜出该数字？
关于数学扎心的句子有哪些？
如何看待哔哩哔哩拜年祭中出现的莫比乌斯环，和相关的物理问题？
研究软件工程需要哪些数学方面的知识？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
葛军的高考数学卷子到底难在哪里？数学为什么需要证明一些看起来非常直观、明显的东西（比如定理）？
这道题怎么做?不懂？
勒让德多项式的意义？
数学天才比常人强在哪里？
学数学是什么感觉？
本人高中生疑似发现质数个数分布规律，下一步应该怎么做?
设A是一个3阶行列式，aij=1或-1，1≤i，j≤3，如何证明det（A）≤4？
如何看待 Atiyah 对六维球面 S^6 上没有复结构的证明？
怎么用特征根法和不动点法求数列的通项公式？
wav2vec中的30ms是怎么得来的?
什么是累积投票制度？
如果费曼或者牛顿再世，能够在规定时间内解决高考数学或者物理的压轴题吗？
有哪些时候你会觉得数学很有用？
代数学莫宗坚的这道题怎么做?
人工智能最终会代替数学家或理论物理学家吗？
目前数学的符号体系有多混乱？
学数学专业是一种什么体验？
数学能取代人类语言吗？
数轴上的点为什么是连续的？
对于目前信息大爆炸时代，你获取知识或是要提升自己，是选择互联网还是纸质图书？
这个恒等式咋来的？
如何计算 √5 的近似值？
985工科毕业生想跨考基础数学，是理性伟大还是自负骄傲（中二病）？
这几个不等式如何证明?
莱布尼兹发明的微积分符号比牛顿的好在啥地方？
有哪些必赢的赌局？
怎么在不公布证明的情况下让世人相信我证明了「哥猜」?
有哪些手算对数的方法？
“太阳从西边或东边出来”是必然事件，随机事件还是不可能事件？