一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
著名数学家、数学教育家齐民友先生逝世，他给你留下哪些印象、有什么样的影响，如何评价他的一生？高次韦达定理是什么？如何证明？
如何证明非零自然数的平方的倒数和为π^2/6?
数学中，f'(x) 和 (f(x))' 到底有什么区别？
数学类研究的科研经费用在哪里？
数学建模入门请问要学习什么?
如何求出图中数列的通项公式？
设σ(n)是n的所有正因数之和，如何证明存在无数个正整数n使得σ(n)是完全平方数?
给定正整数 n，将 1 拆分为 n 个互不相同的单位分数之和，不计次序，有几种拆法？
无法理解高等数学怎么办？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
「科普」数学的目的是什么？在科学研究里有没有需要对一个奇怪的数列求和的例子？
各位学霸，为什么这个直接就等于e的a次方了？
三角函数的起源是什么？为什么要引入三角函数？
一天做完一百道积分题是一种什么感觉？
数学各领域的巨著或者非常深入的教材是什么？
一个整数可以拆成两个整数的平方和，5201314可以拆成哪两个数的平方和？
这个求最值的问题有啥妙解嘛？
一下几道数学题该如何思考如何计算？
喜欢数学，但是脑子不好使，怎么办？
对人类推动最大的学科是物理还是数学？
大一数分高代需要努力才能学好是不是意味着天赋不够？
如何看待数学吧出现自称是肖战粉的人发布肖战相关内容？
抽象代数，如果G是一个奇数阶群，则G中的任何元都是一个唯一确定的元的平方，怎么证明，尤其是唯一性证明？
数学上存在0.000……01这种数吗？
之前的数学家与科学家们潜心研究类似虚数、量子力学等「之前没有任何实用价值」的东西意义何在？
为什么不科学的东西，也能够解决问题？
以数学史的观点来看，集合论是如何成为数学基础的？
泰勒公式展开到任意阶，都不用管后面的高阶无穷小项么？
如何直观地理解阿贝尔变换恒等式？
请问如何把所有自然数均分成三类？
每个长度无限的字符串里面一定有某个连续重复3次的字符串吗？
如何看待中科大 26 岁教授陈杲攻克数学复微分几何领域世界难题？
在一个边长一米的立方体容器内装满圆球，使用直径多少的相同圆球能使装入的圆球总体积达到最大值？
关于波达规则 孔多塞悖论和阿罗不可能定理?
为什么规定 0 的阶乘为 1？
Diffie-Hellman密码交换是如何运作的？
这道题如何用柯西审敛准则证明收敛?
这道复变函数的证明题怎么做？
如何证明方程 x³＋y³＝2020 没有整数解？