一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
极坐标表示 5000 到 50000 之间的素数为什么会形成一条螺旋线？如何理解马尔可夫链？
经济学中Ed=-(△Q/△P)/(P/Q)如何推导，麻烦有懂得大神给个解答，最好详细一点。？
现代理论物理的新成果中，有没有因为使用不严格的数学最后被证明因此导致错误结果的案例？
在一个现实中的数轴上可以找出无理数吗？
同时掷三枚硬币，落地后出现三阳、三阴、两阳一阴、两阴一阳的概率相同吗？
若 A={x, x∉A}，那么 A 是 ∅ 吗？
C语言指针难吗？如何看待数学大v认为指针比范畴论还难？
如何从数学角度证明魔方复原存在必可解策略？
泊松分布和正态分布有什么内在联系？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
对于大多数的初中生，学生们能（需要）理解接受的数学概念有多深（包括来历，几何性质等）？为什么数量级"皮可"很少使用？
请问为什么数学中不废除除号“÷”？
目前数学的符号体系有多混乱？
数学知识在三国杀里有多大的作用？
这里面有哪些思路算是民科思路？
学数学专业是一种什么体验？
i²＝-1几何意义是什么？
只有三维向量有向量积吗？
有哪些违背直觉的数学问题？
如何评价 2021 年 1 月 23 日八省联考数学试卷？
有哪些有趣、脑洞大开的学术论文？
如何理解华为任正非在《面对面》中提到的「能坐基础理论的冷板凳」？我们究竟应该如何发展基础研究？
你认为四大棋哪个与数学（理科）关联最大？
在游戏中暴击率90，十次攻击会暴击九次吗，如果80暴击率的对手反而十次全部暴击，暴击率的意义是什么？
同样是社会主义，为什么苏联能从20世纪后半叶至解体前培养出那么多数学大师，中国却不能？
既然10/3等于3.3333除不尽，那为什么一根10米的绳子却能分成三等份？
如何证明 π＞3.14？
柯洁与 AlphaGo 三场皆负，对围棋今后的发展会有哪些影响？
哪些数学命题曾经长期被误认为是正确的，但之后被严格证明是错的？
这张图片上的各位数学家分别是谁？
李代数为何要满足 Jacobi Identity？
平面几何中圆与直线的统一性如何体现？
为什么有些人连微积分都不会算，却能侃侃而谈「科学的尽头」呢？
有哪些直观的现象，最终被数学证明是错误的?
媒体报道「美司法部正式撤销对华裔教授陈刚指控」，还有哪些信息值得关注？
傅里叶变换等于自身的函数有哪些？
如何用初等函数证明 π 不是有理数？
10个人各自从1-10选数字，尽量让自己最大且不重复，如何选？
这张珍贵的照片是什么时候照的？分别都有谁？