一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
为什么人类选择了十进制？剩余类环的所有理想怎么求？
3Blue1Brown 的视频是怎么制作的？
为什么学数学，无论是初中、高中，还是大学，总有种“这我怎么可能想到”的感觉？
如何只通过计算证明“两点之间，线段最短”？
概率（Probability）的本质是什么？
从自然数 1 ~ n 中随机取 m（1≤m≤n）个，其中最大数的数学期望是多少？
三阶魔方公式的最大周期是多少？对应的公式是什么？
大一高数完全听不懂怎么办?
自然常数 e 从小数点后第二位开始的两个 1828 是巧合吗？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
π 的数字排列中能否找到 e 的数字排列？能用高等数学手段研究人文社科问题吗？
(lnx)'＝1/x，为什么 (ln3)'≠1/3？
为什么 sin(x²)+sin(y²)=1 的图像这么复杂？
怎么用选择公理证明势的三歧性？
如何看待清华大学数学新领军计划和丘班综合测试？
「只有」和「有且只有」的区别是什么？
若零向量没有方向，那它还是向量吗？
你在生活中用过最高端的数学知识是什么？
随手画线段，其长度最有可能是有理数还是无理数？
如何求圆周上随机 n 点构成的 n 边凸包的平均面积？
曲线围成的面积存在但是真的可求吗？还是说看作一种定义？
数学是人为创造还是自然的规律？
学习数学专业，人会不会变得很无趣？
怎么证明圆锥曲线的光学特性？
对于社交平台发布的信息，你会不会轻易下评论？
人是如何做黑盒优化的？
数学上激波和稀疏波的区别是什么？
人是如何做黑盒优化的？
极小多项式有什么几何含义，怎么形象的理解这个概念？
类似于勒让德函数和贝塞尔函数的函数还有哪些？
目前统计学在国内外的发展现状是怎样的？都有哪些分支？今后的研究方向大致是向哪里走？
为什么世界上最顶尖的科学家很多是单身汉？
如何看待西南某一211高校的数学系前20名中16人选了应用数学4人选了统计学，现在数学这么香吗？
如何证明 1+1/4+1/9+1/16+1/25+…=π²/6？
中文互联网的产出在渐渐枯萎吗？
怎么用实数系的公理证明0与任何数相乘都等于零（求大佬指教）？
7 x 8 + 14 x 18 + 42 × 13 的简便运算方法？
黑箱里有n个小球，编号为1, 2, ..., n，随机抽一个球的号码是10，能获得什么关于n的信息？
地球的圆是什么程度的圆？