一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
如何解决这个数学问题?如何证明集合[0, 1] × [0, 1]与集合[0, 1]等势(即存在双射）？
家人们，帮我看看这个极限?
俄罗斯数学物理那么发达有什么原因？
为什么文科生要学数学，高中数学有什么用？
数学中的概率是有漏洞的吗？我随机在R中取一个数，取到1的概率为0，但也是有可能取到的，这是怎么回事？
如何证明数学定理全宇宙通用？
世界上存在周长为整数，半径也是整数的圆吗？
a，b，c，d 是正实数，且 a²＋b²＋c²＋d²＋abcd＝5，怎么证明 a＋b＋c＋d≤4？
钱学森当年在中科大的考题之求解：从地球上发射一枚火箭，绕过太阳，再返回到地球上来，请列出方程、求出解？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
如何理解50个人中至少两个人生日相同的概率高达97%？圆周率 π 应该如何用极限或其它的微积分语言表示？是否可用极限或其它的微积分语言定义圆周率 π ？
你学的知识中有哪些和最初的直觉相差甚远？
怎么积∫[0, 1] ln(1＋x²)/(1＋x) dx？
你见过哪些让你叹为观止的物理和数学问题的证明或计算方法（包括简单粗暴的数量级估算）？
真正喜欢数学的人是什么样的？
如何在一晚内速成概率论与数理统计？
为什么没有开区间上的 R 正常定积分的定义；开区间勒贝格可积，再加什么特殊条件，可得到开区间黎曼可积？
数学应该如何自学？
“如果你是一张卷子，我希望我是那份标准答案”是什么意思？
一般来说，振听会使和了率降低多少？在听牌时对于良型振听和愚形不振的抉择有什么原则吗？
泰勒公式展开到任意阶，都不用管后面的高阶无穷小项么？
科学为何有那么多近似计算？这样是不是和科学的严谨性相违背？
民科是否很少攻击数学？
请各位大神来看一下，我写的这份实数连续性的新证明是否有错漏?
我家孩子现在上四年级了，数学特别好，但是语文学习就还没入门，我得怎么办呢？
如何构造一个初值，使得这个数列是发散的?
如何看待喜欢玩数独却连微积分都不会的人？
如果我们到了四维空间，会看到怎样的世界？
为什么博弈中信息状况的改善不总是件好事？
整数和偶数真的是「一样多」的吗？（我知道康托尔那套，但这个表述真的正确吗？）？
陈景润是如何证明「1＋2」的？
假设我扔一枚硬币，60次有55次正面朝上，我有多大把握认为这枚硬币正面和反面出现概率不相同？
为什么民科对数论情有独钟？
这个实变函数题怎么分析）？
nπ-［nπ］是否存在收敛于0的子列？
怎么评价北大版的《高等代数》？
你是否支持将1电分定义为现在的1小时的1/64，将1电秒定义为新定义的1电分的1/64？为什么？
有“数学公式”编程吗？如维基百科粘贴一个LaTeX公式，赋初值后，就能计算出结果？
你对贝叶斯统计都有怎样的理解？