一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
非常神奇的数学结论有哪些？想读数学系，南开大学、同济大学和南京大学哪所比较好？
为何诺贝尔奖得主大多白发苍苍，但规定得主年龄必须在四十岁以下的菲尔兹奖是数学界的最高荣誉之一？
如何证明半径为 a 的圆内的一条闭曲线必有一点点曲率大于 1/a？
请问下面这道题怎么解决？
如何构造一个数学例子来证明零知识证明可行？
为什么高中不直接开设高等数学、线性代数、概率统计这几门课呢？
有哪些数学定理或者数学知识惊呆了你？
如何激怒一位数学爱好者？
有没有可以判断 “B是否属于A的子序列” 的单向加密算法？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
小学一年级数学，孩子这样列算式为什么就错了呢？直角坐标与极坐标的互化中，为什么 dxdy=rdrdθ？
考研复习这个进度，下面该怎样进行？
想问问数学大神们几个问题，学习数学的兴趣来源是什么？数学在生活中的具体应用？
如何看待一山东14岁高中生高考数学149分、总分699分，考入中科大少年班？与前几天火的某位相比如何？
怎么看待数学界天才崇拜这种文化？
拓扑学（点集拓扑和代数拓扑基础）和范畴论有什么双语教材？
教育部将研究珠算文化进小学，珠算有无必要恢复？该怎样进行传承？
计算机编程算是否是理科中比较偏文的科目？
随机变量服从正态分布，同时这个正态分布的均值也服从正态分布。这是什么分布？
这个极限咋算？
一般密码10个数字和26个字母组合如果我或有关重要部门造了50新字母，黑客键盘上没有这些字母如何破解？
高斯到底有多厉害？
有没有哪些数学猜想是验证到很大的数以后才发现是错的？
这个函数的不定积分是初等函数吗？
为什么对球的体积公式求导就是球的面积公式?
怎么看待「学数学没啥用，买菜难道还用得上微积分」的理论？
天赋一般是不是不适合学数学？
每个长度无限的字符串里面一定有某个连续重复3次的字符串吗？
为什么都说「学好数理化」，而不是「学好数理化生」？
数学论文的作者会意识到自己发表的结果实际上已经有人做出来过吗？
日本麻雀中，六巡和七巡后向听数的期望分别是多少？
如何评价穿越古代以数分为实数、虚数为开头写一本数学书？
数学 PhD 有很多内容要学习吗？
如何证明多项式 f(x)＝1＋x＋x²/2!＋x³/3!＋…＋x^n/n! 只有一个实数根？
高中数学教的知识是不是太少了？过于注重奇技淫巧？
一道初三数学几何题。目前用arctan和tan的无脑计算可以求出来，请问还有其他方法吗？向量？或其它？
为什么n为素数时，n能整除2^n - 2，怎么证明?
俄罗斯的数学教育为什么那么强大？
正在读数学 Ph.D. 的你对想读数学 Ph.D. 的本科生有什么建议吗？