一段文字的包含的信息量能不能衡量？ 第1页
1
jianchichen 网友的相关建议:
信息量的严格数学定义就是 log(1/p)，其中p是该文本在所有可能出现的文本中的概率，简单的说就是文本越罕见，信息量就越大。打个比方说，“我爷爷活了九十三”，和“我昨天吃了一泡屎”比起来，虽然字数相同，但是后者的信息量无疑大很多。
你可以把信息量简单想象为在你知道全空间真实分布的情况下，对某个样本进行霍夫曼编码压缩后所需的比特数（此处的霍夫曼编码未必是逐字节的）。当然，我们是不可能知道所有文本的概率分布的，所以要靠段落、句子、短语、词的分布来近似。(log(1/(p1*p2))=log(1/p1)+log(1/p2))
比如虽然大多数人的名字是三个字，可是有个人的名字，却可以压缩成"他"，信息量就比较小。
1
相关话题
请问这样证明角谷猜想有什么错误吗？高考是否应该降低数学分数比重，降低数学分值?
数学中有哪些让你感到赏心悦目或是震惊的构造手法？
洛必达法则为何成为禁术？
数学最高奖得主拉福格将加入华为团队，这对华为意味着什么？
如何理解「数学中可行的在物理学中并不一定可行，反之亦然」？
如何评价 Michael Francis Atiyah？
每秒 30 米有多快呢？
Γ(x+1)在x=0处如何泰勒展开？
香农的信息论之美在于什么？
前一个讨论
一种菜的学名？
下一个讨论
为什么有些人觉得死宅恶心？
相关的话题
如何证明 e^π＞23？怎么形象地理解对偶空间（Dual Vector Space）？
求问数学公式推导？
如何才能在高考前证明哥德巴赫猜想？
不查表，如何求 sin36 度？
高代，中间这一步是怎么来的呀?
你见过哪些构思巧妙，令你眼界大开的数学问题？
从上海沿G318国道一路向西到西藏，用什么速度行驶可以做到“出发时天刚开始暗下来，到达时天正好全黑”？
为什么做数学题不要轻易看答案？
数学中最完美的数是什么，还会有此类数出现吗？
平面上两条 n 次曲线相交，交点的最大个数是否为 n²？
这个级数和怎么证明？
代数学莫宗坚的这道题怎么做?
不定积分做不好怎么改善？
为什么任何阶数等于其定义空间维数的全反对称张量在该空间中坐标系转动下不变？
是否存在一不等于0的完全平方数，使得它成为连续质数个整数之积？
原命题与逆否命题真假性一定相同吗？
物理系的学生数学学到什么地步合适？
中国科学技术大学的数理课给你带来了什么？
海上两艘孤船仅凭信号灯能否逐渐建立沟通？
如何理解微分几何中的切空间？
物理系或数学系前辈们，大家都来说一下自己本科时的学习经历吧?
数学大牛是怎么看待悖论和无穷的？
你见过哪些美妙的函数图像？
数列1，2，9，44，265有名字吗？
为什么实系数多项式方程的虚数解总是成对出现？
如何评价 2021 年 1 月 23 日八省联考数学试卷？
科学领域都有哪些著名的独行侠？
既然概率为1的事件不一定是必然事件，那么必然事件的数学定义是什么？
六度分隔理论可以用什么数学模型证明？