香农是如何想到信息论的？ 第1页

尽管现代的编码和协议设计都有参考信息论，但有证据表明在信息论出现之前就已经存在很多编码和协议的设计。

老实讲你只要天天涉及编码和协议的问题浸淫久了自然就会有信息论的一些思想，不管你知不知道信息论是什么……

比如说摩尔斯死掉的时候香农还没出生，但是摩尔斯电码也神奇的把最短的编码留给了最常用的字母，莫非是香农托梦传授信息论？

香农的牛逼之处还是在于形式化描述和开创性工作……这也是普通人和数学家的区别。

现在很多科普为了造神经常把群众给形容成白痴一样，希望你能获得自己的判断力……

恰恰相反，你一定要相信没有什么东西会是无源之水，科学史上的段子总喜欢把一些科学家神化了。像通信这种工程技术理论，没有经过大量科学实验验证是没有意义的，因为它们最终要反过来指导工程实践。

值得注意的是，很多科学家的研究和思考方式，最开始的时候往往是从一些很具体的特例进行出发，一步步推演，从形象到抽象，然后再推广到普遍的情况。最后发表成果的时候，科学家们为了简洁起见，很多都会把那些天马行空的思考过程阉割掉，因为这些思考过程往往不严谨，最后只留了一个抽象的结果出来，后来人一看，我艹，真乃神人也，捧上神坛。殊不知科学家也是经过一级级台阶攀爬上来的。就像那些段子手写的那样，上帝看牛顿成天坐在苹果树下不开窍，就砸了一个苹果下来，把他砸开窍了，后来牛顿写他的著作的时候，当然不好意思把上帝用苹果把他砸开窍的事情写进去啦，为了让后世人敬仰他崇拜他，一起手就来个三大定律，看得后人一愣一愣的。。。。

我们回溯一下，其实早在19世纪就有了电报这玩意，还有了莫尔斯电码这种最早的数字化编码方式，也就是很早之前，人们已经开始了基于无线电的现代通信的实践进程，已经懂得了如何调制物理载体，懂得了编码和解码。而又过了几十年，贝尔发明了电话，创建了AT&T的前身，而贝尔实验室就以他的名字为命名。而整整过了一个世纪以后，直到20世纪香农才发表了他的那篇著名的数学论文，所以你看他的论文的题目名字叫《通信的数学理论》，注意看论文题目的前缀---“通信的”，这说明了什么，说明了在这一个世纪里面已经有了很多关于通信的科学实践作为素材，已经有了通信的一系列关于编码解码的实践，这些并不是从香农才开始，香农本身是基于这些通信上的生产实践做了一个理论上的升华，给大家的实践指出了一个明确的方向。

最早的时候，香农写了个号称最牛的硕士论文《继电器与开关电路的符号分析》，这个论文主要做的是什么呢，很简单，为信息寻找物理载体，把布尔代数（它们那个时候最开始理解的数字化信息）和继电器与开关电路的状态（物理载体）关联起来，这里最早已经萌芽了从物理载体抽象信息的思路。而毕业进入贝尔实验室之后，很显而易见的，香农还在继续沿着这条道路继续前进，继续深入提炼关于信息理论的内容。同时同时代的其它科学家们也没闲着，香农还在研究砖头怎么制作，而图灵已经在研究如何搬砖了，不懂他们一起吃饭的时候有没有好好沟通他们的一些思路。

香农当时在世界上最牛的实验室贝尔实验室，还是二战前后信息技术大发展的时候，你以为香农成天在贝尔实验室干嘛呢，肯定是做科学实验啊，那里有当时世界上最先进的仪器和其它科学家的研究资料，有大量的实验数据和研究素材作为建模依据，根据实验数据拟合曲线，然后再看图说话，像神棍一样忽悠一通，只要有点水平的都会输出一些相关的成果。你琢磨久了，所谓的数学直觉就出来了。

回到题主提的将概率与信息量结合，其实我对香农这种玩法是不以为然的，论文里面抛掉具体来源谈数学抽象就是耍流氓的行为，绕晕了很多后世的初学者，你没有具体的内容，那要抽象有何意义。抽象的内容香农已经写了，所以我们就谈谈具体的事例。我们可以找一个具体的特例角度来理解，比如从组合的角度来理解香农为什么要这么定义信息量和信息熵。

首先，把概率理解成组合数的倒数，这就是高中的排列组合和概率的知识了，比如我现在有4种等可能的组合，那每个组合出现的概率就是1/4，组合数和概率互为倒数。 （高中数学的经典的黑箱子摸球问题，箱子里面有几种不同颜色的球来给你摸，摸出来某种颜色的球的概率怎么求，是不是经常要求组合数呀），这里出现了 概率和组合数互为倒数，所以信息量的定义里面为什么会出现概率的倒数（就是定义里面的那个负号，负号放到对数里面就是概率的倒数了），就在这里了。

其次考虑如何去编码这四种可能的组合，四种组合就需要用2个二进制符号进行编码才能表示这四个等可能的组合，通过求对数就可以得出来了。所以这个过程告诉我们，概率的倒数就得出组合数，然后再对组合数求对数就得出了所需要的编码长度，这就是信息量的定义；

再次，很多信息组合不是等概率出现的，那香农的信息熵的这个定义告诉的是我们出现概率越高的信息，如果用长度越短的编码序列来表示，最后得出的平均编码长度应该是概率上最短的。

最后，怎么求平均的长度呢，就是求数学期望啊，这样就最终得出了一个统计平均结果。所以从组合的角度来看，信息熵告诉你的是概率上的统计平均的最短编码长度。

后世人还基于熵这个名字做了大量的发散，扯到了物理学，扯到了生物学。。。。别扯了，讲人话好不好，我代表那些被你们绕晕的从入门到放弃的初学者鄙视你们，连通信都没学好，还去星辰大海去了。。。。

所以很多事情都是有迹可循的，并不是天上掉了个香农下来，而是时代成就了香农，即使没有香农，也会有若干个博士生研究生把信息论的全貌东拼西凑凑出来的。

很可惜的是论文篇幅有限，香农没有把他的完整实验过程和思考过程写进去，让后人误以为是无源之水。勿在浮沙筑高台