为什么有些学数学的看不惯甚至鄙视 Deep Learning？ 第1页

以相对熟悉的 CV 领域来谈谈自己的看法。

不可否认，DL 的许多模型在一些工业界任务上取得了非常非常棒的效果，我用过的比如 Google 的 FaceNet 做人脸特征 Embedding 进而做人脸识别，YOLO 做安全帽检测，还有 CMU 的 OpenPose 做人体骨架提取。这些案例都超越了大量的传统方法，并且很好集成到实际落地的工业项目中来进行二次开发。

但回到学术界，成吨的 DL 相关论文每天都在“提出新的结构”，“站上新的 SOTA”。不知道为什么，加深一下、连接一下、乘一乘权重，然后再用一堆写的花里胡哨但实际上很简单的公式试图来解释这样修改的合理性。文末花大量的篇幅讲实验，一看只是涨了微小的零点零几个点。我每次都在怀疑，这些论文真的有研究、有意义吗？

大量的论文不公布源代码和实现细节，不公布文中效果特别棒的预训练模型。对于代码开源的，很多时候，读了一遍代码会发现和论文里根本是两码事。另外，某些学者的代码，软件工程质量真的堪忧——格式稀烂的 README、拼写错误的英语、乱七八糟的工具函数、用途不明的配置项、从未回复的 Issue。你敢想象，在一个 GitHub 300+ star 的论文配套 repo 里，作者在里面写 LeetCode？

之前在腾讯实习的时候，一天吃晚饭时，听到别的组做算法的同事吐槽，“现在天天模型那么多，真拿上来部署的不还都是 ResNet？”是啊，那些论文上漂漂亮亮的模型，有几个能考虑到工业落地的需求呢？

现在，DL 向一些更专业的领域去侵入了。他们对着医学图像，甭管它是 DR、CT 还是 MRI，甭管拍的是什么部位，拿到一份数据，就开始 augmentation，去模拟，去注噪，然后开始拟合，就去噪了，就跑出 PSNR，跑出 SSIM，或者请几个“专家”来人工主观打分。最后，一篇 SCI 就横空出世了。

可是那数据集是那么的干净，那噪声注入是多么的天真。加个高斯噪声就叫做模拟？能生成个泊松噪声的就已经属于进步了！

他们不知道，换一台设备，或者调整一下电压电流（剂量），成像的效果就是截然不同的，是你的数据集里没有的。他们不去用 16bit 深的 raw 图像，而拿着一张一张的 JPEG 或者 PNG。他们不考虑准直器、康普顿散射、探测器的坏点、本底噪声、热噪声、射束硬化这些噪声来源的不同特性——有的会随某些参数变化，有的在任何条件下都保持相对稳定。没有物理，没有数学建模支持，一股脑的拿一个万金油瓶往上面套，这样有人敢用吗？在另一个数据集上，你的效果会比一个高斯低通滤波器好多少吗？

我不排斥一些大组、大公司做出的能应用到工业界的 DL 的成果，它们中有许多确实已经在改变我们的生活了。但是现实的很多问题不是这么简单去做一个 fitting，做一个 loss descent 就能够解决的。至少要保持对数学、对物理、对工程，还有对领域特定知识的敬畏。

天下难事，必作于易。

首先，跨行比较是不客观的：深度学习在各方面都受约束的条件下，做出被客观检验的成果，难度不见得比数学界低。数学界很多情况是在一个各种assumption都自己设定的真空环境下开展的，即便理论有突破，圈外人也很难检验。

其实深度学习一点也不容易，觉得简单是因为深度学习社区开放度太高，分工太好：所有前人的技术都能作为自己的infrastructure。

所谓难的问题/技术，本质上是把一系列逻辑推理和知识反复叠加包装形成的关联信息块。

数学中证明一个问题或提出一种方法往往接近于从零开始去做一件事，你甚至不知道可能会用到什么样的知识。

如果让一个工程师(甚至一个公司)从零开始构建一个高效的深度学习的解决方案，难度是非常大的，至少需要做：

1. 改进编译器，手写各种必要的算子 (比如Convolution中的卷积算法，Transformer中算self-attention算法)。得益于caffe，TensorFlow，pytorch是全面开源免费的，这些都不用做了。
2. 假如最开始AlexNet和残差网络像封闭圈子一样都没有开源，恐怕复现出来都很困难。
3. 自己收集数据集，准确归类并做标签，去构建ImageNet等数据集从而能有效验证自己的loss function和网络模型。
4. 自己做大量实验去发现dropout，batch normalization，学习率动态调整，label smoothing等各种trick，其实还是非常困难的。
5. 写neural architecture search算法去找到最佳的模型结构。
6. 由于动辄就是千万级参数，需要构建高效的监控软件去从训练log文件中发现问题或pattern。

所以，这次AI技术的大发展其实是得益于深度学习社区的开放性：深度学习所有相关的技术都是开源的和免费的。这种开放性让无数小白用户都可以快速收敛到最优质的资源，快速入门深度学习。深度学习从业者不需要书籍，也不需要购买任何知网服务或IEEE数据库，所有好论文或好资源都可以从arxiv或其它免费地方找到。数学专业有时候却需要费很大功夫去找一篇1980年代论文，并且网上也没有任何对这篇论文的解释。

我们不应该鄙视深度学习的简单，这种简单其实无数人努力的结果。我们应该感谢Alex Krizhevsky，Yann LeCun，李飞飞，Andrew Ng，贾扬清等技术领袖为引导深度学习社区开放性所做的贡献。

别说学数学的看不惯，我一个天天跟 Deep model 打交道的都看不惯。说个暴论，DL 研究者中，能理解「自己的」工作的，顶多10%。这个数字是根据顶会论文质量估计出来的--即便是命中率20%的顶会文章，依然有很多让人“读不懂”。不是因为理论艰涩读不懂，而是文章糟糕的写作：就算你从头读到实验部分，看到他们花式秀 performances，也依然不知道设计模型的初衷是啥，对于试验结果有什么解释，而作者们压根就没打算对这两方面做解释。

DL 领域有太多人，真的是太多，对科学缺乏基本的敬畏之心。各个领域的研究都要基于前人的结论，所以在开发模块的时候至少应该讨论一下使用的前提吧？或者至少分析一下为啥效果会好吧？而且都不求在数学原理上分析，就讲讲 motivation 总行吧？然而很大一部分工作，连这点基本的要求都不能满足，这问题就不在于水平，而是态度。我们学习的数学定理，都会去定义使用的条件，而一个 solid work，会有相当大比例的工作量是在“定义使用前提”上的。但这些都是必要的工作，因为这样子后面的研究者才有信心基于以前的结论来开发呀。DL 倒好，开发者不说，使用者不问，省去了很大的必要工作量，那么对于工作质量也不会有任何保证。

对科学缺乏敬畏之心还体现在完全没有“追根溯源”的兴趣。做完一个话题立马 move on to next one. 以一年发两位数文章为荣的 community，对于话题深度有多么不尊重，可见一斑。作为一个司机，“会开车”意味着至少了解自己每个操作，对汽车行驶状态的作用是什么。不少 DL 工作给人的感觉就是一群人不但不会开车，而且还追求开快车，用王老师的话来说

一句话，人无知尚可改善，反智则无可救药。DL 不乏好的工作，但对于将 community 风气带坏的反智工作和部分水王，我是极其看不惯的。

DL的难度取决于看问题的角度。数学系的话应该往理论方向看。

DL用线性和非线性函数堆砌来构造函数，用随机梯度下降就可以训练，而且还有非常好的泛化能力，在我看来这样的东西居然没有原理这是完全不可想像的。但是DL很难，难到大家都不知道如何入手，用什么数学工具都不知道，所以说什么样的理论文章都有，凝聚态物理的（spin-glass)，量子物理的（重整化群），ODE的（动力系统），各种优化理论（这个例子太多），各种复杂度理论，但还没看到真正提炼出本质的。数学这边那么多理论，但现在还没有哪个能搬到DL上而且能严丝合缝的，至于能进行有效预测的就更没有了。这就足够说明问题的复杂性，DL是没那么简单的。

要深入DL，各种基础知识是不可少的。但是基础知识并不是拿来炫耀的本钱，因为学了一大堆，可能一个都没用。比如说VC Dimension或者Rademacher Complexity对DL有没有用？它们本身都很漂亮，但可能假设太强得到的结论和现实差很远，或者假设太宽泛得到的结论太弱，都不在DL的工作区间。所以做理论的人，不得不一个个学过来，想过了，试过了，然后放掉，下一个。解决问题是最终的目标，而不是学得比人多些，然后坐在原地不动夸耀自己厉害。耍弄十八般武艺，比不过高手一招制敌。至于这一招怎么找到，或者从理论分析这边入手，或者从实验入手，都是一样有价值，都是平等的，不存在谁鄙视谁的问题。鄙视就意味着有不合理的预设立场，忽视另一种思路的作用，对解决问题是不利的。

学数学的时候，我的感觉像是走进了琳琅满目的艺术博物馆，在整洁的环境中欣赏各种精巧的美。DL相比之下就像是锅炉房里堆叠着一坨污七八糟的机器，工程师们东敲西打让它工作，虽然脏乱，确实有效。大部分人可以沿着前人铺好的锦绣路上再添砖加瓦，但是真正厉害的，是不顾脏乱跑到锅炉房里把机器拆开，化腐朽为神奇，找到最重要原理的那些人。开创比修补难，与其抱怨DL没有高深数学做框架，不如自己试试看，能不能做些有趣的东西出来。现在那么大的金矿放在那里，大家应该好好合作使劲挖矿才是啊。 小波是很美，但问题是它的基函数是固定形式的，不能适应具体问题，而且还需要数学家搞一辈子才能搞出来。与之相比，深度模型训练几天就能跑出来，而且针对具体问题（比如说图像分类）效果还更好，你会选哪个？所以说现在思路要转变，一个一个地研究模型太没效率了，做一个对数据自动建模的模型，是不是在战略上会更有趣一点呢？

我和我一个同学聊过，他现在是统计系的终身教授，列举了几个非常牛的数学家，问我AI再牛牛得过他们么？我没有正面回答，我在想人类看蚂蚁的时候会思考普通蚂蚁和聪明一点的蚂蚁之间的区别么？我这里并没有贬低数学家的意思，因为人类都是一样的，我也是微不足道的普通蚂蚁而已——相比耗能堪比一座小城市并且每几个月就更新换代的集群，人脑仅仅几十瓦的功率，神经元间慢达毫秒级的传输速度，败下阵来只是时间问题。而现在的人脑处理大部分任务甚至还远胜集群，可见人工智能潜力之大。我有时候觉得我们看到几颗星辰就以为是大突破了，其实我们还在漫漫长夜里瞎摸，太阳还没有露头呢。

另外说一下门槛低的问题。几百年前，微积分出来之后，一大类问题都可以用统一的方法解决，让技术进步的门槛降低了，本来高高在上的各种技巧平民化了，马上就带动了相关领域的巨大进展。这个历史进程和我们现在看到深度学习的进程一模一样，开源了，大家都用了，对整个人类而言进步就快了。到了这个时候，单枪匹马干不了什么事，人民群众才是技术进步的原动力。

面对时代的洪流，相比嘲弄别人随波逐流，思考应该如何顺势而为，或许是更有建设性的吧。