一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络? 第1页
1
shi-guan-ya 网友的相关建议:
因为从approximation error（拟合误差）的角度，无论是实验结果来看，还是从理论分析来看，大部分情况下“深”都比“宽”更有效。
理论层面的话，分享一篇我比较喜欢的paper里的结果（Why Deep Neural Networks for Function Approximation?，ICLR 2017），作者是UIUC的Shiyu Liang和R. Srikant。
简单来说，这篇文章证明了，如果想要达到 的拟合误差（approximation error），深度为常数（与 无关）的神经网络需要 个神经元，也就是说，shallow neural network的神经元数量随着精度（ ）的上升多项式增长。然而，深度为 的神经网络只需要 个神经元，也就是说，deep neural network的神经元数量随着精度的上升对数增长。换言之，想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络。
zr9558 网友的相关建议:
歪个楼，深度学习的教材里面一般都会提到这个定理。
Universal Approximation Theorem（1989）
Stone-Weierstrass Theorem（1885）
在一百年之前，数学家已经有一个类似的结论，其实用多项式就足够逼近闭区间上面的任意连续函数了。
1
相关话题
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?为什么都说神经网络是个黑箱？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
用 TensorFlow 可以做什么有意思的事情？
验证集loss上升，准确率却上升该如何理解？
如何看待SIREN激活函数的提出？
如何评价中科大实现了媲美人脑能效的类脑突触原型器件？
如何理解矩阵对矩阵求导？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
相关的话题
怎么选取训练神经网络时的Batch size?神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
神经网络分类训练后得到的是连续的数怎么离散？
从应用的角度来看，深度学习怎样快速入门？
深度学习attention机制中的Q,K,V分别是从哪来的？
多任务学习中loss多次backward和loss加和后backward有区别吗？
从人脑角度来说为什么人画画会越来越准（形准）？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
现在的人工智能是否走上了数学的极端？
神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
为啥gan里面几乎不用pooling？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
如何评价Hinton组的新工作SimCLR?
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
有尝试用多层自组织特征神经网络（MLSOM）来代替层次分析法（AHP）的吗？会有哪些问题需要注意？
深度学习在无人驾驶汽车上面的运用有哪些？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
从应用的角度来看，深度学习怎样快速入门？
生成对抗网络的毕设怎么上手？
GAN的生成器是怎么产生图片的？
如何理解深度学习源码里经常出现的logits？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
消融实验是什么？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
全连接层的作用是什么？
神经网络激活函数的作用和原理？有没有形象解释？
有没有什么可以节省大量时间的 Deep Learning 效率神器？