一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络? 第1页
1
shi-guan-ya 网友的相关建议:
因为从approximation error（拟合误差）的角度，无论是实验结果来看，还是从理论分析来看，大部分情况下“深”都比“宽”更有效。
理论层面的话，分享一篇我比较喜欢的paper里的结果（Why Deep Neural Networks for Function Approximation?，ICLR 2017），作者是UIUC的Shiyu Liang和R. Srikant。
简单来说，这篇文章证明了，如果想要达到 的拟合误差（approximation error），深度为常数（与 无关）的神经网络需要 个神经元，也就是说，shallow neural network的神经元数量随着精度（ ）的上升多项式增长。然而，深度为 的神经网络只需要 个神经元，也就是说，deep neural network的神经元数量随着精度的上升对数增长。换言之，想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络。
zr9558 网友的相关建议:
歪个楼，深度学习的教材里面一般都会提到这个定理。
Universal Approximation Theorem（1989）
Stone-Weierstrass Theorem（1885）
在一百年之前，数学家已经有一个类似的结论，其实用多项式就足够逼近闭区间上面的任意连续函数了。
1
相关话题
如何看待SIREN激活函数的提出？如何理解深度学习源码里经常出现的logits？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
如何证明数据增强（Data Augmentation）有效性？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
DeepMind 研发的围棋 AI AlphaGo 是如何下棋的？
用 TensorFlow 可以做什么有意思的事情？
为什么学习深度学习感觉无法入门？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
相关的话题
有尝试用多层自组织特征神经网络（MLSOM）来代替层次分析法（AHP）的吗？会有哪些问题需要注意？GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
卷积神经网络（CNN）的结构设计都有哪些思想？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
吴恩达为什么离开谷歌？
稳定的控制器是否都存在李雅普诺夫函数？
为什么softmax很少会出现[0.5，0.5]？
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
神经网络中如果一个重要特征C等于特征A+特征B（算数意义上的相加），选特征的时候还有必要选特征C吗?
神经网络分类训练后得到的是连续的数怎么离散？
如何理解深度学习源码里经常出现的logits？
如何评价AWS的图神经网络框架DGL？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
如何看待SIREN激活函数的提出？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
怎么形象清晰地解释「周期 3 意味着混沌」?
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
二分类问题，应该选择sigmoid还是softmax？
为什么计算机科学中的神经网络模型得出来的结果被认为是科学的，而中医诊断却不被认为是科学的？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
如何看待《Nature》发布的新研究：摄像头是天生的神经网络，速度超越传统方法千倍?
如何理解空洞卷积（dilated convolution）？
机器学习，深度神经网络等方法是否是正确的方向？
现在的人工智能是否走上了数学的极端？
生成对抗网络的毕设怎么上手？
如何评价Sony新出的深度学习库NNabla？
为啥gan里面几乎不用pooling？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？