一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络? 第1页
1
shi-guan-ya 网友的相关建议:
因为从approximation error（拟合误差）的角度，无论是实验结果来看，还是从理论分析来看，大部分情况下“深”都比“宽”更有效。
理论层面的话，分享一篇我比较喜欢的paper里的结果（Why Deep Neural Networks for Function Approximation?，ICLR 2017），作者是UIUC的Shiyu Liang和R. Srikant。
简单来说，这篇文章证明了，如果想要达到 的拟合误差（approximation error），深度为常数（与 无关）的神经网络需要 个神经元，也就是说，shallow neural network的神经元数量随着精度（ ）的上升多项式增长。然而，深度为 的神经网络只需要 个神经元，也就是说，deep neural network的神经元数量随着精度的上升对数增长。换言之，想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络。
zr9558 网友的相关建议:
歪个楼，深度学习的教材里面一般都会提到这个定理。
Universal Approximation Theorem（1989）
Stone-Weierstrass Theorem（1885）
在一百年之前，数学家已经有一个类似的结论，其实用多项式就足够逼近闭区间上面的任意连续函数了。
1
相关话题
神经网络为什么可以（理论上）拟合任何函数？一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
DeepMind 团队中有哪些厉害的人物和技术积累？
神经网络分类训练后得到的是连续的数怎么离散？
机器学习，深度神经网络等方法是否是正确的方向？
GAN的生成器是怎么产生图片的？
是不是并不是所有问题都适合用神经网络预测？
batchsize=1时可以用BN吗?
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
如何理解空洞卷积（dilated convolution）？
相关的话题
为什么神经网络具有泛化能力？对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
如何评价微软亚洲研究院提出的LightRNN？
如何证明数据增强（Data Augmentation）有效性？
从应用的角度来看，深度学习怎样快速入门？
深度学习方面还有什么Open Problem?
如何看待《Nature》发布的新研究：摄像头是天生的神经网络，速度超越传统方法千倍?
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
生成对抗网络的毕设怎么上手？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
如何评价「神经网络本质不过是初中生都会的复合函数」？
神经网络能否代替决策树算法？
如何评价Hinton组的新工作SimCLR?
神经网络分类训练后得到的是连续的数怎么离散？
DeepMind 研发的围棋 AI AlphaGo 是如何下棋的？
为什么神经网络具有泛化能力？
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
既然使用神经网络也可以解决分类问题，那SVM、决策树这些算法还有什么意义呢？
稳定的控制器是否都存在李雅普诺夫函数？
如何评价微软亚洲研究院提出的LightRNN？
2019年NeurIPS有哪些糟糕的论文？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
如何评价「神经网络本质不过是初中生都会的复合函数」？
神经网络分类训练后得到的是连续的数怎么离散？
DeepMind 团队中有哪些厉害的人物和技术积累？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
有尝试用多层自组织特征神经网络（MLSOM）来代替层次分析法（AHP）的吗？会有哪些问题需要注意？
如何看待上海交大研发人工智能：通过脸部识别技术辨别罪犯？