一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络? 第1页
1
shi-guan-ya 网友的相关建议:
因为从approximation error（拟合误差）的角度，无论是实验结果来看，还是从理论分析来看，大部分情况下“深”都比“宽”更有效。
理论层面的话，分享一篇我比较喜欢的paper里的结果（Why Deep Neural Networks for Function Approximation?，ICLR 2017），作者是UIUC的Shiyu Liang和R. Srikant。
简单来说，这篇文章证明了，如果想要达到 的拟合误差（approximation error），深度为常数（与 无关）的神经网络需要 个神经元，也就是说，shallow neural network的神经元数量随着精度（ ）的上升多项式增长。然而，深度为 的神经网络只需要 个神经元，也就是说，deep neural network的神经元数量随着精度的上升对数增长。换言之，想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络。
zr9558 网友的相关建议:
歪个楼，深度学习的教材里面一般都会提到这个定理。
Universal Approximation Theorem（1989）
Stone-Weierstrass Theorem（1885）
在一百年之前，数学家已经有一个类似的结论，其实用多项式就足够逼近闭区间上面的任意连续函数了。
1
相关话题
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？如何评价谷歌刚推出的Cloud AutoML？
什么是大模型？超大模型？Foundation Model？
有哪些比较好的机器学习，深度学习的网络资源可利用？
如何评价移动端吊打一切万众期待的商汤深度学习推理框架PPL开源了却没有支持移动端？
为啥gan里面几乎不用pooling？
神经网络中的能量函数是如何定义的？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
如何把梯度传递过Argmax?
神经网络为什么可以（理论上）拟合任何函数？
相关的话题
人工「神经网络」技术在信息处理上有何特点，工作原理是什么？神经网络，分类和回归问题，在网络结构上的区别是什么？分类比回归多一层softmax吗？诚心求教？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
为什么自动控制理论这么玄学？
如何评价Hinton组的新工作SimCLR?
有没有什么可以节省大量时间的 Deep Learning 效率神器？
神经网络的损失函数为什么是非凸的?
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
如何理解深度学习源码里经常出现的logits？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
为什么dropout正则化经常在视觉方面使用而不是其他？
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
为啥gan里面几乎不用pooling？
深度学习方面还有什么Open Problem?
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
为什么自动控制理论这么玄学？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
adversarial training为什么会起作用？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
如何评价谷歌刚推出的Cloud AutoML？
如何评价移动端吊打一切万众期待的商汤深度学习推理框架PPL开源了却没有支持移动端？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
怎么形象清晰地解释「周期 3 意味着混沌」?