一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络? 第1页
1
shi-guan-ya 网友的相关建议:
因为从approximation error（拟合误差）的角度，无论是实验结果来看，还是从理论分析来看，大部分情况下“深”都比“宽”更有效。
理论层面的话，分享一篇我比较喜欢的paper里的结果（Why Deep Neural Networks for Function Approximation?，ICLR 2017），作者是UIUC的Shiyu Liang和R. Srikant。
简单来说，这篇文章证明了，如果想要达到 的拟合误差（approximation error），深度为常数（与 无关）的神经网络需要 个神经元，也就是说，shallow neural network的神经元数量随着精度（ ）的上升多项式增长。然而，深度为 的神经网络只需要 个神经元，也就是说，deep neural network的神经元数量随着精度的上升对数增长。换言之，想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络。
zr9558 网友的相关建议:
歪个楼，深度学习的教材里面一般都会提到这个定理。
Universal Approximation Theorem（1989）
Stone-Weierstrass Theorem（1885）
在一百年之前，数学家已经有一个类似的结论，其实用多项式就足够逼近闭区间上面的任意连续函数了。
1
相关话题
如何看待《Nature》发布的新研究：摄像头是天生的神经网络，速度超越传统方法千倍?对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？
如何看待SIREN激活函数的提出？
如何理解空洞卷积（dilated convolution）？
深度学习与机器学习的关系是什么？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
如何评价 MSRA 视觉组最新提出的 Deformable ConvNets V2？
二分类问题，应该选择sigmoid还是softmax？
如何理解深度学习源码里经常出现的logits？
相关的话题
神经网络激活函数的作用和原理？有没有形象解释？深度学习与机器学习的关系是什么？
如何评价微软亚洲研究院提出的LightRNN？
如何评价AWS的图神经网络框架DGL？
神经网络激活函数的作用和原理？有没有形象解释？
怎么形象清晰地解释「周期 3 意味着混沌」?
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
神经元之间的连接方式是怎样的，感觉如果按树突到轴突方式(多冲动聚为一个冲动)的话连接只会越连越少啊？
如何看待《Nature》发布的新研究：摄像头是天生的神经网络，速度超越传统方法千倍?
为什么dropout正则化经常在视觉方面使用而不是其他？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
为什么自动控制理论这么玄学？
有尝试用多层自组织特征神经网络（MLSOM）来代替层次分析法（AHP）的吗？会有哪些问题需要注意？
网络上一位长者提出了“完全不依靠人工神经网络与机器学习算法实现人工智能”的理论，大家怎么看？
如何把梯度传递过Argmax?
resnet（残差网络）的F（x）究竟长什么样子？
一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络?
DeepMind 团队中有哪些厉害的人物和技术积累？
如何把梯度传递过Argmax?
如何评价谷歌刚推出的Cloud AutoML？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
二分类问题，应该选择sigmoid还是softmax？
如何评价微软亚洲研究院提出的LightRNN？
如何把梯度传递过Argmax?
为什么都说神经网络是个黑箱？
是不是并不是所有问题都适合用神经网络预测？
二分类问题，应该选择sigmoid还是softmax？
如何简单形象又有趣地讲解神经网络是什么？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？