一般来说，三层神经网络可以逼近任何一个非线性函数，为什么还需要深度神经网络? 第1页
1
shi-guan-ya 网友的相关建议:
因为从approximation error（拟合误差）的角度，无论是实验结果来看，还是从理论分析来看，大部分情况下“深”都比“宽”更有效。
理论层面的话，分享一篇我比较喜欢的paper里的结果（Why Deep Neural Networks for Function Approximation?，ICLR 2017），作者是UIUC的Shiyu Liang和R. Srikant。
简单来说，这篇文章证明了，如果想要达到 的拟合误差（approximation error），深度为常数（与 无关）的神经网络需要 个神经元，也就是说，shallow neural network的神经元数量随着精度（ ）的上升多项式增长。然而，深度为 的神经网络只需要 个神经元，也就是说，deep neural network的神经元数量随着精度的上升对数增长。换言之，想要达到同样的拟合误差，更深的神经网络需要的神经元数量远小于层数少的神经网络。
zr9558 网友的相关建议:
歪个楼，深度学习的教材里面一般都会提到这个定理。
Universal Approximation Theorem（1989）
Stone-Weierstrass Theorem（1885）
在一百年之前，数学家已经有一个类似的结论，其实用多项式就足够逼近闭区间上面的任意连续函数了。
1
相关话题
人工「神经网络」技术在信息处理上有何特点，工作原理是什么？老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
从人脑角度来说为什么人画画会越来越准（形准）？
如何评价Hinton组的新工作SimCLR?
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
除了深度神经网络已经实现的特性以外，大脑还有哪些特性是值得机器学习领域借鉴的？
为何感觉“知识蒸馏”这几年没有什么成果？
有尝试用多层自组织特征神经网络（MLSOM）来代替层次分析法（AHP）的吗？会有哪些问题需要注意？
如何理解深度学习源码里经常出现的logits？
现在人工智能的某些学派，是不是跟中医有些像？
相关的话题
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？为何总感觉人工智能和神经科学（神经网络）被绑在一起？
二分类问题，应该选择sigmoid还是softmax？
为什么 larger batch size 对对比学习的影响比对监督学习的影响要大？
2019年NeurIPS有哪些糟糕的论文？
生成对抗网络的毕设怎么上手？
老师给了一个神经网络的程序，他之前是跑通了的，但是我迭代几十次或者一百多次就报错。这个怎么解决?
为何感觉“知识蒸馏”这几年没有什么成果？
能否使用神经网络来判断奇偶数？
batchsize=1时可以用BN吗?
为什么计算机科学中的神经网络模型得出来的结果被认为是科学的，而中医诊断却不被认为是科学的？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
既然使用神经网络也可以解决分类问题，那SVM、决策树这些算法还有什么意义呢？
如何把梯度传递过Argmax?
神经网络为什么可以（理论上）拟合任何函数？
resnet（残差网络）的F（x）究竟长什么样子？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
怎么形象清晰地解释「周期 3 意味着混沌」?
全连接层的作用是什么？
有尝试用多层自组织特征神经网络（MLSOM）来代替层次分析法（AHP）的吗？会有哪些问题需要注意？
机器学习，深度神经网络等方法是否是正确的方向？
基于深度卷积神经网络进行人脸识别的原理是什么？
有哪些比较好的机器学习，深度学习的网络资源可利用？
深度学习方面还有什么Open Problem?
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
为什么dropout正则化经常在视觉方面使用而不是其他？