答得很好。
关于第一点
为什么陷入局部最优,根本不是NN的问题
貌似并没展开说。我正好得空,补充一下
大家以前认为,deep learning的loss的形状会是布满弹坑的样子:
于是,梯度下降到local minimum如果不是global minimum就出大问题了。
但其实对于deep learning,我们是在一个非常高维的世界里做梯度下降。这时的 local minimum 很难形成,因为局部最小值要求函数在所有维度上都是局部最小。更实际得情况是,函数会落到一个saddle-point上,如下图:
在saddle-point上会有一大片很平坦的平原,让梯度几乎为0,导致无法继续下降。
反倒是local/global minimum的问题,大家发现其实不同的local minimum其实差不多(反正都是over-fitting training data,lol)
推荐阅读Bengio组的这两篇:
On the saddle point problem for non-convex optimization
Identifying and attacking the saddle point problem in high-dimensional non-convex optimization