没有什么本质的区别。
有的人说:“不对,一个是静态优化,一个是动态优化。”因为很多人学的最优化都是讨论 中的非线性规划,然后 Optimal Control 一般又是另外开一门课,感觉好像不一样。
其实真没啥区别,从泛函分析的观点看就基本没啥区别。什么静态的动态的,无非就是一个在 中考虑问题,一个是在函数空间,比如 或者 , 中考虑问题罢了。
其实不论怎么样,优化问题的基本结构就是构造(抽象的) Lagrange Functional :
。(1)
所有具体的拉格朗日函数/泛函都是这个抽象形式的特例罢了。
只不过 的空间性质实在太好了,比如有界闭集就是紧的,同时对偶空间就是自身,对偶作用表现形式就是内积(一般的 Banach 空间可没有内积,但是可以用“线性泛函的作用”替代,也就是(1)式的尖括号),导致优化问题被大大简化了。
比如 的优化问题
Lagrange函数怎么构造的,那不就是对偶向量作用在约束函数上(有限维就表现为内积)么:
。配合上所谓的KT条件,求导,欧了。
这里的 就是 , 就是 。
这就是(1)式的特例!
一般的希尔伯特空间还好,由于有表示定理,我们知道其对偶空间就是自身,从而那个拉格朗日乘子其实就是空间本身的一个元素(一个向量),这与 中是一样的 。
一个简单的无限维优化问题:
约束条件是以泛函的形式给出的,泛函的好处就是值域是 (不考虑复泛函), 的对偶空间还是 ,对偶作用那就是内积(数乘)。
所以在这里,(1)式其实就是 。同样再配上KT条件就行了。
这里的 就是 , 而 就是 。
然后求变分,欧了。
什么?无限维空间不会写KT条件?其实一样的,那就是互补松弛条件照写!
,若 则 。
你看,有啥区别嘛!
没有。
然后最优控制无非就是函数空间上一种特殊的最优化问题罢了,只不过约束条件是微分方程。
你依然从最抽象的 Lagrange形式(也就是(1)式)入手(但是这里需要考虑适当的函数空间)。就可以证明 Pontryagin's maximum principle。
当然,这个证明可不简单,不过切入点就是这样。
__________________________________________________________________________
有人质疑说“最优控制最重要和主流的方法 不是胖加押金那套 而是贝尔曼……”
我想说首先,任何一本正规的最优控制教材Pontryagin's maximum principle都是重点介绍的核心结论之一,不是你觉得不是就不是了。另外Bellman方程本身跟我回答中提到的抽象 Lagrange形式是两套方法,Bellman方程得益于最优控制问题本身具备递归结构,这根本不妨碍抽象Lagrange形式的适用性和概括性。
另外我通篇都没有谈及数值优化的内容,麻烦搞清楚。