下载文档原格式
05-⽆约束优化算法05-⽆约束优化算法⽬录⼀、⽆约束最⼩化问题[⽆约束最⼩化问题] 使 f(x) 最⼩化， f:R n→R 是凸的，且⼆次可微（意味着 domf 是开集)。
假设这个问题是可解的，也就是存在最优点 x∗ ，最优值 inf x f(x)=f(x∗) ，记为 p∗ .[最优充要条件] 因为 f 是可微且凸的，点 x∗ 是最优点的充要条件是∇f(x∗)=0 .注：其实可以从⼆维的图像去理解因此解决⽆约束最⼩化问题等同于寻找上式的解，是含有n个未知数的n个⽅程的集⽅程组。
有时我们是⽤递归算法来解决这个问题，也就是依次计算x(0),x(1),...∈domf , 有f(x(k))→p∗,k→∞ 。
这样的序列叫做问题的最⼩化序列 (minimizing sequence)。
算法的停⽌条件：f(x(k))−p∗≤ϵ，ϵ≥0 是可容许的误差值。
[初始点，下⽔平集] 初始点 x(0) 必须在 domf 中，并且下⽔平集S={x∈domf|f(x)≤f(x(0))} 必须是闭的。
注：下⽔平集是闭的，其实就是对函数做了⽔平切割，然后⽔平切割下的图像是封闭的如果函数 f 是闭的（也就是它的所有下⽔平集都是闭的）那么以上条件都能满⾜。
定义在domf=R n上的连续函数是闭的，所以如果domf=R n，那么初始下⽔平集条件对于任何x(0)都满⾜。
另⼀种闭函数：定义域是开集，当x趋近于bd domf时，f(x) 趋近于⽆限。
[强凸] ⼀个函数在 S 上是强凸的，如果存在 m>0 ，使得对于所有的 x∈S ，有∇2f(x)⪰mI.注：强凸的性质，其实就是保证函数的 ∇2f(x)>0 ，也就是确保只有⼀个最优解，⽽弱凸是最优解有多个，如下图所⽰。
对于x,y∈S我们有f(y)=f(x)+∇f(x)T(y−x)+12(y−x)T∇2f(z)(y−x) , for some z∈[x,y] 。
根据强凸的假设，最后⼀项⼤于等于 (m/2)‖y−x‖22,∀x,y∈S ，也就是：f(y)≥f(x)+∇f(x)T(y−x)+(m/2)‖y−x‖22 .当m=0 时，我们得到了描述凸性的基本不等式。
