《最优化方法》复习提要 第一章 最优化问题与数学预备知识§1. 1 模型无约束最优化问题 12min (),(,,,)T n n f x x x x x R =∈．约束最优化问题（},,2,1,0)(;,,2,1,0)(,|{l j x h m i x g R x x S j i n ===≥∈=∧）min ();...f x s t x S ⎧⎨∈⎩ 即 m i n ();..()0,1,2,,,()0,1,2,,.i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩其中()f x 称为目标函数，12,,,n x x x 称为决策变量，S 称为可行域，()0(1,2,,),()0(1,2,,)i j g x i m h x j l ≥===称为约束条件．§1. 2 多元函数的梯度、Hesse 矩阵及Taylor 公式定义 设:,n n f R R x R →∈．如果n ∃维向量p ，n x R ∀∆∈，有()()()T f x x f x p x o x +∆-=∆+∆．则称()f x 在点x 处可微，并称()T df x p x =∆为()f x 在点x 处的微分．如果()f x 在点x 处对于12(,,,)T n x x x x =的各分量的偏导数(),1,2,,if x i n x ∂=∂都存在，则称()f x 在点x 处一阶可导，并称向量12()()()()(,,,)Tnf x f x f x f x x x x ∂∂∂∇=∂∂∂ 为()f x 在点x 处一阶导数或梯度．定理1 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处梯度()f x ∇ 存在，并且有()()T df x f x x =∇∆．定义 设:,n n f R R x R →∈．d 是给定的n 维非零向量，de d=．如果 0()()lim()f x e f x R λλλλ→+-∈存在，则称此极限为()f x 在点x 沿方向d 的方向导数，记作()f x d∂∂． 定理2 设:,n n f R R x R →∈．如果()f x 在点x 处可微，则()f x 在点x 处沿任何非零方向d 的方向导数存在，且()()T f x f x e d ∂=∇∂，其中de d=． 定义 设()f x 是n R 上的连续函数，n x R ∈．d 是n 维非零向量．如果0δ∃>，使得(0,)λδ∀∈，有()f x d λ+<（>）()f x ．则称d 为()f x 在点x 处的下降（上升）方向．定理3 设:,n n f R R x R →∈，且()f x 在点x 处可微，如果∃非零向量n d R ∈，使得()T f x d ∇<（>）0，则d 是()f x 在点x 处的下降（上升）方向． 定义 设:,n n f R R x R →∈．如果()f x 在点x 处对于自变量12(,,,)T n x x x x =的各分量的二阶偏导数2()(,1,2,,)i j f x i j n x x ∂=∂∂都存在，则称函数()f x 在点x 处二阶可导，并称矩阵22221121222222122222212()()()()()()()()()()n n n n n f x f x f x x x x x x f x f x f x f x x x x x x f x f x f x x x x x x ⎛⎫∂∂∂ ⎪∂∂∂∂∂ ⎪ ⎪∂∂∂ ⎪∇=∂∂∂∂∂ ⎪ ⎪⎪ ⎪∂∂∂⎪∂∂∂∂∂⎝⎭为()f x 在点x 处的二阶导数矩阵或Hesse 矩阵． 定义 设:,n m n h R R x R →∈，记12()((),(),,())T m h x h x h x h x =，如果 ()(1,2,,)i h x i m =在点x 处对于自变量12(,,,)T n x x x x =的各分量的偏导数()(1,2,,;1,2,,)i jh x i m j n x ∂==∂都存在，则称向量函数()h x 在点x 处是一阶可导的，并且称矩阵111122221212()()()()()()()()()()n n m n m m m n h x h x h x xx x h x h x h x x x x h x h x h x h x xx x ⨯∂∂∂⎛⎫ ⎪∂∂∂⎪⎪∂∂∂⎪∂∂∂∇= ⎪ ⎪⎪∂∂∂ ⎪ ⎪∂∂∂⎝⎭为()h x 在点x 处的一阶导数矩阵或Jacobi 矩阵，简记为()h x ∇．例2 设,,n n a R x R b R ∈∈∈，求()T f x a x b =+在任意点x 处的梯度和Hesse 矩阵．解 设1212(,,,),(,,,)TTn n a a a a x x x x ==，则1()nk k k f x a x b ==+∑，因()(1,2,,)k kf x a k n x ∂==∂，故得()f x a ∇=．又因2()0(,1,2,,)i jf x i j n x x ∂==∂∂，则2()f x O ∇=．例3 设n n Q R ⨯∈是对称矩阵，,n b R c R ∈∈，称1()2TT f x x Qx b x c =++为二次函数，求()f x 在任意点x 处的梯度和Hesse 矩阵．解 设1212(),(,,,),(,,,)T T ij n n n n Q q x x x x b b b b ⨯===，则121111(,,,)2n nnn ij i j k k i j k f x x x q x x b x c ====++∑∑∑，从而111111111()()()nn j j j j j j n n n nj j n nj j j j n f x q x b q x x bf x Qx b f x b q x b q x x ====⎛⎫⎛⎫∂⎛⎫+ ⎪ ⎪ ⎪∂⎛⎫ ⎪ ⎪⎪ ⎪ ⎪ ⎪ ⎪∇===+=+ ⎪ ⎪ ⎪ ⎪ ⎪∂⎝⎭ ⎪ ⎪ ⎪+ ⎪ ⎪ ⎪∂⎝⎭⎝⎭⎝⎭∑∑∑∑．再对1()(1,2,,)nij j i j i f x q x b i n x =∂=+=∂∑求偏导得到2()(,1,2,,)ij i jf x q i j n x x ∂==∂∂，于是1112121222212()n n n n nn q q q q q q f x Q q q q ⎛⎫⎪ ⎪∇== ⎪⎪⎝⎭． 例 4 设()()t f x td ϕ=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求(),()t t ϕϕ'''．解 由多元复合函数微分法知 2()(),()()T T t f x td d t d f x td d ϕϕ'''=∇+=∇+． 定理4 设:,n n f R R x R →∈，且()f x 在点x 的某邻域内具有二阶连续偏导数，则()f x 在点x 处有Taylor 展式21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．证明 设()(),[0,1]t f x t x t ϕ=+∆∈，则(0)(),(1)()f x f x x ϕϕ==+∆．按一元函数Taylor 公式()t ϕ在0t =处展开，有21()(0)(0)(),(0)2t t t t ϕϕϕϕθθ'''=++<<．从例4得知2(0)(),()()()T T f x x x f x x x ϕϕθθ'''=∇∆=∆∇+∆∆．令1t =，有21()()()(),(01)2T T f x x f x f x x x f x x x θθ+∆=+∇∆+∆∇+∆∆<<．根据定理1和定理4，我们有如下两个公式()()()()()T f x f x f x x x o x x =+∇-+-，221()()()()()()()()2T T f x f x f x x x x x f x x x o x x =+∇-+-∇-+-．§1. 3 最优化的基本术语定义 设:n f R R →为目标函数，n S R ⊆为可行域，x S ∈．（1） 若x S ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的全局（或整体）极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的全局（或整体）最优解，并称()f x为其最优值．（2） 若,x S x x ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格全局（或整体）极小点．（3） 若x ∃的δ邻域(){}(0)n N x x R x x δδδ=∈-<>使得()x N x S δ∀∈，都有()()f x f x ≥，则称x 为()f x 在S 上的局部极小点，或者说，x 是约束最优化问题min ()x Sf x ∈的局部最优解．（4） 若x ∃的δ邻域()(0)N x δδ>使得(),x N x S x x δ∀∈≠，都有()()f x f x >，则称x 为()f x 在S 上的严格局部极小点．第二章 最优性条件§2.1 无约束最优化问题的最优性条件定理 1 设:n f R R →在点x 处可微，若x 是问题min ()f x 的局部极小点，则()0f x ∇=．定义 设:()n f S R R ⊆→在int x S ∈处可微，若()0f x ∇=，则称x 为()f x 的平稳点．定理2 设:n f R R →在点x 处具有二阶连续偏导数，若x 是问题min ()f x 的局部极小点，则()0f x ∇=，且2()f x ∇半正定．定理3 设:n f R R →在点x 处具有二阶连续偏导数，若()0f x ∇=，且2()f x ∇正定，则x 是问题min ()f x 的严格局部极小点． 注：定理2不是充分条件，定理3不是必要条件．例1 对于无约束最优化问题2312min ()f x x x =-，其中212(,)T x x x R =∈，显然 2212()(2,3),T f x x x x R ∇=-∀∈，令()0f x ∇=，得()f x 的平稳点(0,0)T x =，而且2222020(),()0600f x f x x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．易见2()f x ∇为半正定矩阵．但是，在x 的任意δ邻域x x δ-<，总可以取到(0,)2T x δ=，使()()f x f x <，即x 不是局部极小点．例2 对于无约束最优化问题42241122min ()2f x x x x x =++，其中212(,)T x x x R =∈， 易知3223112122()(44,44)Tf x x x x x x x ∇=++，从而得平稳点(0,0)T x =，并且 22221212221212001248(),()008412x x x x f x f x x x x x ⎛⎫+⎛⎫∇=∇=⎪ ⎪+⎝⎭⎝⎭． 显然2()f x ∇不是正定矩阵．但是，22212()()f x x x =+在x 处取最小值，即x 为严格局部极小点．例3 求解下面无约束最优化问题332122111min ()33f x x x x x =+--，其中212(,)T x x x R =∈， 解 因为21212222201(),()0222x x f x f x x x x ⎛⎫-⎛⎫∇=∇= ⎪ ⎪--⎝⎭⎝⎭，所以令()0f x ∇=，有2122210,20.x x x ⎧-=⎪⎨-=⎪⎩解此方程组得到()f x 的平稳点(1)(2)(3)(4)1111,,,0202x x x x --⎛⎫⎛⎫⎛⎫⎛⎫==== ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭．从而2(1)2(2)2020(),()0202f x f x ⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭，2(3)2(4)2020(),()0202f x f x --⎛⎫⎛⎫∇=∇= ⎪ ⎪-⎝⎭⎝⎭．由于2(1)()f x ∇和2(4)()f x ∇是不定的，因此(1)x 和(4)x 不是极值点．2(3)()f x ∇是负定的，故(3)x 不是极值点，实际上它是极大点．2(2)()f x ∇是正定的，从而(2)x 是严格局部极小点．定理4 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微，若()0f x ∇=，则x 为min ()f x 的全局极小点．推论5 设:n f R R →是凸函数，且()f x 在点n x R ∈处可微．则x 为min ()f x 的全局极小点的充分必要条件是()0f x ∇=． 例 4 试证正定二次函数1()2TT f x x Qx b x c =++有唯一的严格全局极小点1x Q b -=-，其中Q 为n 阶正定矩阵．证明 因为Q 为正定矩阵，且(),n f x Qx b x R ∇=+∀∈，所以得()f x 的唯一平稳点1x Q b -=-．又由于()f x 是严格凸函数，因此由定理4知，x 是()f x 的严格全局极小点．§2.2 等式约束最优化问题的最优性条件定理1 设:n f R R →在点x 处可微，:(1,2,,)n j h R R j l →=在点x 处具有一阶连续偏导数，向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的局部极小点，则,1,2,,j v R j l ∃∈=，使得1()()0lj j j f x v h x =∇-∇=∑．称(,)()()T L x v f x v h x =-为Lagrange 函数，其中12()((),(),,())T l h x h x h x h x =．称12(,,,)T l v v v v =为Lagrange 乘子向量．易见(,)x v L L x v L ∇⎛⎫∇= ⎪∇⎝⎭，这里1(,)()(),(,)()lx j j v j L x v f x v h x L x v h x =∇=∇-∇∇=-∑．定理 2 设:n f R R →和:(1,2,,)n j h R R j l →=在点n x R ∈处具有二阶连续偏导数，若l v R ∃∈，使得(,)0x L x v ∇=，并且，,0n z R z ∀∈≠，只要()0,1,2,,T j z h x j l ∇==，便有2(,)0T xx z L x v z ∇>，则x 是问题min ();..()0,1,2,,j f x s t h x j l ⎧⎨==⎩的严格局部极小点．例1 试用最优性条件求解 221212min ();..()80.f x x x s t h x x x ⎧=+⎨=-=⎩解 Lagrange 函数为221212(,)(8)L x v x x v x x =+--，则1221122(,)2(8)x vx L x v x vx x x -⎛⎫⎪∇=- ⎪ ⎪--⎝⎭， 从而得(,)L x v 的平稳点(8,8,2)T 和(8,8,2)T --，对应有(8,8),2T x v ==和(8,8),2T x v =--=．由于221222(,),()222xx x v L x v h x x v--⎛⎫⎛⎫⎛⎫∇==∇= ⎪⎪ ⎪--⎝⎭⎝⎭⎝⎭． 因此1212(){(,)|(,)()0}T M x z z z z h x =∇=121221{(,)|0}T z z z x z x =+= 1212{(,)|}T z z z z ==-．并且(),0z M x z ∀∈≠，有222211221(,)24280T xx z L x v z z z z z z ∇=-+=>．利用定理2，所得的两个可行点(8,8)T x =和(8,8)T x =--都是问题的严格局部极小点．§2.3 不等式约束最优化问题的最优性条件定义 设,,,0n n S R x clS d R d ⊆∈∈≠，若0δ∃>，使得，,(0,)x d S λλδ+∈∀∈， 则称d 为集合S 在点x 处的可行方向． 这里{|,(),0}n clS x x R SN x δδ=∈≠∅∀>．令 {|0,0,,(0,)}D d d x d S δλλδ=≠∃>+∈∀∈使，0{|()0}T F d f x d =∇<．定理 1 设n S R ⊆是非空集合，:,,()f S R x S f x →∈在点x 处可微．若x 是问题min ()x Sf x ∈的局部极小点，则 0F D =∅．对于min ();..()0,1,2,,,i f x s t g x i m ⎧⎨≥=⎩ （1）其中:,:(1,2,,)n n i f R R g R R i m →→=．令(){|()0,1,2,,}i I x i g x i m ===，其中x 是上述问题（1）的可行点．定理 2 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，如果x 是问题（1）的局部极小点，则 00F G =∅，其中0{|()0,()}T i G d g x d i I x =∇>∈．定理 3 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，若x 是问题（1）的局部极小点，则存在不全为0的非负数0,(())i u u i I x ∈，使0()()()0iii I x u f x u g x ∈∇-∇=∑． （x 称为Fritz John 点）如果()(())i g x i I x ∉在点x 处也可微，则存在不全为0的非负数01,,,m u u u ，使01()()0,()0,1,2,,.mi i i i iu f x u g x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为Fritz John 点） 例1 设1311222min ();..()(1)0,()0.f x x s t g x x x g x x =-⎧⎪=--≥⎨⎪=≥⎩试判断(1,0)T x =是否为Fritz John 点． 解 因为12100(),(),()011f x g x g x -⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，所以为使Fritz John 条件01210000110u u u -⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．取0120,0u u u α===>即可，因此x 是Fritz John 点．定理 4 设x 是问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(())i g x i I x ∉在点x 处连续，并且()(())i g x i I x ∇∈线性无关．若x 是问题（1）的局部极小点，则存在0(())i u i I x ≥∈，使得()()()0iii I x f x u g x ∈∇-∇=∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在0(1,2,,)i u i m ≥=，使得1()()0,()0,1,2,,.mi i i i if x ug x u g x i m =⎧∇-∇=⎪⎨⎪==⎩∑ （x 称为K-T 点） 例2 求最优化问题21211222min ()(1);..()20,()0f x x x s t g x x x g x x ⎧=-+⎪=--+≥⎨⎪=≥⎩的K-T 点． 解 因为1122(1)10(),(),()111x f x g x g x --⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪-⎝⎭⎝⎭⎝⎭，所以K-T 条件为111211222122(1)0,10,(2)0,0,0,0.x u u u u x x u x u u -+=⎧⎪+-=⎪⎪--+=⎨⎪=⎪⎪≥≥⎩ 若20u =，则11u =-，这与10u ≥矛盾．故20u >，从而20x =；若120x -+=，则12u =-，这与10u ≥矛盾．故10u =，从而211,1u x ==； 由于120,0u u ≥≥，且(1,0)T x =为问题的可行点，因此x 是K-T 点． 定理5 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．§2.4 一般约束最优化问题的最优性条件考虑等式和不等式约束最优化问题min ();..()0,1,2,,,()0,1,2,,,i j f x s t g x i m h x j l ⎧⎪≥=⎨⎪==⎩（1） 其中:,:(1,2,,),:(1,2,,)n n n i j f R R g R R i m h R R j l →→=→=．并把问题（1）的可行域记为S ．,(){|()0,1,2,,}i x S I x i g x i m ∀∈==．定理 1 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，并且向量组12(),(),,()l h x h x h x ∇∇∇线性无关．若x 是问题（1）的局部极小点，则 00F G H =∅，这里0{|()0}T F d f x d =∇<，0{|()0,()}T i G d g x d i I x =∇>∈，0{|()0,1,2,,}T j H d h x d j l =∇==．定理 2 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续．若x 为问题（1）的局部极小点，则存在不全为0的数0,(())i u u i I x ∈和(1,2,,)j v j l =，且0,0(())i u u i I x ≥∈，使0()1()()()0liijji I x j u f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为Fritz John 点）若()(())i g x i I x ∉在点x 处也可微，则存在不全为0的数0,(1,2,,)i u u i m =和(1,2,,)j v j l =，且0,0(1,2,,)i u u i m ≥=，使011()()()0,()0,1,2,,.m li i j j i j i iu f x u g x v h x u g x i m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为Fritz John 点）例1 设2212311222212min ();..()0,()0,()(1)0.f x x x s t g x x x g x x h x x x ⎧=+⎪=-≥⎪⎨=≥⎪⎪=--+=⎩试判断(1,0)T x =是否为Fritz John 点．解 (){2}I x =，且2200(),(),()011f x g x h x ⎛⎫⎛⎫⎛⎫∇=∇=∇= ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭，且(){1,2}I x =，因此为使Fritz John 条件022*******u u v ⎛⎫⎛⎫⎛⎫⎛⎫--= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭⎝⎭⎝⎭成立，只有00u =才行．所以取020,1,1u u v ===-，即知x 是Fritz John 点．定理 3 设x 为问题（1）的可行点，()f x 和()(())i g x i I x ∈在点x 处可微，()(1,2,,)j h x j l =在点x 处具有一阶连续偏导数，()(())i g x i I x ∉在点x 处连续，且向量组()(()),()(1,2,,)i j g x i I x h x j l ∇∈∇=线性无关．若x 是问题（1）的局部极小点，则存在数0(())i u i I x ≥∈和(1,2,,)j v j l =，使()1()()()0liijji I x j f x u g x v h x ∈=∇-∇-∇=∑∑． （x 称为K-T 点）如果()(())i g x i I x ∉在点x 处也可微，则存在数0(1,2,,)i u i m ≥=和(1,2,,)j v j l =，使11()()()0,()0,1,2,,.m li i j j i j i if x ug x vh x u g xi m ==⎧∇-∇-∇=⎪⎨⎪==⎩∑∑ （x 称为K-T 点） 令 1212()((),(),,()),()((),(),,())T T m l g x g x g x g x h x h x h x h x ==，1212(,,,),(,,,)T T m l u u u u v v v v ==，称u 与v 为广义Lagrange 乘子向量或K-T 乘子向量．()()()0,()0,0.T T Tf xg x uh x v u g x u ⎧∇-∇-∇=⎪=⎨⎪≥⎩令(,,)()()()T T L x u v f x u g x v h x =--为广义Lagrange 函数．称(,,)L x u v 为广义Lagrange 函数．则K-T 条件为(,,)0,()0,0.x TL x u v u g x u ∇=⎧⎪=⎨⎪≥⎩定理 4 设在问题（1）中，()f x 和()(1,2,,)i g x i m -=是凸函数，()(1,2,,)j h x j l =是线性函数，x 是可行点，并且()f x 和()(())i g x i I x ∈在点x 处可微．若x 是问题（1）的K-T 点，则x 是问题（1）的全局极小点．例2 求解最优化问题221221212min ()(3)(1);..()0,()230.f x x x s t g x x x h x x x ⎧=-+-⎪=-+≥⎨⎪=+-≥⎩ 解 广义Lagrange 函数为222121212(,,)()()()(3)(1)()(23)L x u v f x ug x vh x x x u x x v x x =--=-+---+-+-．因为111(,,)2(3)22L x u v x ux v x ∂=-+-∂，22(,,)2(1)L x u v x u v x ∂=---∂．所以K-T 条件及约束条件为112212212122(3)220,2(1)0,()0,0,230,0.x ux v x u v u x x x x x x u -+-=⎧⎪---=⎪⎪-+=⎪⎨-+≥⎪⎪+-=⎪≥⎪⎩ 下面分两种情况讨论． （1） 设0u =，则有12122(3)20,2(1)0,230.x v x v x x --=⎧⎪--=⎨⎪+-=⎩ 由此可解得12718,,555x x v ===-，但71(,)55T x =不是可行点，因而不是K-T 点．（2） 设0u >，则有112212122(3)220,2(1)0,0,230.x ux v x u v x x x x -+-=⎧⎪---=⎪⎨-+=⎪⎪+-=⎩ 由此可得211230x x --+=，解得11x =或13x =-。
