最优化理论、方法及应用试题
一、
（30分）
1、针对二次函数1()2
T
T f x x Qx b x c =
++，其中Q 是正定矩阵，试写出最速下降算法的详细步骤，并简要说明其优缺点？
答：求解目标函数的梯度为()g x Qx b =+，()k k k g g x Qx b ==+，搜索方向：从k x 出发，沿k g -作直线搜索以确定1k x +。
Step1: 选定0x ,计算00,f g
Step2: 做一维搜索, ()1min k k k t
f f x t
g +=-,1k k k x x tg +=-.
Step3：判别，若满足精度要求，则停止；否则，置k=k+1,转步2。 优缺点：最速下降法在初始点收敛快，算法简单，在最优点附近有锯齿现象，收敛速度慢。
2、有约束优化问题
min ()
()0,1,2,,..()0,1,2,,i j f x g x i m s t
h x j l
≥=⎧⎪⎨==⎪⎩
最优解的必要条件是什么？
答：假设*x 是极小值点。必要条件是f ，g ，h 函数连续可微，而且极小值点的所有起作用约束的梯度(*)(1,2,
,)i h x i l ∇=和(*)(1,2,
,)j g x j m ∇=线性无关，则
存在*****
*
12
12,,,,,,
,,l m αααβββ使得
()1
1
*
****
*
1
2
12**(*)*(*)*(*)0
*(*)0,1,2,
,,,
,,,,
,0
0,0
l m
i i j j i i j j l m i j f x h x g x g x j m
αββαααβββαβ==∇-∇-∇===≠>≥∑∑
3、什么是起作用约束？什么是可行方向？什么是下降方向？什么是可行下降方
向？针对上述有约束优化问题，如果应用可行方向法，其可行的下降方向怎样确定？ 答：起作用约束：若0()0j g x =，这时点0x 处于该约束条件形成的可行域边界上，它对0x 的摄动起到某种限制作用。
可行方向：0x 是可行点，某方向p ，若存在实数00λ>，使得它对任意
[]00,λλ∈，均有0x p λ+∈可行点集合，则称方向p 是点0x 的可行方向。
下降方向：某一可行点0x ，对该点的任一方向p 来说，若存在实数0'0λ>，
使对任意[]00,'λλ∈均有()()00f x p f x λ+<，就称方向p 为0x 点的一个下降方向。
可行下降方向：既是可行方向，又是下降方向。
可行方向的确定：可行方向法就是沿下降容许方向搜索并保持迭代点为可行点的一种迭代方法。
二、 （25分）
1、回答出n 维空间中非零向量系12,,
n p p p 相互共轭的定义。
答：设Q 是n ×n 对称正定矩阵。若n 维空间中非零向量系12,,
n p p p 满足 ,,1,2,
,,,i j p Qp i j n i j =≠则称12,,
n p p p 是Q 共轭的，或称12,,
n p p p 的方向是Q
共轭方向。
2、应用共轭梯度方法求解无约束优化问题()22
12min 8x x +，初始点为[]011T
x =。
答： 假设误差范围是0.001ε=。12220,()16016x Q f x x ⎡⎤⎡⎤=∇=⎢⎥⎢⎥
⎣⎦⎣⎦
，初始搜索方向002()16P f x -⎡⎤
=-∇=⎢⎥-⎣⎦
步长：00000()()2600.06344104T T
f x f x t P QP ∇∇===，1000120.87320.06341160.0144x x t P -⎡⎤⎡⎤⎡⎤
=+=+=⎢⎥⎢⎥⎢⎥--⎣⎦⎣⎦⎣⎦ 第二步迭代：1 1.7464()0.2304f x ⎡⎤∇=⎢⎥
-⎣⎦
，1() 1.7615f x ∇=, 10000()51.9968
0.01274104T T f x QP P QP α∇===，1100 1.7718()0.0272P f x P α-⎡⎤=-∇+=⎢⎥⎣⎦， 步长：11111
()() 3.1030
0.49336.2904T T
f x f x t P QP ∇∇===
21110.8732 1.77180.00080.49330.01440.02720.001x x t P --⎡⎤⎡⎤⎡⎤
=+=+=⎢⎥⎢⎥⎢⎥--⎣⎦⎣⎦⎣⎦
3、对于无约束优化问题()22
12min 8x x +，写出其下降的牛顿方向，并应用牛顿算
法迭代两步，初始点仍取为[]011T
x =。
答：102200,16016g G ⎡⎤⎡⎤=≠=⎢⎥⎢⎥⎣⎦⎣⎦，求解方程111G P g =-，1
11/21/16G -⎡⎤=⎢⎥⎣⎦， 1
1111/2211/16161P G g --⎡⎤⎡⎤⎡⎤=-=-=⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦⎣⎦。 于是211110110x x P ⎡⎤⎡⎤⎡⎤=+=-=⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦。
三、
（20分）
1、针对有约束优化问题()0,1,2,,min (),..()0,1,2,,i j
g x i m
f x s t h x j l ≥=⎧⎪⎨
==⎪⎩ 试构造出两种外部惩罚函数(,)F x μ。
答：(,)()()F x f x x μμα=+，其中[]2
2
1
1
()()()(())l
m
j i i j i x h x g x u g x α==⎡⎤=+⎣⎦∑∑，
0,()0,x D
x x D α∈⎧=⎨
>∉⎩
。 其它选择[]2
2
1
1
()()min(0,())l
m
j i j i x h x g x α==⎡⎤=+⎣⎦∑∑
2、最小二乘问题
2
min ()()()()T J x f x f x f x ==
用台劳公式进行一阶线性化得()()()()k k k f x f x A x x x =+-，将问题转化为如下的问题
2
min k k f A P +，
其中,(),()k k k k k P x x f f x A A x =-==是函数在k x 处的Jacobi 矩阵。证明算法
()1
1T
T
k k k
k k k x x A A A f -+=-
