函数的极值条件
前言
我们处理的各种优化问题可以大致分为两类：有约束的优化问题和无约束的优化问题。工程优化问题往往都是有约束的，但经过适当的处理可以用无约束的优化方法加以解决。因此无约束极值点存在的条件是优化理论的基本问题。
关键字：无约束有约束优化
求解无约束优化问题的实质是求解目标函数f(x)在n维空间R n中的极值。我们先来看看一元函数的极值条件。
1.无约束优化问题的极值条件
1.1一元函数的极值条件
由高等数学可知，任何一个单值、连续、可微的一元函数f(x)在给定区间内某点x=x∗有极值的必要条件，是它在该点处的一阶导数为零，即：
f′(x∗)=0
即函数的极值必须在驻点处取得。此条件是必要的，但不是充分的，也就是说驻点不一定就是极值点。如图1.1-1所示，x=0是驻点，但
a b
图1.1-1
其中图a中的x∗点是极小值点，而图b中的x∗并不是极值点。驻点是否为极值点，还需要函数在该点的二阶导数来判断。
驻点为极小值点的充分条件是，x∗满足不等式：
f′′(x∗)>0
驻点为极大值点的充分条件是，x∗满足不等式：
f′′(x∗)<0
若：
f′′(x∗)=0
则x∗是否为极值点，还需要逐次检验其更高阶导数的符号。开始不为零的导数阶数为偶数，则为极值点；若为奇次，则为拐点，而不是极值点。
1.2二元函数的极值条件
对于二维无约束优化问题，即对二元函数
f(x)=f(x1，x2)
来说，若在X∗（x1∗，x2∗）处取得极值，其必要条件是：
ðf(x1，x2)
ðx1=
df(x1，x2∗)
dx1
|x
1=x1
∗=0
ðf(x1，x2)
ðx2=
df(x1∗，x2)
dx2
|x
2=x2
∗=0
写成梯度形式可得：
∇f(x)=[ðf(x1，x2)
ðx1，
ðf(x1，x2)
ðx2
]T=0
为推得二元函数极值存在的充分条件，将二元函数f(x)在驻点x∗=[x1∗，x2∗]T作泰勒二次近似展开，得到近似表达式为：
f(x)=f(x∗)+[∇f(x∗)]T(x−x∗)+1
2
(x−x∗)T∇2f(x∗)(x−x∗)
因为驻点满足∇f(x∗)=0，故由上式可得：
f(x)−f(x∗)=1
2
(x−x∗)T∇2f(x∗)(x−x∗)
当f(x)−f(x∗)>0，则由上式可知，应有：
1
2
(x−x∗)T∇2f(x∗)(x−x∗)>0
此时，x∗为极小值。而为使上式成立，根据二次型的理论可知，只要Hessian矩阵∇2f(x∗)为正定矩阵。故由此可得二元函数极小值存在的充分条件为：
∇2f(x∗)>0
仿此可推得二元函数极大值存在的充分条件为：
∇2f(x∗)<0
1.3多元函数的极值条件
由之前对二元函数的极值条件的推导不难将二元函数极值存在的充分必要条件推广至n元函数。n元函数f(x1，x2，……，x n)在点x∗存在极值的充分必要条件为：
条件1：∇f(x∗)=0
条件2：当∇2f(x∗)>0时，x∗为极小值点；而当∇2f(x∗)<0时，x∗为极大值点。
条件1为极值存在的必要条件；条件2为极值存在的充分条件。
图1.2-1表示满足极值存在的必要条件的驻点不是极值点而是鞍点的情况。
图1.2-1
2.有约束优化问题的极值条件
求解约束优化问题的极值条件的实质是在所有约束条件所形成的可行域内，求得目标函数的极值点。因而约束优化问题比无约束优
化问题更为复杂。因为约束优化问题的极值点不仅与目标函数的性态有关，而且还与约束条件的性态密切相关，它可能与目标函数的极值点重合（如图2-1a所示），也可能不是目标函数的极值点（如图2-1b 所示）。
图2-1a表示的是有四个不等式约束的二维约束优化问题。其目标函数是凸函数，且目标函数的极值点x∗处于可行域内，故x∗即为该约束优化问题的极值点。图2-1b所示的目标函数和约束函数都是凸
图2-1
函数。约束边界g(x)=0与目标函数的等值线x∗点相切，而目标函数的自然极值点隔到了可行域之外。因此，此约束优化问题的极值点不是目标函数的自然极值点，而是切点x∗。若目标函数或约束函数的性态不同，致使求解约束优化问题带来许多困难。为了研究约束优化问题的求解方法，有必要介绍约束优化问题的极值条件。先阐述等式约束优化问题的极值条件，然后导出不等式约束优化问题的极值条件。
2.1等式约束优化问题的极值条件
求解等式优化问题：
minf(X)
s.t.ℎk(X)=0 (k=1，2，……l)
需要导出极值存在的条件，这是求解等式约束优化问题的理论基础。一般处理这一类问题有两种方法：消元法（降维法）和拉格朗日乘子法（升维法）。
2.1.1消元法
二元函数只有一个等式约束的简单情况：
minf(x1，x2)
s.t.ℎ(x1，x2)=0
求解这一问题可采用消元法。根据等式约束条件将其中一个变量x1表示成另一个变量x2的函数关系x1=φ(x2)，然后将此关系式带入目标函数f(x1，x2)消去x1，变成一元函数F(x2)，这样就将等式约束优化问题转化成了无约束优化问题。目标函数通过消元法由二元函数变成了一元函数，即由二维变成了一维，达到降维的目的。
同理，对于n维函数：
minf(x1，x2，……，x n)
s.t.ℎk(x1，x2，……，x n)=0 (k=1，2，……l)
由l个约束方程将n个变量中的前l个变量用其余n−l个变量表示：
x1=φ1(x l+1，x l+2，……，x n)
