f ( X *) 0
展开式:
f ( X * X ) f ( X *) f ( X *)T X 1 X T H ( X *)X 2
f ( X * X ) f (X *) 1 X T H (X *)X 0 2
f ( X * X ) f ( X *)
可见,通过梯度为零点的海辛矩阵是否是正定可 以判别是否是极小点。
j
h11, h12,
H
hn1, hn2,
, h1n
, hnn
nn
nn
hij x j xi
hij x j xi
[ i1 j1
, i1 j1
,
x1
x2
nn
hij x j xi
, i1 j1
]T
xn
n
n
n
n
n
n
[ h1 j x j hi1xi , h2 j x j hi2xi , , hnj x j hin xi ]T
j 1
(1 5)
L( X ,W ,) xi
f ( X ) xi
m
j
j 1
g j ( X ) xi
0
L( X ,W ,)
w j
2 jwj
0
L( X ,W
j
,)
g
j(X
)
w2j
0
由上式可推导:
f ( X )
xi
jg j(X )
m
j
j 1
0
g j ( X xi
)
0
j 0
(1 6)
求极小问题的 j 取值推导:
梯度方向是函数值变化率最大方向证明:
证明:设X为任意迭代点,设沿任意迭代方向移动到新点: