第四章背景知识
condition number
从优化或者数值计算的角度来说，L2范数有助于处理con dition number 不好的情况下矩阵求逆很困难的问题。
如果方阵A是奇异的，那么A的condition number就是正无穷大了。实际上，每一个可
逆方阵都存在一个con diti on nu mber 。
对condition number来个一句话总结：condition number是一个矩阵（或者它所描述的线
性系统）的稳定性或者敏感度的度量，如果一个矩阵的condition number在1附近，那么它就是well-conditioned 的，如果远大于1,那么它就是ill-conditioned 的，如果一个系统是ill-conditioned 的，它的输出结果就不要太相信了。
应用
w = （X J X）'1X T b
如果当我们的样本X的数目比每个样本的维度还要小的时候，矩阵X T X将会不是满秩的, 也就是X T X会变得不可逆，所以w八就没办法直接计算出来了。
如果加上L2规则项，就变成了下面这种情况，就可以直接求逆了：
梯度
设体系中某处的物理参数（如温度、速度、浓度等）为W,在与其垂直距离的dy处该参数为
w+dw则称为该物理参数的梯度，也即该物理参数的变化率。如果参数为速度、浓度、温度
或空间，则分别称为速度梯度、浓度梯度、温度梯度或空间梯度。其中温度梯度在直角坐标
系下的表达式如右图。
di dt dt
gr^d/ —Vr
二-—1 + —j + —
Dx dy ds
在向量微积分中，标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长
最快的方向，梯度的长度是这个最大的变化率。更严格的说，从欧氏空间Rn到R的函数的
梯度是在Rn某一点最佳的线性近似。在这个意义上，梯度是雅戈比矩阵的一个特殊情况。
在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性函数，也就是线的斜率。
梯度一词有时用于斜度，也就是一个曲面沿着给定方向的倾斜程度。可以通过取向量梯度和
所研究的方向的点积来得到斜度。梯度的数值有时也被称为梯度。
在二元函数的情形，设函数z=f(x,y)在平面区域D内具有一阶连续偏导数，则对于每一点
P(x,y) € D,都可以定出一个向量
(S f/x)*i+( S f/y)*j
这向量称为函数z=f(x,y)在点P(x,y)的梯度，记作gradf(x,y)
类似的对三元函数也可以定义一个：(S f/x)*i+( S f/y)*j+( S f/z)*k 记为
grad[f(x,y,z)]
梯度的本意是一个向量(矢量)，表示某一函数在该点处的方向导数沿着该方向取得最大值，
即函数在该点处沿着该方向(此梯度的方向)变化最快，变化率最大(为该梯度的模) 。
定义
方向导数的精确定义(以三元函数为例) ：设三元函数f在点P0 (xO, yO, z0)的某邻域内
有定义，I为从点P0出发的射线，P (x, y, z)为I上且含于邻域内的任一点，以p( rou )
表示P和P0两点间的距离。若极限
p ) = lim (△ l f / p)(当 pf 0 时) 存在，则称此极限为函数 f 在点P0沿方
向I 的方向导数。
雅可比矩阵
Jacobian 矩阵和H essian 矩阵
1. Jacobian
在向动析中.雅可比矩阵是f 備导数以注方式排列咸的矩阵拘预式称为靈可比行列式还有 在」徳几何中「弋数莊经前雅可比星素示张可t 淒：理随區曲绪的一^琢i.茸线可L 丄嚴尢具电它 也全部部以閨?学泉卡尔雅可ttXCan Jacob 16^10月斗曰T3E 年2月让日「命名；英文淮可比 >'Jdcubiai'可以发冒为加剧右［克0 'kJ b 汕］一 禮可比矩時
軽可比矩阵的重要性在于它体现了一?<可«5!方程与给出点胞議忧娃性逼近因此，雅可比矩阵碧Q 于霉 元画数的导数
局2F 氐 t 尺讥是一个从畝式n 維空I 可转换到欧式rr 維空「可的囱就 这个番敌庄m 个真因惣包朿 y1
（U 」叭…，艸図：…,xn ）邃些酗的侶数（如杲荐在）可以组成一个佶洌的矩旌 垃就是所^ 的淮可比矩
阵：
o （ w 丹）
lim ( (f(P)-f(PO)) /
dz]
这个矩I卉的第i行是主样滾函数的转置yi(i-1….m炭示的
如果p杲中的一点.F在p点可微分.那么在这一点的导数田J F(P)给岀(这是求该点导数爵简便的方法).在此售况下,由F(p)超的线性算子即接近点p的F的最优线性逼近,x逼近亍p:
F(x)彩F(p) + J F(P)• (x- p)
雅可比行歹疏
妬杲m二n,那么F是从n姓空间到谯空间的函数旦它的雅可比矩隆是一个方块距阵于是我们可以取它的行列式称为雅可吃亍列式•
SM4给走点的难可比行刃式辰供了在接近该点时的表现的重妾信鱼砌匚如昱连绩可微函数F在p点的雅可比^列式不是零，百吆它在该点附近具有反函敛这称为反遇数左理更进一步,如JRp点的雅可比行列式是正数见P在P点的取向K变-如吴是负数.则F的取向相反丽从雅可比行列式的绝対值,就可以知道函数F在p点的缩放因子；这孰是九什么它出规在换元积分法中.
对于取向问題可以这么理聲•例如Y4SI体在平li上匀速运动如果施加一个正方向的力F.即取向相尽川F連运动,类比于速度的融加連反为正;如果iS加 Y反方向的力F,即取向相反丿yj«速运动, 类比于速辰的号数加速匿为负
