MIT线性代数公开课学习笔记

线性代数03.矩阵的乘法和逆本篇为MIT 公开课——线性代数 笔记。

矩阵乘法的运算规则1.⾏乘列乘法⼀般性法则：⾏乘列得到⼀个数。

假设有两个矩阵 A 、B ，并且我们让 A ∗B =C , 可以求得矩阵 C 中 i ⾏ j 列元素：C ij =(row_i at A )(column_j at B )即矩阵 A 中 i ⾏点乘以矩阵 B 中的 j 列，就是矩阵 C 中 i ⾏ j 列的元素。

注意是 “⾏*列”。

例如A =◻◻◻◻◻◻◻◻a 31a 32a 33⋯◻◻◻◻◻◻◻◻B =◻◻◻b 14◻◻◻◻b 24◻◻◻◻b 34◻◻◻◻⋯◻则 矩阵 C 中 第3⾏4列元素为：C 34=a 31b 14+a 32b 24+a 33b 34+⋯+a 3n b n4=n∑k =1a 3k b k4前提条件是矩阵 A 的总列数 必须和矩阵 B 中的总⾏数相等。

假设矩阵 A 是 m ∗n 矩阵，矩阵 B 是 n ∗p 矩阵， 那么 矩阵 C =A ∗B ， 矩阵 C 是 m ∗p 矩阵。

其实很好理解，原来 矩阵A 的⼀⾏与矩阵 B 的⼀列的点乘，可以得到矩阵C 中的⼀个元素，那么 m ⾏乘以 p 列就可以得到 m ∗p 个元素，所以矩阵 C 是 m ∗p 矩阵。

2.矩阵列的线性组合举例：◻◻⋯◻◻⋯⋯⋯⋯◻◻⋯◻◻⋯⋯⋯⋯=◻◻⋯◻◻⋯⋯⋯⋯A ∗B =C矩阵 A 的所有列乘以 B 的列1得到矩阵 C 的列1，矩阵 A 乘以 B 的列2得到矩阵 C 的列2....将矩阵乘法考虑为矩阵乘以向量，矩阵 B 可以看成 p 个单独的列向量，只是这⾥排在⼀起。

⽤矩阵 A 乘以每个列向量，相应得到 矩阵 C 的各列。

矩阵 C 中的各列，是矩阵 A 中各列的线性组合，矩阵 B 表⽰是怎么样的线性组合。

()()()()()Processing math: 100%3.矩阵⾏的线性组合◻◻⋯◻◻⋯⋯⋯⋯◻◻⋯◻◻⋯⋯⋯⋯=◻◻⋯◻◻⋯⋯⋯⋯A ∗B =C同样的例⼦，我们从矩阵⾏的⾓度看，可以看成矩阵 A 的每⼀⾏乘以矩阵 B 所有⾏,可以得到相应矩阵C 的每⼀⾏。

知识概要本节始，们来学习线性代数的有关知识，首节们从解方程谈起，学习线性代数的应用之一就求解复杂方程问题，本节核心之一即为从行图像与列图像的角度解方程。

方程组的几何解释基础：2.1二维的行图像们首先通过一个例子来从行图像角度求解方程：们首先按行将方程写为矩阵形式：系数矩阵(A)：将方程系数按行提取出来，构成一个矩阵。

未知向量(x)：将方程未知数提取出来，按列构成一个向量。

向量(b)：将等号右侧结果按列提取，构成一个向量。

接下来们通过行图像来求解这个方程：所谓行图像，就在系数矩阵上，一次取一行构成方程，在坐标系上作图。

和们在初等数学中学习的作图求解方程的过程无异。

2.2二维的列图像接下来们使用列图像求解此方程：即寻找合适的x，y使得x倍的(2,-1)+y倍的(-1,2)得到最终的向量(0,3)。

很明显能看出来，1倍(2,-1)+2倍(-1,2)即满足条件。

反映在图像上，明显结果正确。

3方程组的几何解释推广3.1高维行图像如果绘制行图像，很明显这一个三个平面相交得到一，们想直接看出这个的性质可谓难上加难。

比较靠谱的思路先联立其中两个平面，使其相交于一条直线，在研究这条直线与平面相交于哪个，最后得到坐标即为方程的解。

这个求解过程对于三维来说或许还算合理，那四维呢?五维甚至更高维数呢?直观上很难直接绘制更高维数的图像，这种行图像受到的限制也越来越多。

3.2高维列图像左侧线性组合，右侧合适的线性组合组成的结果，这样一来思路就清晰多了，“寻找线性组合”成为了解题关键。

很明显这道题一个特例，们只需要取x=0，y=0，z=1。

就得到了结果，这在行图像之中并不明显。

当然，之所以们更。

主 题： 《线性代数》学习笔记 内 容：《线性代数》学习笔记三——矩阵的概念、运算、分块矩阵1． 矩阵概念定义：由mxn 个数a ij (i-1.2,……，m;j=1.2,……,n)排成m 行n 列的数表 ⎪⎪⎪⎪⎪⎭⎫⎝⎛=mn m m n n a a a a a a a a a A 212222111211称为一个mxn 矩阵，a ij 称为第i 行第j 列上的元素，可简记作A=(a ij )mxn 或Amxn ，当m=n 时也称Amxn 为n 阶方阵，可记为An 。

当m=1时，Amxn=(a 11,a 12,……a 1n )称为行矩阵，当n=1时，⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=12111m mxna a a A 称为列矩阵，有元素皆为0的矩阵称为零矩阵，记作0。

对于n 阶方阵An ，称a n ，a 22 ，…，nn a 为A 的全对角线上元素称∑=ni ii a 1为分阵A 的迹，记作tr A ，即tr A =1nii i a 。

当n 阶方阵A 的主对角线以下（上）的所有元素皆为零称A 为上（下）三角形矩阵，除主对角线上元素外其元素皆为零的方阵为对角形矩阵，主对角线上有元素皆为1的对角形矩阵称为单位方阵，记作F 即⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=100010001F 2.矩阵运算1加法A=（ij a ）mxn ，B=（ig b ）mxn 则A+B=（a ij +b ij ）mxn即只有两个矩阵都是mxn 矩阵，也称为同型矩阵，才能做加法运算。

称（－a ij ）mxn 为A 的负矩阵，记作－A ，即－A=（－a ij ）mxn 。

由此可定义A －B=A+（－B ）=（a ij －bij ）mxn 。

证与数的加、减运算类似，矩阵的加法运算满足 （1）A+B=B+A （交换律）（2）（A+B ）+C=A+（B+C ）（结合律） （3）A+O=O+A=A ，（4）A+（－A ）=（－A ）+A=O 2．数乘：设K 是一个数， mxnijmxnA a 则R 与矩阵A 相乘定义为111212122212n n ijmxnm m mnka ka ka ka ka ka kAka ka kaka也就是ka 是指用k 去乘A 的每一个元素，另证，其满足以下规律： （1）K （A+B ）=KA+KB ，（K+L ）A=KA+LA ，（分配律） （2）（KL ）A=K （LA ）=L （KA ），（结合律）， （3）若KA=0，则K=0或A=0。

目录方程组的几何解释 (2)矩阵消元 (3)乘法和逆矩阵 (4)A的LU分解 (6)转置-置换-向量空间R (8)求解AX=0：主变量，特解 (9)求解AX=b：可解性和解的解构 (10)线性相关性、基、维数 (11)四个基本子空间 (12)矩阵空间、秩1矩阵和小世界图 (13)图和网络 (14)正交向量与子空间 (15)子空间投影 (18)投影矩阵与最小二乘 (20)正交矩阵和Gram-Schmidt正交化 (21)特征值与特征向量 (27)对角化和A的幂 (28)微分方程和exp(At)（待处理） (29)对称矩阵与正定性 (29)正定矩阵与最小值 (31)相似矩阵和若尔当型（未完成） (32)奇异值分解(SVD) (33)线性变换及对应矩阵 (34)基变换和图像压缩 (36)NOTATIONp：projection vectorP：projection matrixe：error vectorP：permutation matrixT：transport signC(A)：column spaceN(A)：null spaceU：upper triangularL：lower triangularE：elimination matrixQ：orthogonal matrix, which means the column vectors are orthogonalE：elementary/elimination matrix, which always appears in the elimination of matrix N：null space matrix, the “solution matrix” of AX=0R：reduced matrix, which always appears in the triangular matrix, “IF00”I：identity matrixS：eigenvector matrixΛ：eigenvalue matrixC：cofactor matrix关于LINER ALGEBA名垂青史的分析方法：由具象到抽象，由二维到高维。

04184线性代数(经管类)课堂笔记-红字重点第一章行列式1.1行列式的定义（一）一阶、二阶、三阶行列式的定义（1）定义：符号叫一阶行列式，它是一个数，其大小规定为：。

注意：在线性代数中，符号不是绝对值。

例如，且；（2）定义：符号叫二阶行列式，它也是一个数，其大小规定为：所以二阶行列式的值等于两个对角线上的数的积之差。

（主对角线减次对角线的乘积）例如（3）符号叫三阶行列式，它也是一个数，其大小规定为例如=0三阶行列式的计算比较复杂，为了帮助大家掌握三阶行列式的计算公式，我们可以采用下面的对角线法记忆方法是：在已给行列式右边添加已给行列式的第一列、第二列。

我们把行列式左上角到右下角的对角线叫主对角线，把右上角到左下角的对角线叫次对角线，这时，三阶行列式的值等于主对角线的三个数的积与和主对角线平行的线上的三个数的积之和减去次对角线三个数的积与次对角线的平行线上数的积之和。

例如：（1）=1某5某9+2某6某7+3某4某8-3某5某7-1某6某8-2某4某9=0（2）（3）（2）和（3）叫三角形行列式，其中（2）叫上三角形行列式，（3）叫下三角形行列式，由（2）（3）可见，在三阶行列式中，三角形行列式的值为主对角线的三个数之积，其余五项都是0，例如解因为所以8-3a=0，时例2当某取何值时，解：.解得0所以当0它由n行、n列元素（共个元素）组成，称之为n阶行列式。

其中，每一个数称为行列式的一个元素，它的前一个下标i称为行标，它表示这个数在第i行上；后一个下标j称为列标，它表示这个数在第j列上。

所以在行列式的第i行和第j列的交叉位置上。

为叙述方便起见，我们用(i,j)表示这个位置。

n阶行列式通常也简记作。

也是一个数，至于它的值的计算方法需要引入下面两个概念。

（1）在n阶行列式中，划去它的第i行和第j列，余下的数按照原来相对顺序组成的一个(n-1)阶行列式叫元素的余子式，记作例如，在三阶行列式中，的余子式表示将三阶行列式划去第1行和第1列后，余下的数按照相对位置组成的二阶行列式，所以相似地，的余子式表示将三阶行列式划去第二行和第三列后，余下的数组成的二阶行列式。

线性代数（笔记四）MIT公开课（来源⽹易云课堂）线性代数（笔记四）课程来源：（课程链接）作者简述：作者为⼀名正在读研的学⽣，⾃⼰的数学状态较差。

本科期间所学均能算跟得上，⽽且通过⾃⼰的努⼒经过了研究⽣考试。

但是对数学的理解并不透彻，只是根据课上所学去做题⽽已。

如今科研中，许多过程均需要⽤到所学的数学知识，然⽽⼀个好的理解和⼀个扎实的基础才是科研之本。

数学虽然是作为⼀种⼯具，如果不了解含义，⽆论是是使⽤上还是在其基础之上进⾏修改均显得⽀⽀吾吾。

于是决定重新学习线性代数相关知识，并做此笔记以供复习或和他⼈分享。

⽤途：此系列⽂章均是作者在课上所学及其⾃⼰相关的数学思想所做的笔记，如有理解错误之处还望⼤家指出。

本系列⽂章均可不咨询情况下任意转载和学习（不可商⽤）。

作者研究⽅向为机器学习，如果有相同⽅向的⼩伙伴想⼀起学习，请加QQ123854340（备注来源博客），如果⼈数较多还可能建群。

同时发现⽂章中有错误之处也请发邮件到。

在上节课中，我们介绍了矩阵乘法的五种⽅法。

同时引出了矩阵的逆，并利⽤前⼏节课的知识对逆进⾏理解及求解。

在这节课中，我们⾸先介绍求解逆矩阵的⼏个基本的公式，然后在消元的基础上来叙述A的LU分解。

⼀、逆的基本公式在这⾸先介绍两个逆的基本公式，并且给出其推导⽅法。

这样我们就可以从定义的⾓度进⾏理解，⽽⾮死记硬背。

1、由定义⽽来的最基本的公式AA~ = I = A~A（~为逆），这⾥两个矩阵的乘法可以交换顺序。

2、求矩阵A和矩阵B的乘积AB的逆矩阵。

具体推导过程如下：AB（？） = I ，我们想求解？所表⽰的矩阵是什么。

不难看出ABB~A~ = I，由结合律可以很明显的表现出A（BB~）A~ = I，再由结合律可以看出（AB）（B~A~）= I。

则由此可以得出？所表⽰的矩阵为B~A~。

AB的逆为B~A~，这⾥的乘积顺序发⽣了变化。

在视频中教授开了⼀个玩笑说。

这就好⽐穿了袜⼦再穿鞋的相反动作那就是得要先脱鞋再拖袜⼦。

主 题： 《线性代数》学习笔记 内 容：《线性代数》学习笔记一——行列式的定义和性质1、二、三阶行列式的定义解二元线性方程组 a 11x 1+a 12x 2=b 1a 21x 1=a 22x 2=b 2用消元法去x 2得 （a 11a 22-a 12a 21）x 1=b 1a 22-b 2a 12, 消去x 1得 （a 11a 22-a 12a 21）x 2=a 11b 2-a 21b 1, 当a 11a 22-a 12a 21≠0时，得出211222*********a a a a a b a b x --=， 211222111212112a a a a b a b a x --=分子与分母都是由4个数构成的两对乘积之差，例如分母是由方程的4个系数确定的，若将4个系数按出现在方程中的相对位置排成二行（横为行）二列（纵为列）的数表a 11 a 12 a 21 a 22a 11a 22-a 12a 21就是二对角线上两个数乘积之差定义1 a 11a 22-a 12a 12称为由数表 a 11 a 12 a 21 a 22确定的二阶行列式，记作：11122122,,a a a a 改为 11122122a a a a 即1112112212212122a a a a a a a a数a ij (i,j=1,2)称为行列式的元素，a ij 的第一个下标i 称为行标，第二个下标j称为列标，a ij 表示该元素在第i 行，第j 列。

由以上定义知： 222121122221,,a b a b a b a b =- ，221111121211b a b a b a b a =- 把行列式中元素间的逗号去掉，两个元素间应该有空格。

于是以上所得的方程组的解完全可以用行列式表示。

仿照以上解二元联立方程组，用消元法解三元联立方程组⎪⎩⎪⎨⎧=++=++=++333323213123232221211313212111bx a x a x a b x a x a x a b x a x a x a 可以引出三阶行列式的概念。

主 题： 《线性代数》学习笔记 内 容：《线性代数》学习笔记十二 ——二次型1、二次型的矩阵表示 定义1 n 个变量12,,n x x x 的二次齐次多项式212111121211(,,)22n n n f x x x a x a x x a x x =+++2222223232222n n na x a x x a x x ax ++++++称为n 元二次型，简称二次型(quadratic form).当ij a 为复数时，称f 为复二次型；当ij a 为实数时，称f 为实二次型.我们仅讨论实二次型. 取ij ji a a =,于是上式可写为二次型f 的和式表示.212111121211221122222221122(,,)n n n n nn n n n nf x x x a x a x x a x x a x x a x a x x a x x a x x ax =+++++++++++11n nij i ji j a x x ===∑∑二次型f 的矩阵表示1112111222221212(,,,)n n n n n nn n a a a x a a a x f x x x a a a x ⎛⎫⎛⎫ ⎪⎪= ⎪⎪ ⎪⎪⎪⎪⎝⎭⎝⎭A '=x x 这里，显然有A A '=，即A 为实对称矩阵. 例如：二次型用矩阵可表示为()22223120213,,1223012f x y z xy yz x x y z y z =-+-+⎛⎫- ⎪⎛⎫ ⎪ ⎪=-- ⎪ ⎪ ⎪⎝⎭ ⎪ ⎪⎝⎭二次型f 还可表示成向量内积形式()[][]f A A A '==x x x =x,x x,x .二次型与对称矩阵之间存在一一对应关系.由此可见，如果,A B 都是n 阶对称矩阵，且f A B ''=x x =x x ，则A B =.因此，若f A '=x x ，其中A A '=，则称A 为二次型f 的矩阵；称f 为对称矩阵A 的二次型；称()R A 为f 的秩. 例1 写出二次型221231233(,,)(22)f x x x x x x x =++-的矩阵A ，并求f 的秩. 2、二次型的标准形对于二次型11n nij i ji j f a x x ===∑∑，我们讨论的主要问题是：寻找可逆的线性变换C x =y ，使二次型只含平方项，使得2221122n nf y y y λλλ=+++，称为二次型f 的标准形.即2221122112212()(,,).n nn n n f A C AC y y y y y y y y y '''=+++⎛⎫⎛⎫ ⎪⎪'==Λ ⎪⎪ ⎪⎪⎪⎪⎝⎭⎝⎭x x =y y =y y λλλλλλ其中Λ=diag 12(,,,)n λλλ.因此，我们的问题就转化为：对给定对称矩阵A ，求可逆矩阵C ，使得C AC '为对角阵.一般地，有以下定义：定义2 设,A B 为n 阶矩阵，若有可逆矩阵C ，使B C AC '=，则称A 与B 合同. 因为若C 可逆，则C '也可逆，所以，由定义，若A 与B 合同，则A 与B 等价.从而，我们有（1）矩阵的合同关系具有反身性：A E AE '=；对称性：由B C AC '=即得11()A C BC --'=；和传递性：由111A C AC '=和2212A C AC '=即得21212()()A C C A C C '=； （2）若A 与B 合同，则()()R A R B =.（3）若A 是对称矩阵，且若A 与B 合同，则B 也是对称矩阵. 3。

干货MIT线性代数课程精细笔记[第二课]1知识概要这一节中我们介绍一下消元法，即是上一节中我们提到的“系统化”求解方程所用的方法，通过矩阵消元运算可以很轻松地求解复杂方程。

另外还介绍了消元矩阵，即我们的消元运算在矩阵乘法中所表现的形式。

并从消元矩阵引入，介绍逆矩阵的基础知识。

2消元法求解方程2.1 消元法介绍对于一些“好”的系数矩阵（可逆矩阵）A 来说，我们可以使用消元法来求解方程Ax = b，我们还是从一个例子谈起。

所谓矩阵的消元法，与我们初等数学中学习的解二元一次方程组的消元法其实师出同门，都是通过将不同行的方程进行消元运算来简化方程，最后能得到简化的方程组，只不过这里我们把系数单独抽出来进行运算，寻找一种矩阵情况下的普遍规律而已。

注：并不是所有的A 矩阵都可消元处理，需要注意在我们消元过程中，如果主元位置（左上角）为0，那么意味着这个主元不可取，需要进行“换行”处理：首先看它的下一行对应位置是不是0，如果不是，就将这两行位置互换，将非零数视为主元。

如果是，就再看下下行，以此类推。

若其下面每一行都看到了，仍然没有非零数的话，那就意味着这个矩阵不可逆，消元法求出的解不唯一。

下面是三个例子：2.2 回带求解其实回带求解应该和消元法同时进行，只不过本课中以及一些软件工作原理中它们是先后进行的，所以我们这里分开讨论，先介绍增广矩阵：一下子就看出来了，就是把系数矩阵A 和向量b 拼接成一个矩阵就行了。

3消元矩阵3.1 行向量与矩阵的乘法上面的消元法是从简单的变换角度介绍了消元的具体操作，接下来我们需要用矩阵来表示变换的步骤，这也十分有必要，因为这是一种“系统地”变换矩阵的方法。

导致错误。

其实学过矩阵之间的乘法之后这些东西都极为简单，但这里还是建议大家尽量从向量的角度去考虑问题。

好的，接下来是重点。

学会了行向量与矩阵之间的乘法，我们就可以使用行向量对矩阵的行做操作了。

所谓消元矩阵，就是将消元过程中的行变换转化为矩阵之间的乘法形式。

线性代数学习笔记——第⼀章线性代数学习笔记——第⼀章⽼规矩，不放图，没找到合适的图床平台⼆阶三阶⾏列式⾏列式⼀定是⽅的。

排列：由1,2,...,n组成的⼀个有序数组叫n级排列，中间不能缺数。

逆序：⼤数排在⼩数前⾯。

逆序数：逆序的总数。

奇排列：逆序数为奇数的排列。

偶排列：逆序数为偶数的排列。

标准排列：逆序数为0的排列，也称为⾃然排列。

（由n个数构成的逆序数为0的排列称为N级标准排列）对换：交换排列中的两个数。

定理：1、⼀个排列每做⼀次对换，排列奇偶性改变。

2、在所有的N级排列中，奇排列和偶排列的数量相等，各占：n!2。

⼆阶三阶⾏列式按⾏展开：⾏标取标准排列。

列标取排列的所有可能，从不同⾏不同列取出n个元素相乘。

⼀共有N!项。

每⼀项的符号由列标排列的奇偶性决定。

按列展开：列标取标准排列。

⾏标取n级排列的所有可能。

⼀共有N!项。

每⼀项的符号由⾏标排列的奇偶性决定。

既不按⾏展开，也不按列展开：⾏标和列标都取n级排列的所有可能。

⼀共有n!项。

符号由⾏标和列标的奇偶性共同决定。

如下图：特殊结构⾏列式：上三⾓⾏列式下三⾓⾏列式对⾓型⾏列式以上三种的值都为主对⾓线元素相乘。

⼭寨版上三⾓⾏列式⼭寨版下三⾓⾏列式⼭寨版对⾓型⾏列式以上三种的值都等于次对⾓线元素相乘，符号由(−1)n(n−1)2决定。

⾏列式的性质转置：将⾏列式的⾏做成列，转置记作：D T或D'（T表⽰Transformers）。

⾏列式转置后值不变。

⾏列式转置的转置等于本⾝。

性质：⾏列式两⾏互换，值变号。

⾏列式两⾏（列）对应相等，⾏列式等于零。

⾏列式D某⼀⾏（列）元素都乘以数k，等于k乘以⾏列式D。

⾏列式两⾏（列）对应成⽐例，⾏列式等于零。

推论：⾏列式某⾏（列）都为零时，⾏列式为零。

提取公因⼦0，则0提到外⾯后乘以⾏列式肯定等于0。

根据⾏列式展开的定义来理解，展开项不同⾏不同列取到的元素肯定会包含0，所以⾏列式必然等于零。

引申：⾏列式两⾏（列）对应成⽐例；⾏列式两⾏（列）相等；⾏列式某⾏均为零；可以推出⾏列式为零，但是反过来，⾏列式为零，上述三个条件可能都不成⽴。