MIT线性代数中文笔记

知识概要本节始，们来学习线性代数的有关知识，首节们从解方程谈起，学习线性代数的应用之一就求解复杂方程问题，本节核心之一即为从行图像与列图像的角度解方程。

方程组的几何解释基础：2.1二维的行图像们首先通过一个例子来从行图像角度求解方程：们首先按行将方程写为矩阵形式：系数矩阵(A)：将方程系数按行提取出来，构成一个矩阵。

未知向量(x)：将方程未知数提取出来，按列构成一个向量。

向量(b)：将等号右侧结果按列提取，构成一个向量。

接下来们通过行图像来求解这个方程：所谓行图像，就在系数矩阵上，一次取一行构成方程，在坐标系上作图。

和们在初等数学中学习的作图求解方程的过程无异。

2.2二维的列图像接下来们使用列图像求解此方程：即寻找合适的x，y使得x倍的(2,-1)+y倍的(-1,2)得到最终的向量(0,3)。

很明显能看出来，1倍(2,-1)+2倍(-1,2)即满足条件。

反映在图像上，明显结果正确。

3方程组的几何解释推广3.1高维行图像如果绘制行图像，很明显这一个三个平面相交得到一，们想直接看出这个的性质可谓难上加难。

比较靠谱的思路先联立其中两个平面，使其相交于一条直线，在研究这条直线与平面相交于哪个，最后得到坐标即为方程的解。

这个求解过程对于三维来说或许还算合理，那四维呢?五维甚至更高维数呢?直观上很难直接绘制更高维数的图像，这种行图像受到的限制也越来越多。

3.2高维列图像左侧线性组合，右侧合适的线性组合组成的结果，这样一来思路就清晰多了，“寻找线性组合”成为了解题关键。

很明显这道题一个特例，们只需要取x=0，y=0，z=1。

就得到了结果，这在行图像之中并不明显。

当然，之所以们更。

主 题： 《线性代数》学习笔记 内 容：《线性代数》学习笔记三——矩阵的概念、运算、分块矩阵1． 矩阵概念定义：由mxn 个数a ij (i-1.2,……，m;j=1.2,……,n)排成m 行n 列的数表 ⎪⎪⎪⎪⎪⎭⎫⎝⎛=mn m m n n a a a a a a a a a A 212222111211称为一个mxn 矩阵，a ij 称为第i 行第j 列上的元素，可简记作A=(a ij )mxn 或Amxn ，当m=n 时也称Amxn 为n 阶方阵，可记为An 。

当m=1时，Amxn=(a 11,a 12,……a 1n )称为行矩阵，当n=1时，⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=12111m mxna a a A 称为列矩阵，有元素皆为0的矩阵称为零矩阵，记作0。

对于n 阶方阵An ，称a n ，a 22 ，…，nn a 为A 的全对角线上元素称∑=ni ii a 1为分阵A 的迹，记作tr A ，即tr A =1nii i a 。

当n 阶方阵A 的主对角线以下（上）的所有元素皆为零称A 为上（下）三角形矩阵，除主对角线上元素外其元素皆为零的方阵为对角形矩阵，主对角线上有元素皆为1的对角形矩阵称为单位方阵，记作F 即⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=100010001F 2.矩阵运算1加法A=（ij a ）mxn ，B=（ig b ）mxn 则A+B=（a ij +b ij ）mxn即只有两个矩阵都是mxn 矩阵，也称为同型矩阵，才能做加法运算。

称（－a ij ）mxn 为A 的负矩阵，记作－A ，即－A=（－a ij ）mxn 。

由此可定义A －B=A+（－B ）=（a ij －bij ）mxn 。

证与数的加、减运算类似，矩阵的加法运算满足 （1）A+B=B+A （交换律）（2）（A+B ）+C=A+（B+C ）（结合律） （3）A+O=O+A=A ，（4）A+（－A ）=（－A ）+A=O 2．数乘：设K 是一个数， mxnijmxnA a 则R 与矩阵A 相乘定义为111212122212n n ijmxnm m mnka ka ka ka ka ka kAka ka kaka也就是ka 是指用k 去乘A 的每一个元素，另证，其满足以下规律： （1）K （A+B ）=KA+KB ，（K+L ）A=KA+LA ，（分配律） （2）（KL ）A=K （LA ）=L （KA ），（结合律）， （3）若KA=0，则K=0或A=0。

线性代数07.Ax=0：主变量，特解本篇为MIT公开课——线性代数笔记。

这节课开始我们将把重点转向如何在空间中计算出向量，由定义转向算法。

Ax=0的求解求解Ax=0 的算法就是消元。

举例A=1222 2468 36810消元E21、E31消元：主元是第⼀⾏第⼀列的"1",结果为122200240024发现主元2出现0，⽽且⾏交换⽆效，说明：第⼆列相关于第⼀列，所以我们不去管第⼆列，继续找主元2：第⼆⾏第三列 "2".继续消元E33消元，结果为阶梯形式矩阵U122200240000=U消元完后，就变成求解Ux=0 。

秩这个例⼦中，矩阵的主元的数量只有 2 ,该数字称为矩阵的 “秩”（rank）。

它的意义就是表⽰主元的个数。

主列和⾃由列主列：主元所在的列。

其他列称为⾃由列。

该例⼦中，主列是列 1 和列 3.⾃由列是列 2 和列 4 .⾃由列的意思是，可以⾃由或任意分配数值给对应列的未知数。

我们可以对列⼆和列四的乘数项x2、x4任意取值。

然后只需要求解x1和x3.取值：x=◻1◻0()()()() Processing math: 100%回代和特解x 1+2x 2+2x 3+2x 4=02x 3+4x 4=0可以求得x =−2100这是零空间的⼀个向量，也是Ax =0 的⼀个解。

将她乘以任意倍数，就能得到四维空间中⼀条⽆限延申的直线。

x =c−2100但它不是整个零空间，因为 x 2、x 4 还可以取其他的值。

取值：x =◻0◻1可以求得另⼀个零空间中的向量：x =d20−21这样我们就得到零空间中的两个向量，下⾯我们就能求出整个零空间。

Ax =0 的所有解。

这两个解称为特解，即特定的解。

特定在于给⾃由变量分配特定值。

给⾃由变量分配的是0和1. 每对⾃由变量都对应着⼀个特解。

两个特解的所有的线性组合就是整个零空间。

即x =c−2100+d20−21总结对于m ∗n 矩阵，n 变量，若 秩 r =2，主变量就有 r 个，⾃由变量 就有 n −r 。

线性代数（笔记四）MIT公开课（来源⽹易云课堂）线性代数（笔记四）课程来源：（课程链接）作者简述：作者为⼀名正在读研的学⽣，⾃⼰的数学状态较差。

本科期间所学均能算跟得上，⽽且通过⾃⼰的努⼒经过了研究⽣考试。

但是对数学的理解并不透彻，只是根据课上所学去做题⽽已。

如今科研中，许多过程均需要⽤到所学的数学知识，然⽽⼀个好的理解和⼀个扎实的基础才是科研之本。

数学虽然是作为⼀种⼯具，如果不了解含义，⽆论是是使⽤上还是在其基础之上进⾏修改均显得⽀⽀吾吾。

于是决定重新学习线性代数相关知识，并做此笔记以供复习或和他⼈分享。

⽤途：此系列⽂章均是作者在课上所学及其⾃⼰相关的数学思想所做的笔记，如有理解错误之处还望⼤家指出。

本系列⽂章均可不咨询情况下任意转载和学习（不可商⽤）。

作者研究⽅向为机器学习，如果有相同⽅向的⼩伙伴想⼀起学习，请加QQ123854340（备注来源博客），如果⼈数较多还可能建群。

同时发现⽂章中有错误之处也请发邮件到。

在上节课中，我们介绍了矩阵乘法的五种⽅法。

同时引出了矩阵的逆，并利⽤前⼏节课的知识对逆进⾏理解及求解。

在这节课中，我们⾸先介绍求解逆矩阵的⼏个基本的公式，然后在消元的基础上来叙述A的LU分解。

⼀、逆的基本公式在这⾸先介绍两个逆的基本公式，并且给出其推导⽅法。

这样我们就可以从定义的⾓度进⾏理解，⽽⾮死记硬背。

1、由定义⽽来的最基本的公式AA~ = I = A~A（~为逆），这⾥两个矩阵的乘法可以交换顺序。

2、求矩阵A和矩阵B的乘积AB的逆矩阵。

具体推导过程如下：AB（？） = I ，我们想求解？所表⽰的矩阵是什么。

不难看出ABB~A~ = I，由结合律可以很明显的表现出A（BB~）A~ = I，再由结合律可以看出（AB）（B~A~）= I。

则由此可以得出？所表⽰的矩阵为B~A~。

AB的逆为B~A~，这⾥的乘积顺序发⽣了变化。

在视频中教授开了⼀个玩笑说。

这就好⽐穿了袜⼦再穿鞋的相反动作那就是得要先脱鞋再拖袜⼦。

MIT线性代数公开课学习笔记在MIT公开课《线性代数》中，我学习到了许多有关线性代数的基本知识和应用。

线性代数是一门研究向量空间和线性映射的数学学科，不仅在数学领域有广泛的应用，还在计算机科学、物理学、经济学等领域中有着重要的作用。

本文将着重讨论我在这门课程中学到的内容和理解。

几何矢量和向量空间线性代数的基础是对几何矢量和向量空间的研究。

在课程中，我了解到几何矢量是具有大小和方向的物理量，可以通过箭头表示。

向量空间是指由一组向量所张成的空间，具有加法和数乘运算，并且满足一定的公理。

通过学习几何矢量和向量空间的性质，我可以更好地理解线性代数的基本概念和操作。

矩阵和线性变换矩阵是线性代数中的重要概念之一，它是一个由元素排列成矩形的数表。

在课程中，我学习到了矩阵的代数运算和性质，并了解了矩阵和线性方程组之间的关系。

线性变换是指将一个向量空间映射到另一个向量空间的操作。

通过矩阵的乘法运算，我可以更方便地描述和计算线性变换。

特征值和特征向量特征值和特征向量是线性代数中的重要概念，它们在矩阵和线性变换的理解中起到了关键作用。

在课程中，我学习到了如何通过计算特征值和特征向量来分析矩阵的性质和行为。

特征值表示线性变换在某个方向上的缩放比例，而特征向量则表示在该方向上的不变性。

通过对特征值和特征向量的计算和分析，我可以更好地理解线性代数的应用。

内积和正交性内积是指将两个向量进行运算得到一个标量的操作，它在线性代数中有着重要的应用。

在课程中，我学习到了内积的性质和计算方法，并了解了内积和向量的夹角之间的关系。

正交性是指两个向量之间的夹角为90度，它在很多实际问题中具有重要的性质。

通过学习内积和正交性的概念，我可以更好地理解向量的投影和正交基的概念。

奇异值分解和最小二乘法奇异值分解（Singular Value Decomposition，简称SVD）是线性代数中一种重要的矩阵分解方法，它将一个矩阵分解为三个矩阵的乘积。

主 题： 《线性代数》学习笔记 内 容：《线性代数》学习笔记一——行列式的定义和性质1、二、三阶行列式的定义解二元线性方程组 a 11x 1+a 12x 2=b 1a 21x 1=a 22x 2=b 2用消元法去x 2得 （a 11a 22-a 12a 21）x 1=b 1a 22-b 2a 12, 消去x 1得 （a 11a 22-a 12a 21）x 2=a 11b 2-a 21b 1, 当a 11a 22-a 12a 21≠0时，得出211222*********a a a a a b a b x --=， 211222111212112a a a a b a b a x --=分子与分母都是由4个数构成的两对乘积之差，例如分母是由方程的4个系数确定的，若将4个系数按出现在方程中的相对位置排成二行（横为行）二列（纵为列）的数表a 11 a 12 a 21 a 22a 11a 22-a 12a 21就是二对角线上两个数乘积之差定义1 a 11a 22-a 12a 12称为由数表 a 11 a 12 a 21 a 22确定的二阶行列式，记作：11122122,,a a a a 改为 11122122a a a a 即1112112212212122a a a a a a a a数a ij (i,j=1,2)称为行列式的元素，a ij 的第一个下标i 称为行标，第二个下标j称为列标，a ij 表示该元素在第i 行，第j 列。

由以上定义知： 222121122221,,a b a b a b a b =- ，221111121211b a b a b a b a =- 把行列式中元素间的逗号去掉，两个元素间应该有空格。

于是以上所得的方程组的解完全可以用行列式表示。

仿照以上解二元联立方程组，用消元法解三元联立方程组⎪⎩⎪⎨⎧=++=++=++333323213123232221211313212111bx a x a x a b x a x a x a b x a x a x a 可以引出三阶行列式的概念。

主 题： 《线性代数》学习笔记 内 容：《线性代数》学习笔记十二 ——二次型1、二次型的矩阵表示 定义1 n 个变量12,,n x x x 的二次齐次多项式212111121211(,,)22n n n f x x x a x a x x a x x =+++2222223232222n n na x a x x a x x ax ++++++称为n 元二次型，简称二次型(quadratic form).当ij a 为复数时，称f 为复二次型；当ij a 为实数时，称f 为实二次型.我们仅讨论实二次型. 取ij ji a a =,于是上式可写为二次型f 的和式表示.212111121211221122222221122(,,)n n n n nn n n n nf x x x a x a x x a x x a x x a x a x x a x x a x x ax =+++++++++++11n nij i ji j a x x ===∑∑二次型f 的矩阵表示1112111222221212(,,,)n n n n n nn n a a a x a a a x f x x x a a a x ⎛⎫⎛⎫ ⎪⎪= ⎪⎪ ⎪⎪⎪⎪⎝⎭⎝⎭A '=x x 这里，显然有A A '=，即A 为实对称矩阵. 例如：二次型用矩阵可表示为()22223120213,,1223012f x y z xy yz x x y z y z =-+-+⎛⎫- ⎪⎛⎫ ⎪ ⎪=-- ⎪ ⎪ ⎪⎝⎭ ⎪ ⎪⎝⎭二次型f 还可表示成向量内积形式()[][]f A A A '==x x x =x,x x,x .二次型与对称矩阵之间存在一一对应关系.由此可见，如果,A B 都是n 阶对称矩阵，且f A B ''=x x =x x ，则A B =.因此，若f A '=x x ，其中A A '=，则称A 为二次型f 的矩阵；称f 为对称矩阵A 的二次型；称()R A 为f 的秩. 例1 写出二次型221231233(,,)(22)f x x x x x x x =++-的矩阵A ，并求f 的秩. 2、二次型的标准形对于二次型11n nij i ji j f a x x ===∑∑，我们讨论的主要问题是：寻找可逆的线性变换C x =y ，使二次型只含平方项，使得2221122n nf y y y λλλ=+++，称为二次型f 的标准形.即2221122112212()(,,).n nn n n f A C AC y y y y y y y y y '''=+++⎛⎫⎛⎫ ⎪⎪'==Λ ⎪⎪ ⎪⎪⎪⎪⎝⎭⎝⎭x x =y y =y y λλλλλλ其中Λ=diag 12(,,,)n λλλ.因此，我们的问题就转化为：对给定对称矩阵A ，求可逆矩阵C ，使得C AC '为对角阵.一般地，有以下定义：定义2 设,A B 为n 阶矩阵，若有可逆矩阵C ，使B C AC '=，则称A 与B 合同. 因为若C 可逆，则C '也可逆，所以，由定义，若A 与B 合同，则A 与B 等价.从而，我们有（1）矩阵的合同关系具有反身性：A E AE '=；对称性：由B C AC '=即得11()A C BC --'=；和传递性：由111A C AC '=和2212A C AC '=即得21212()()A C C A C C '=； （2）若A 与B 合同，则()()R A R B =.（3）若A 是对称矩阵，且若A 与B 合同，则B 也是对称矩阵. 3。

干货MIT线性代数课程精细笔记[第二课]1知识概要这一节中我们介绍一下消元法，即是上一节中我们提到的“系统化”求解方程所用的方法，通过矩阵消元运算可以很轻松地求解复杂方程。

另外还介绍了消元矩阵，即我们的消元运算在矩阵乘法中所表现的形式。

并从消元矩阵引入，介绍逆矩阵的基础知识。

2消元法求解方程2.1 消元法介绍对于一些“好”的系数矩阵（可逆矩阵）A 来说，我们可以使用消元法来求解方程Ax = b，我们还是从一个例子谈起。

所谓矩阵的消元法，与我们初等数学中学习的解二元一次方程组的消元法其实师出同门，都是通过将不同行的方程进行消元运算来简化方程，最后能得到简化的方程组，只不过这里我们把系数单独抽出来进行运算，寻找一种矩阵情况下的普遍规律而已。

注：并不是所有的A 矩阵都可消元处理，需要注意在我们消元过程中，如果主元位置（左上角）为0，那么意味着这个主元不可取，需要进行“换行”处理：首先看它的下一行对应位置是不是0，如果不是，就将这两行位置互换，将非零数视为主元。

如果是，就再看下下行，以此类推。

若其下面每一行都看到了，仍然没有非零数的话，那就意味着这个矩阵不可逆，消元法求出的解不唯一。

下面是三个例子：2.2 回带求解其实回带求解应该和消元法同时进行，只不过本课中以及一些软件工作原理中它们是先后进行的，所以我们这里分开讨论，先介绍增广矩阵：一下子就看出来了，就是把系数矩阵A 和向量b 拼接成一个矩阵就行了。

3消元矩阵3.1 行向量与矩阵的乘法上面的消元法是从简单的变换角度介绍了消元的具体操作，接下来我们需要用矩阵来表示变换的步骤，这也十分有必要，因为这是一种“系统地”变换矩阵的方法。

导致错误。

其实学过矩阵之间的乘法之后这些东西都极为简单，但这里还是建议大家尽量从向量的角度去考虑问题。

好的，接下来是重点。

学会了行向量与矩阵之间的乘法，我们就可以使用行向量对矩阵的行做操作了。

所谓消元矩阵，就是将消元过程中的行变换转化为矩阵之间的乘法形式。