MIT线代笔记

方程组的几何解释

举例一个二元一次方程组

$$ \begin{cases} 2x-y=0 \\-x+2y = 3 \end{cases} $$

从矩阵的概念理解，应该为这样

$$ \begin{bmatrix} 2 &-1 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} x\\y \end{bmatrix} = \begin{bmatrix} 0\\3 \end{bmatrix} $$

称左侧为 系数矩阵A 和 未知数向量X 右侧 变量为B

$$ AX=B $$

行图像

从行图像来看矩阵对应着方程本身，矩阵每行对应着一个方程组，而图像的交点对应着方程组的解和矩阵的解

列图像

矩阵每列对应一个向量，将所有向量配以正确的系数正确组合，从而构成结果，称为"线性组合"

$$ x\begin{bmatrix} 2\\-1 \end{bmatrix}+y\begin{bmatrix} -1\\2 \end{bmatrix}=\begin{bmatrix} 0\\3 \end{bmatrix} $$

对向量的组合，达到最终结果

拓展到三元方程组

$$ \left\{\begin{matrix} 2x-y=0 \\-x+2y-z=-1 \\-3y+4z = 4 \end{matrix}\right. $$

$$ \begin{bmatrix} 2& -1 &0 \\ -1& 2 &-1 \\ 0&-3 &4 \end{bmatrix}\begin{bmatrix} x \\y \\z \end{bmatrix}=\begin{bmatrix} 0 \\-1 \\4 \end{bmatrix} $$

高斯消元法

对方程组

$$ \left\{\begin{matrix} x+2y+z=2\\3x+8y+z=12\\4y+z=2 \end{matrix}\right. $$

对 方程1 乘上系数-3加到 方程2 上，使其消除x，这和平常的方程组消元方式没什么区别，在矩阵上表现为 初等行变换 （对增广矩阵）

$$ \begin{bmatrix} 1 & 2 &1 \\ 3 & 8&1 \\ 0 &4 &1 \end{bmatrix}\Longrightarrow \begin{bmatrix} 1 & 2 &1 \\ 0 & 2&-2 \\ 0 &0 &5 \end{bmatrix} $$

对系数矩阵A消元到上三角形式的矩阵称为U，其中主对角线上的 1 、2、5 称为主元123

行列式的值等于主元之积

消元会失效的情况

• 不能得到3个主元的时候

比如某行的主元恰巧为0的时候，行交换可以解决主元为0的暂时性失效，但当底下的行中再无非0元素时，消元就彻底失效了

回带

将系数矩阵的操作中代入结果向量b，也相当于将系数矩阵扩展成增广矩阵，对b向量进行A->U的过程中的相同操作

$$ \begin{bmatrix} 1 & 2 &1&2 \\ 3 & 8&1 &12\\ 0 &4 &1&2 \end{bmatrix}\Longrightarrow \begin{bmatrix} 1 & 2 &1&2 \\ 0 & 2&-2 &6\\ 0 &0 &5&-10 \end{bmatrix} $$

将b的最终结果[2,6,-10]记为c

致此，矩阵U和向量c的含义如下

$$ \left\{\begin{matrix} x+2y+z=2\\2y-2z=6\\5z=-10 \end{matrix}\right. $$

现在可以轻易按z,y,x的顺序先后求出三个未知数，就是回带的过程

消元矩阵

如何看待矩阵乘法？矩阵乘与某个向量的结果，是矩阵列的线性组合

$$ \begin{bmatrix} x&x&x \\ x&x&x \\ x&x&x \end{bmatrix}\begin{bmatrix} 3 \\4 \\5 \end{bmatrix}=3*col1+4*col2+5*col3 $$

但是矩阵消元用到是行变换而非列，但若一个行向量（1*3矩阵）乘一个矩阵

$$ \begin{bmatrix} 1&2&7 \end{bmatrix}\begin{bmatrix} x&x&x \\ x&x&x \\ x&x&x \end{bmatrix}=1*row1+2*row2+7*row3 $$

这便是对行的线性组合

举个例子，在对矩阵A进行消元的过程中，第一步是将row1*3并在row2中减去，我们需要对矩阵A左乘一个矩阵如下

$$ \begin{bmatrix} 1&0&0\\-3&1&0\\0&0&1 \end{bmatrix} \begin{bmatrix} 1 & 2 &1 \\ 3 & 8&1 \\ 0 &4 &1 \end{bmatrix} = \begin{bmatrix} 1 & 2 &1 \\ 0 &2&-2 \\ 0 &4 &1 \end{bmatrix} $$

表示结果是第一行由1*row1，第二行由-3*row1+1*row2,第三行由1*row3组成的矩阵

用来进行初等变换，就像上式的矩阵称为初等矩阵，记为E,用下标21表示对第二行第一列的变换

对于矩阵

$$ \begin{bmatrix} 1&0&0\\0&1&0\\0&0&1 \end{bmatrix} $$

称为单位矩阵，就像单位1，乘上它不会发生任何变换

总结A到U的所有过程如下

$$ E_{32}(E_{21}A)=U $$

现在讨论，如何一步到位将A变换为U？虽然矩阵乘法不能改变矩阵顺序，但是括号可以随便增删（结合律）

$$ (E_{32}E_{21})A=U $$

对括号中的所有变换统筹记为E，即总的初等矩阵

置换矩阵

对于前面提到过的交换2行的初等矩阵

$$ \begin{bmatrix} 0&1\\1&0 \end{bmatrix} \begin{bmatrix} a&b\\c&d \end{bmatrix} = \begin{bmatrix} c&d\\a&b \end{bmatrix} $$

置换矩阵记作P(Permutation 置换)，当需要进行列变换时，则需要将置换矩阵放在右侧

$$ \begin{bmatrix} a&b\\c&d \end{bmatrix}\begin{bmatrix} 0&1\\1&0 \end{bmatrix} = \begin{bmatrix} b&a\\d&c \end{bmatrix} $$

逆矩阵

求某个初等矩阵（可逆）的逆矩阵，相当于取消该初等变换进行的消元操作。进行行、列的逆变换，使该初等矩阵变换为单位矩阵

$$ \begin{bmatrix} x&x&x\\ x&x&x\\ x&x&x\\ \end{bmatrix} \begin{bmatrix} 1&0&0\\ -3&1&0\\ 0&0&1\\ \end{bmatrix} = \begin{bmatrix} 1&0&0\\ 0&1&0\\ 0&0&1\\ \end{bmatrix} $$

实际上对"第二行减去三倍第一行"的逆操作，就是"在第二行把三倍第一行加回来"

矩阵乘法

假设俩个矩阵A、B相乘，结果为C

$$ AB=C\\ $$

矩阵相乘不一定要大小相通的仿真，但是左侧的列数一定要与右侧的行数相同，假设A为m*n B为n*p 那么结果C 则为m*p

单个元素的求法

对C中i行j列处的元素Cij,其结果等于矩阵A中的第i行与B中的第j列对应元素相乘累加的结果

$$ C_{ij} = \sum Row_{i}(A)*Col_{j}(B)\\ =a_{i1}*b_{1j} + a_{i2}*b_{2j}+a_{i3}*b_{3j}+...+a_{ij}*b_{ij}\\ = \sum a_{ik}*b_{kj} $$

这是常规教材中的矩阵乘法方式，但是有别的方式

从整列、整行 进行考虑

还是AB=C,A为m*n B为n*p,如何用矩阵乘以列？

$$ A*Col_{1}(B) = Col_{1}(C) $$

启示就是，可以将B考虑为单独的列向量，C中的每列是由A中的各列的线性组合，而B中的数字则告诉我们是怎样的组合。

$$ Col_{1}(A)*B = Col_{1}(C) $$

A中的一行乘上B得到C中的一行，C中的各行为B各行的线性组合，而A则告诉我们如何组合。

列*行

如果是前行乘后列，得到的是一个元素

$$ row_{i}(A)*col_{j}(B) = C_{ij} $$

若是列乘行

A中的一列为m*1 B中的一行1*p

将得到一个完整的矩阵,形状为m*p，实际上这是个特殊的矩阵，矩阵的列是列向量的数倍，倍数关系与行向量有关,如果画出所有的行向量/列向量

分块乘法

可以将矩阵分开成块进行相乘

矩阵A B相乘，大小可以是10或者20......，分块的大小不必相同，但是相乘的时候需要匹配

$$ \begin{bmatrix} A_{1}&A_{2}\\ A_{3}&A_{4}\\ \end{bmatrix} \begin{bmatrix} B_{1}&B_{2}\\ B_{3}&B_{4}\\ \end{bmatrix} = \begin{bmatrix} A_{1}B_{1}+A_{2}*B_{3} & A_{1}B_{2}+A_{2}*B_{4}\\ A_{3}B_{1}+A_{4}*B_{3} & A_{3}B_{2}+A_{4}*B_{4}\\ \end{bmatrix} $$

矩阵的逆