而自由列上的元素意味着可以随便取值，当然也可以取非零值！拿第一行来说：

它所对应的方程可以表示为：k1-0.5*k2 = 0，也就是k1 = 0.5*k2，是不是k2可以随便取一个值都有一个对应的k1？而k1取非零值是是不是就意味着咱们的向量是线性相关的，所以对于自由列的个数，为可以表示为其他向量线性组合的向量个数，也就是可以删掉的，回到咱们这个例子来看：

这个向量就可以删掉了，而主元列的个数，为线性无关的向量个数，所以可以看出主元列的个数既为向量生成空间的维度！另外一个专列名词又出现了：

主元列的个数，为列秩(Column Ranke)，跟行秩对应的。

所以与行秩之对应的就有如下结论了：

m行n列，列空间是m维空间的子空间；

一个矩阵的行最简形式的主元列数量称为矩阵的列秩；

列空间的维度，为矩阵的列秩；

那既然能求出列空间的维度了，那能否求出列空间的一组基【注意这个是跟行空间有区别的地方】？其实就是将其系数矩阵化为行最简形式：

由于自由列可以表示其它列的线性组合，所以可以很放心的将其删除掉，剩下的主元列则全是线性无关的，所以：

主元列的对应原矩阵的列，是列空间的一组基。一定要注意：

这里一定要跟行空间求基的进行对比，回忆一下：

这是因为行最简形式本身就是原矩阵的行进行行操作得来的，所以在上面也证明了行最简形式的行空间跟原矩阵的行空间是一个空间，但是！！这个性质在列空间中是不存在的，由于列矩阵在化为行最简形式时是对行进行变换，而非列，所以最终化为行最简形式的列已经跟原来矩阵的列没有关系了，这点一定要清楚。

所以总结列空间基的求法就是：行最简形式主元列的对应原矩阵的列，是列空间的一组基。最后为了区别行空间和列空间下面对其对比总结一下【重要】：

对于一个m行n列的矩阵：行空间：1、行空间是n维空间的子空间；

2、行最简形式的非零行个数为矩阵的行秩；

3、行空间的维度，为矩阵的行秩；

4、行最简形式的非零行，是行空间的一组基；

列空间：1、列空间是m维空间的子空间；

2、行最简形式的主元列数就是矩阵的列秩；3、列空间的维度，为矩阵的列秩；

4、主元列的对应原矩阵的列，是列空间的一组基；

先来回忆一下上面所讲的矩阵的行秩和列秩：

矩阵的列秩是看化为行最简形式的主元列的个数，为2；而对于它的行秩是看化为行最简形式后的非零行的个数：

很显然该矩阵的行秩也为2，也就是矩阵的行秩=矩阵的列秩，这是不是一个巧合呢？其实不是巧合，任何矩阵的行秩跟列秩都相等，下面咱们来证明一下为啥相等：

矩阵的行秩 = 矩阵的列秩
证明：对于任何一个矩阵：

经过高斯约旦消元法，其实最终会化成这样的一个形式：

对于这个矩阵看起来有些晕，下面来解读一下它，对于行最简形式如果有0行一定是在行最简形式的最下面对吧？所以可以在零行与非零行之间画一条分隔线，像这样：

另外对于非零行还可以绘制一条竖线，像这样：

经过这么一个辅助线之后，有啥新发现么？其实是：

其中主元列是一个方阵，但好像咱们之前举的矩阵化为行最简形式之后貌似不是上面的这个样子呀，回忆一下：

很显然不是咱们预期要的那个形式，其实可以做一个变换让其变成预期的行最简形式，也就是让第二列和第三列交换一下位置就行了：

其中左上角主元列的单位矩阵有r行r列：

通过这样的视角通过将矩阵化为行最简形式后它的非0行一定等于主元列数，这不就证明了矩阵的行秩=矩阵的列秩，而且都排在了这个单位矩阵中，抽象来表达上面的矩阵形式，其实也就是：

当然并不是所有的行最简形式都可以化成上面这种形式，可能是没有全0行，这点需要明白。

 既然矩阵的行秩=矩阵的列秩，那么可以统一把它们叫为“矩阵的秩(Rank)”，而秩又可以跟空间挂上勾，也就是矩阵的秩既是行空间的维度，又是列空间的维度，也能进一步推导出“一个矩阵的行空间和列空间维度相等！【注意：并没有说行空间跟列空间相等，而是说维度相等】”，其中对于这个结论“矩阵的秩=矩阵的行秩=矩阵的列秩”有啥用呢？非常有意义，在很多时候就可以快速地做出一些基本判断，比如看下面这个问题：

很明显肉眼直观很难看出来，需要进行一番计算，但是！！！如果将这三个向量写成矩阵的形式【用行的形式还是列的形式组成都无所谓】，这里以行的方式吧，如下：

以列视角一看，第一列和第二列很明显是线性相关了，所以它的列秩肯定<=2，不可能为3，而由于行秩=列秩，所以它生成空间的维度一定是<=2，而你如果以行视角来看很难看出u，v是线性相关对不？所以如果你知道了列秩就很轻松地能知道行秩了，大大加快计算速度。

到目前为止，我们来梳理一下关于行空间与列空间的结论：

对于一个m行m列的矩阵：行空间是n维空间的子空间；列空间是m维空间的子空间；

对于一个n阶方阵(n行n列)：

行空间是n维空间的子空间；列空间是n维空间的子空间；

其中关于标红的n阶方阵有个问题来了：“何时行空间和列空间都是n维空间？”，其实也就是说矩阵的行秩和矩阵的列秩都为n，那不就是矩阵的秩r = n，此时又有一个新概念来了，称这样的n阶方阵为满秩(Full Rank)，也就是对于这个矩阵来说每一行都是非0行，每一列都是主元列，没有自由列和0行，所以有如下结论：

对于一个n阶方阵，矩阵的秩r = n是满秩(Full Rank),而它的行最简形式的非零行个数为n，行最简形式的主元列个数也为n，此时可以推出：

也就是行最简形式是单位矩阵，因为对于方阵的行最简形式在之前的N多命题中已经明确给出结论了，回忆一下：

而经过矩阵的秩的学习，对于方阵的N多特性此时又可以进行相关的扩展了，如下：

接下来则回到python中对于矩阵的秩的求角进行一下实现，对于求矩阵的秩可以用行秩也要以用列秩，这里采用行秩的方式来求，因为它相对而言较简单，只需要化为行最简形式之后数非0行的个数既可。

由于求矩阵的秩也是要对它进行线性系统的求解，所以还是在LinearSystem中定义一个方法：

而由于当时这个类在设计化为行最简形式时是一定要指定b的，回忆一下：

而对于矩阵秩的求解是不需要传这个b的，所以修改一下代码，让其可以为空，修改如下：

这块就比较简单了，由于高斯消元方法已经封装好了，如下：

判断行最简形式的非0行的个数：

其实就是行最简形式矩阵中的每一行是否是0向量，如果不是则+1既可，所以先生成一个零向量：

然后再来进行每行的判断，如下：

重载Vector的不等号：

由于咱们在计算非0行时用到了向量的不等号运算符，如下：

而目前Vector类中并没有重载此符号，所以重载一下：

判断两个向量是否相等其实也就是判断向量中每个元素是否相等，那程序如何实现呢，如下：

接下来在元素相等的情况下则需要一个个元素进行比较，此时python的写法就需要用到zip将两个向量列表打包，具体写法如下：

此时由于元素有可能是浮点，所以对于元素的相等得要用之前咱们封装好的这个相等判断：

而咱们需要所有的元素两两相等，此时就需要这样办了：

有了等于号的实现，对于不等号就可以很轻松的实现了，如下：

先来验证一下向量的等于与不等于的逻辑：

接下来再测试一下不等：

接下来就可以测试矩阵秩的方法了：

零空间与看待零空间的三个视角：

接下来则学习一下另外一个根据矩阵而得出的重要的子空间----零空间， 它相对于行空间和列空间要稍微抽象一点，这是因为对于行空间和列空间我们可以直接看到生成子空间中的所有向量就是这个矩阵的行向量或者是列向量，但是！！！生成一个零空间所对应的那些向量并不能通过一个矩阵获得，那么什么是零空间呢？先来证明一个非常重要的结论：

一个齐次线性方程组的所有解，形成一个向量空间。

其中矩阵有3列，对应的未知数就有3个(x1，x2，x3)，上面待证明的结论的意思是所有满足这个奇次线性方程组解的向量就形成了一个向量空间， 下面来看证明过程：

1、一个齐次线性方程组一定是有解的。

2、而有解就有可能是唯一零解，也就是空间中只有0这一个向量，很显然这种情况这个线性方程的解就是一个向量空间，这个向量的维度为0；

3、而如果有无数解的情况，就稍复杂一些了，接下来就得证明无数解也能构成向量空间：如果系数矩阵为m*n的矩阵，解为n维向量，如果解形成向量空间，则该向量空间是n维欧几里得空间的一个子空间，其中为啥n维空间就是欧几里得空间呢？因为每一个解都是有序的实数元组，而回忆一下欧几里得空间的定义：

而要想证明“解形成向量空间，则该向量空间是n维欧几里得空间的一个子空间”，此时在前面已经花了很大的篇幅对于子空间的证明只需要满足：

所以：我们只需要证明解所组成的空间对向量的加法和数量乘法封闭就好了，而证明就如下：

a、证明空间对向量的加法封闭：

假设系数矩阵为A，而向量u和v都是解，很明显就有：

然后此时就可以将这两式子加起来：

然后根据分配率就可以变为：

这个变化又说明啥呢？说明u+v也是解呀，此时就说明了该空间对向量加法是封闭的？所以此时a这个就得证了。

b、证明空间对向量的数量乘法封闭：

还是假设系数矩阵为A，假设u是解，就有：

然后此时可以乘以k，式子就变为：

此时就又可以说明问题了，很显然k*向量u和向量u都是在同一空间中，那ku也是解，该空间也就对数量乘法封闭了。

 此时“一个齐次线性方程组的所有解，形成一个向量空间，称这个空间就为零空间(Null Space)。”

也就是说A的零空间，就是Ax = 0中，所有x组成的空间。

说实话零空间还是有些难理解，下面则从另外几个视角对其进行一个巩固理解。

对于“A的零空间，就是Ax = 0中，所有x组成的空间”这句话是从代数角度来理解的，也就是求解这个方程组的解组成的空间既为零空间。

视角2： 把矩阵看作是向量的转换函数

还是从回忆开始【可以看到，对于新的概念完全是来自于之前所学，所以对于数学的学习每个概率的理解都不能马虎】：我们可以把矩阵看作是向量的函数(转换函数)，拿旋转矩阵来说：

如果以这种视角来看待的话，其实可以把Ax=0中的系数矩阵A看成是一个转换函数，此时零空间x它就是这么一个空间：零空间是一个集合，集合中的所有的向量，在A的变换下，都将映射到零点！

视角3： 把矩阵看作是空间

对于矩阵还可以将其看作是一个空间，比如：

此时看零空间x就可以为：零空间是一个集合，这个集合中的所有的向量，和A的行向量点乘结果为0！ 其实也很好理解，根据矩阵和向量的乘法的定义：

根据这个进一步又能推出：“这个集合中的所有的向量，和A的行空间【注意跟上面的区别，A的行空间指的是 A的行向量通过线性组合方式可以生成的那些向量，这个集合比A的行向量要大得多，一个mxn的矩阵，它的行向量只有m个，但是它的行空间的向量可以有无数个的，m个向量任意线性组合那个k值随便取所得到的结果都在A的行空间中】中所有向量点乘结果为0。”，这是为什么呢？这是因为零空间的每一个向量和A的每一个行向量的点乘结果为0，而行空间的向量不过就是这些向量的线性组合，这些线性组合再点乘零空间的每一个向量，很显然结果还是为0，因为就是多了些系数嘛，可以稍抽象，不能理解的记住结论就好。

既然有“零空间的所有向量和A的行空间中的所有向量点乘结果为0”，又根据之前所学能推出：

“这个集合中的所有向量，和A的行空间中所有向量垂直(正交)。”，进而又能说明，“这个集合和A的行空间正交，换言之就是A的零空间和A的行空间正交【这个结论就能更加生动的理解零空间了】”，也就是说：“A的零空间中所有的向量，和A的行空间中所有向量垂直”，下面以图来说明：

对于这两个平面空间虽说是垂直，但是它不满足咱们要说的零空间的性质，典型的看相交的那一个直线就不是相垂直的，那对应于咱们所述的零空间的空间形态又是怎么样的呢？其实下面这个就满足：

也就是一个二维平面【二维空间】和一根直线【一维空间】相垂直，把这俩空间当成子空间的话，那么在直线上的任何一个向量和在平面上的任何一个向量都是垂直的，也就说明这两个空间的正交的，同理，对于由两根直线组成的坐标轴也就满足这个性质：

把直线看成是空间的话，从直线上任取两个向量一定是正交的。那从上面举的三种形态，是不是就可以说两个二维平面就不可以正交呢？

答案不是的，其实它在三维平面上是不可能正交，但是！！！在四维空间中是可以正交的，但由于四维我们大脑想象不到，所以对于零空间的理解依然还是很抽象的，不过上面的方方面面的各种视角的阐述一定是比直接给出一个零空间的定义在理解上要强很多倍的。

有木有发现，上面举了三个视角来看待零空间，其实之前学习矩阵的三个视角是一模一样的，这就是神奇之处，下面对零空间的三个视角再归纳总结一下：

1、把A看作是系统：A的零空间，就是Ax=0中，所有x组成的空间；

2、把A看作是函数(变换)：A的零空间，所有被A变化为0的空间；

3、把A看作是空间：A的零空间，是和A的行空间正交的向量空间；

零空间基与秩-零化度定理：

先来抛出一个问题：零空间的维度是多少？能否给出一组基？

由于零空间是齐次线性方程组所有的解构成的空间，所以从解齐次线性方程组开始，比如对下面这个矩阵进行求解，也就是将其化为行最简形式：

根据行最简形式此时就可以写成如下线性方程组：

其中x3可以取任意值，都可以求解出x1和x2了，对于线性方程组的解就已经求出来了，但是！！面对零空间的话，还需要进一步，因为零空间所有解所构成的空间，每一个解其实都是一个向量，面对咱们这个解也就是对应于：

这样的形式就可以表示这个齐次线性方程组所有的解向量，也就是(-7，-5，1)这个向量所有的线性组合，也就是X3可以随便取，此时就可以得出这个矩阵A的零空间的维度为1，对应的一组基就为(-7、-5、1)。

下面再来举一个更复杂5x6矩阵的例子加深对于零空间维度的理解：

依然将其化为行最简形式，如下：

其中有两个非0行，对应的齐次线性方程的解为：

而由于x3...x6都处于自由列的位置，所以可以随便取值：

同样的可以将它写成解向量的形式，如下：

此时再将其拆解一下，每一部分只包含一个未知数，如下：

然后再进一步，将未知数给提出来：

这形式是不是就是这四个向量的生成空间，也就是这四个向量的线性组合所能表示出来的所有的向量就是这个齐次线性方程组的解，换言之这个齐次线性方程组的角就是这个生成空间，进一步这个生成空间就是矩阵的零空间，所以此时对于这个矩阵A的零空间的维度就为4，因为这四个向量肯定是线性无关的：

下面来回忆一下上面的过程，将系数矩阵化为行最简形式，其中主元列是2个，自由列是4个：

而自由列对应的就是这些未知数：

而其中对于这四个矩阵的元素是分为了两部分，看一下：

所以零空间的一组基就是上面的这四个向量。总结一下，其实零空间的基就是看化为行最简形式的自由列的个数就好了，而基的话就需要计算生成解空间中未知数的向量。

回忆一下上面举的复杂矩阵化为行最简形式的例子：

抽象一下来说：对于一个m*n的矩阵，将其化为行最简形式，主元列数就是列空间的维度，而自由列数就是零空间的维度，很显然又有一个结论：

列空间的维度+零空间的维度=n，好，小标题的概念要出现：

秩(rank)【列空间的维度】 + 零化度(Nullity)【零空间的维度】 = n，所以这就是 秩-零化度 定理。

关于零空间的概念至此就学得差不多了，接下来对于列空间和零空间进行一下总结：

对于一个m行n列的矩阵：

1、Ax=V(x任取)；表示x可以随便取，相应所能得到的所有的v所组成的空间。

2、列空间是m维空间的子空间。这是因为mxn的矩阵，每一个列向量都有m个元素，所以是m维空间的子空间。

3、列空间的维度，为行最简形式中主元列数。

4、主元列的对应原矩阵的列，是列空间的一组基。

1、Av=0；能让这个等式成立的所有v组成的空间。

2、零空间是n维空间的子空间。这是因为零空间中的所有的向量都是Av=0的一个解，对于A来说它有n个未知数，所以相应的解就有n个元素。

3、零空间的维度，为行最简形式中自由列数。

4、求零空间的基需要求解Av=0，求出来的角再进行一下变形，把它化为几个线性无关的向量，每一个向量控制一个自由元，它们的一个线性组合，这些向量就是零空间的基。

最后再来看一个问题：何时零空间的维度为0？由于零空间的维度就是自由列的个数，换言之也就是对于矩阵的行最简形式木有自由列，全是主元列，也就是列空间的维度为n，此时零空间的维度就为0，那对于方阵呢？既为满秩的时候，零空间的维度为0，其中又绕回到了方阵，是不是又想扩充等价命题，是的，如下：

左零空间，四大子空间和研究子空间的原因：

左零空间和四大子空间：

到目前为止已经学习了N多概念了，如向量空间、子空间、维度、行空间、列空间、矩阵的秩、零空间。 接下来先对这次所学习的若干个子空间以及它们之间的关系，进而引出一个左零空间这样的概念：

其中注意列空间和零空间符合表示法，在一些教材中可能会这样描述的，看到得要有印象，而根据“秩-零化度 定理”，我们就可以知道它们维度，如下：

接下来再来回忆一下行空间，但是它不是用row这个符号来表示的哟，在学习向量时通常更喜欢用列向量，同时在学习矩阵时把它用一列列来排列能证明很多问题，所以也是更倾向于用列向量，所以，对于行空间也用列的符号来表示，如下：

稍加理解一下：行空间是由所有矩阵的行向量的线性组合组成的空间，将A转置过来，A的行向量就是A转置的列向量，所以A的行空间就是A转置的列空间，接下来分析一这三者的关系，其中对于行空间和列空间之间的联系就是它们的秩是一样的，而对于行空间跟零空间也存在关系，如下：

关于为啥正交，可以回忆上面的总结：

目前从关系图上看，明显缺了一个右下角的，也就是跟列空间对应的零空间一样，这块缺失的区域应该是A的转置的零空间，叫A的左零空间，

而对于它的维度可以很空间看出来，为：

这是因为m*n的矩阵A的转置是n*m的矩阵，有m个未知数m列，转置的列空间为r的话，意味着A的转置的行最简形式的r个主元列，相应的就有m-r个自由列，所以A的转置的零空间【也就是左零空间】的维度就为m-r，相应的，它跟列空间也是成正交关系，如下：

那接下来讨论一个问题：为啥A的转置的零空间叫做A的左零空间呢？其实可以从左零空间的定义来导出来，如下：

为啥A的转置的零空间叫做A的左零空间呢？

对于m*n的矩阵A，左零空间它的表示为：

而根据零空间就可以知道：

然后左右两边都取转置，式子就可以变换为：

这样来看，拿矩阵A来说是不是就推导出来左零空间是让x向量的转置乘以矩阵A=0满足这样条件的所有x所在的空间，其中x是左乘A【关键点】？此时就得跟零空间的进行一个对比了，它是满足Ax=0这样条件的x所组成的空间，x是右乘A对吧？所以一对比对于左零空间的概念理解起来就不模糊了。

最后来讨论一下为啥咱们要来研究子空间呢？

1、子空间维度大大降低，关于这块在上面有描述到，这里贴一下就不过多说明了：

而咱们学习的四大子空间就是构成更加复杂的降维子空间的一些基础。

2、子空间是其它一些应用的基础，这里举一个简单的例子：

很多真实世界的问题本质都是求解Ax=b的线性系统中的x是多少，但是！！在真实的世界中得到的这个知阵A可能是有很多行的，所以大概率的A的行数是大于列数的，也就意味着方程的个数远远大于未知数的个数的，也就意味着大多数情况Ax=b是无解的，但是无解并不代表这个问题就真正无解，可以求它的近似解也可以描述该问题， 此时就可以使用子空间来求解了，如何求呢？

先不考虑等号右边的b，只看Ax， 其实它就是矩阵A的列空间，矩阵x向量，以列视角来看的话，它等于向量的每一个未知数跟矩阵A中的每一列相乘最终再相加对吧？所以Ax就是矩阵A的列空间【不太理解的记得回看列空间的概念，列空间就是矩阵列向量所生成的空间】，只是过目前就是要找一个向量正好就是b这个向量呢？但目前A的行数大于列数，很显然大概率是找不到这个向量的，那怎么办？其实只要让b这个向量在A的列空间中， 只要在肯定是有解了，对于A的行最简形式的非0行的个数一定是小于等于n的，所以解决思路就是找A的列空间中离b最近的b'，也就是求解：Ax = b'，找到近似值最终此问题就有解了，而要找到b'看到木有就需要知道矩阵A的列空间，也就是四大子空间的一个，这也就是学习子空间的另一大意义。

对于上面的一大堆“费话”如果没理解也不要紧，言而总之，知道学习子空间是有“意义”的就成。

tips：这次学的真的概念太多了，也太抽象了，需要好好消化，为未来更加进一步打下坚实的基础。