特征方程 特征方程的物理意义

我们先来看看直观的内容。矩阵的特征方程为:

矩阵实际上可以看作是一个变换，等式左边是把向量x换到另一个位置；在右边，向量x被λ拉伸。那么它的意义就很明显了，说明矩阵A的一个特点就是这个矩阵可以把向量X拉长(或缩短)λ倍，仅此而已。

任意给定一个矩阵A，对于所有向量x都不能拉长(缩短)，任何可以被矩阵A拉长(缩短)的向量称为特征向量)；矩阵A的；伸长量(缩短量)是对应于该特征向量的特征值。

值得注意的是，我们说的特征向量是向量的一种，因为任何特征向量乘以一个标量一定会满足上面的方程。当然这两个向量可以看作是同一个特征向量，也对应同一个特征值。

如果特征值为负，则意味着矩阵不仅拉长(缩短)了特征向量，还反转了向量的方向(指向相反的方向)。一个矩阵可能会拉长(缩短)多个向量，所以它可能有多个特征值。另外，对于一个实对称矩阵，不同特征值对应的特征向量必须正交。

我们也可以说，变换矩阵的所有特征向量构成了变换矩阵的一组基。所谓基可以理解为坐标系的轴。我们通常使用直角坐标系，在线性代数中可以进行扭曲、拉伸和旋转，称为基变换。我们可以根据需要设置底座，但是底座的轴必须是线性独立的，也就是说保证坐标系的不同轴不指向同一个方向或者可以由其他轴组合，否则不支持原来的空。在主成分分析(PCA)中，通过在最大拉伸方向设置基，忽略一些小的量，可以大大压缩数据，减少失真。

之所以变换矩阵的所有特征向量都是空之间的基，是因为变换矩阵可以在这些方向上拉伸向量，而不需要扭曲和选择，使得计算非常简单。所以，特征值虽然重要，但我们的最终目标是特征向量。

1.特征值的数学意义

首先，我们研究线性变化。比如X、Y坐标系下的椭圆方程可以写成X ^ 2/A ^ 2+Y ^ 2/B ^ 2 = 1，那么坐标系绕原点旋转后椭圆方程就会发生变换。我们可以把原坐标系的(x，y)乘上一个矩阵，得到(x’，y’)的新表示，写成M*(x，y)=(x’，y’)形式的算子。这里的矩阵m代表一个线性变换:拉伸，平移，旋转。那么，有没有什么线性变换b(b是向量)使得变换后的结果看起来像是一个数B乘以一个数(x，y)？换句话说，是否存在这样一个向量b，矩阵A*b的线性变换等价于A在向量b上的投影m*b？如果是，那么B是A的特征向量，M是对应的特征值。

回头看这句话，矩阵可以是变换，也可以是坐标系。如果这个坐标系或者基底是正交的，当我把这个矩阵乘以一个向量，如果这个向量也恰好在坐标系中，也就是基底的一个向量所指向的方向，那么这个矩阵乘以这个向量不就是λ的一个因子吗？λ是这个矩阵的特征值。

然而，让我们来数一数有多少个如果——这项工作的意义是告诉大家我们的想法是否太理想——然后让我们在更一般的情况下讨论一个非奇异数组。讨论的时候，我们换个思路。以上思路可能太复杂了。具体来说，求特征向量之间的关系就是对矩阵A表示的空进行正交分解，使得A的向量集可以表示为每个向量A在每个特征向量上的投影长度。

比如a是m*n的矩阵，n >: M，那么就有M个特征向量(因为最大秩是M)，n个行向量在每个特征向量e上有投影，它们的特征值v就是权值。那么每个行向量现在可以写成Vn=(E1*v1n，E2*v2n...Em*vmn)，矩阵变成一个正方形矩阵。如果矩阵的秩较小，矩阵的存储可以压缩。再次，由于这些投影的大小代表了A的每个分量在特征空之间的投影，我们可以用最小二乘法找出投影能量最大的分量，去掉剩余的分量，从而最大限度地保留了矩阵所代表的信息，大大降低了矩阵需要存储的维数。这叫主成分分析，或者主成分分析(PCA)，是一种重要的数学模型。

很容易理解不同特征值的特征向量是互相正交的，因为求特征向量是一个正交化的过程，或者说是求某个矩阵的基。

例如，对于x，y平面上的一个点(x，y)，我对其进行线性变换。

[1 0 ] [x]

[0 -1 ] [y]

结果是(X，-y)，这种线性变换相当于关于水平轴X的镜像..我们可以找到矩阵[1，0；有[0，-1]、[1，0]和[0，1]两个特征向量，即x轴和y轴。你什么意思？X轴上的投影，经过这种线性变换，没有改变。Y轴上的投影乘以振幅系数-1，不会旋转。两个特征向量表明线性变换矩阵对两个正交基，X轴和Y轴是线性不变的。对于其他线性变换矩阵，我们也可以找到相似的n个对称轴，变换后的结果相对于这n个对称轴是线性不变的。n个对称轴是线性变换a的n个特征向量..这就是特征向量的物理意义。因此，矩阵a等价于线性变换a..

再举个例子:

[0 -1]

[1 0]

如您所见，这是一个旋转矩阵，这意味着向量(x，y)围绕原点逆时针旋转pi/2。它的特征值是什么？λ= i .特征向量是，这实际上是一个虚数。我们直观的想一下，哪个轴对这个旋转变换是线性不变的？显然是z轴。但这是一个二维空的房间。那我们就把这个z轴叫做虚轴。但是如果我们把矩阵扩展一个维度，它就变成了

[0 -1 0]

[1 0 0]

[0 0 1]

这时，如果求出特征值和特征向量，就会发现特征向量是(0，0，1)，也就是z轴。你看，加一个维度，就不是“虚”了。

虚轴的量有时可以帮助我们在现实中加入一个没有实际物理图像的量空。对于电气专业的学生来说，应该学习交流传动。电压空之间有一个SVPWM矢量控制。为什么电压空之间的矢量形成一个圆形轨迹的磁链？我通过在二维平面上(沿缠绕方向)加一个虚轴来证明。这个可以单独讨论。

现在我们继续扩大讨论范围。我们的特征多项式|λE-A|=0得到的特征值会有多个根，此时得到的多个根的特征向量不正交，甚至线性相关。如果线性无关，可以直接正交化，问题就很容易解决了。即使正交结果不一样，也没关系。特征向量本身不是固定的，就像坐标系可以旋转一样。一旦确定了特征向量的方向，就确定了特征向量。至于为什么有些矩阵的特征值是多根的，特征向量不是正交的，那就要说线性方程组的解空之间的问题了，这就足够写另一篇文章了，就不详细描述了。

如上所述，当特征向量不正交时，扩大讨论范围，特征向量线性相关怎么办？总之，可以解释为，描述这个变换的矩阵的一个或多个维度是冗余的，剩下的变换足以描述你的冗余变换。这类似于向量组的线性独立性。可想而知，奇异数组不能与对角矩阵相似。

由于这种变换的矩阵在一个或多个维度上是冗余的，所以它不能类似于对角矩阵。毕竟对于一个N阶对角矩阵，它的秩是N，这意味着对角矩阵的变换没有冗余，所以你的冗余矩阵不能描述这个对角矩阵。

2.线性代数的本质

线性代数，你能用一句话概括“线性方程组”、“线性相关”、“特征值与特征向量”、“对角化与相似”、“二次型与正交化”吗？

查看以下矩阵:

[1，0] [2，0] [0，2] [1，-1] [1，0]

[0，1]，[0，3]，[3，0]，[1，1]，[1，-1]

通过计算我们可以看出，以上五个矩阵:第一个矩阵是单位矩阵e，即(x，y)到(x’，y’)的映射保持不变；第二次矩阵映射后，变量的长度(或模，1范数)发生变化，向量的角度保持不变；第三个矩阵调整x/y轴，有伸缩；第四个矩阵逆时针旋转x/y 45度，模数变成原来根数的两倍；第五个矩阵与x轴对称，y改为-y，2维空之间的线性变换可以用复数乘法代替，但高维的变换只能靠矩阵乘法。

矩阵的变换用另一种方式叫做映射。通过三个例子理解线性变换的映射。

(1)线性方程AX=B，即B是向量(b1，b2，b3...bn ),而矩阵a是从(x/y)到(x'/y '的映射。你能找到X=(x1，...xn)以便将x映射到b？如果找到一个，那么这个映射是唯一的。当然，可能没有映射，也可能有无数种可能的情况。

(2)那么，AX=B的解在什么情况下是唯一的？满足行列式|A|！=0 .为了满足|A|！=0，必须有一个线性无关的线矢量，即a的每一条线都是一个独立的坐标轴，没有多余的坐标轴。所以坐标系映射的自变量和因变量一一对应，所以总是只有一个解。

(3)什么情况下没有解决办法？A的行向量有冗余，最大线性无关(没有冗余的坐标系数)，或者秩R(A)=r，但发现S维的映射结果需要通过映射R坐标轴(S >: r)得到。显然没有解决办法(找不到从低维到高维的一对一映射)。同理，如果s

矩阵的对角化揭示了矩阵作为线性变换手段的本质。那么特征值和特征向量的意义就很明显了。假设N维坐标系(i1，i2...in)映射到新的坐标系(j1、j2、j3...jn)。由于矩阵A表示的是一种映射关系(变换)，这种映射关系可以分解为模块伸缩和角度旋转。A = p (-1) * b * p，b是特征值组成的矩阵，那么每个特征值就相当于坐标ix映射到jx的一维坐标，它的模的比例是多少。可逆矩阵p的每个列向量表示新坐标系如何等价于原始坐标系-pi的每个分量是(i1...in) on ji。矩阵对角矩阵A = P (-1) * B * P的分解公式表示原坐标系(i1，i2...in)旋转(P矩阵)，幅度缩放(B矩阵)，然后镜像再旋转(-1)，因为旋转本身没有翻转的功能，那么都是原矩阵a的线性变换功能。

矩阵是旋转+镜像翻转+尺度扩展。这都是线性代数和矩阵理论要研究的问题。

控制论就是一个应用例子。系统从状态A到状态B(A和B都是向量)的变换是看是否存在使XA=B的转移矩阵X，或者已知某些列转移矩阵{X}，看是否存在使系统状态成为所需状态B的初始A，或者A和{X}是否已知，看能否通过一系列变换得到B。以下图片来自

矩阵的对角化实际上是一个初等变换，但它把矩阵变回对角矩阵。这个对角矩阵是通过在不同方向拉伸单元阵列而获得的。

所谓特征矩阵，就是原始矩阵如何类似于一个X维量化矩阵。λ(i)说明了相似投影和X维线性空之间的第I坐标轴，λ(i)是缩放比。λ(i)之间的顺序不重要，因为轴之间的交换是初等线性变换，不影响代数拓扑的性质。特征向量xi显示了A如何将线性组合投影到坐标轴上。所谓的特征向量是一组正交基。

3.关于正交性

正交性可以理解为向量的内积为0，或者向量之间的角度为90度。但涉及到线性代数的大概念，如何使正交性的定义与线性代数的各种概念自洽。也就是说，在某种线性空中，碱基是a1、a2、a3...an，某个向量v在每个ax(1≤x≤n)上的投影分解是唯一的或者表示为a1-an中的任意向量，其他向量上的投影都是0。

其实正交的概念可以放在不同的地方，有不同的内涵。比如在傅里叶级数中，为什么选择cos和sin作为分解基，正是因为正弦和余弦函数的正交性。

考虑了y=f(x)(周期为t)的傅里叶级数展开式，等价于f(x)是无穷维向量(y1，y2，y3，...，yn...)中，f(x)的傅立叶级数展开形式是f(x)在无限维正交基上(e^jnw每个投影的系数是一个长度。那么由e^jnw构成的正交基就是任意f(x)的特征向量。区别在于不同的f(x)对应不同的特征值。在一个N维向量空中，N个正交向量不是固定的，而是可以是向量值的任意组合，只要它们保持相互正交。比如我想构造一个三维正交基，我写下(1，0，1)，那么(0，1，2)和(0，0，1)就可以是剩下的两个向量。为什么？一般来说，向量E1、E2和E3是正交基，所以三个向量E1+E2、E2+E3和E1+E3也可以形成正交基。

就是因为三角级数本身可以作为投影的参考，任何函数都可以分解。所以三角函数是特征向量函数，频率分析的值是特征值。再进一步说，任何数学分析都可以用谱分析代替。这也是为什么《信号与系统》《数字信号处理》《通信原理》《概率与随机过程》这些课程看起来都是在玩频率游戏和功率谱游戏——他们往往觉得学了之后什么都没学到。因为在物理层，信息的“意义”是不存在的，只有传输和设计的电子/数学特性才有意义。通信协议都是高层的东西，与“通信原理”无关。底层只有物理意义，没有逻辑意义。

综上所述，特征值只是反映了变换中特征向量的伸缩倍数。对于一个变换来说，特征向量指示的方向很重要，特征值似乎没有那么重要；但是，当我们引用谱定理时，情况就不一样了。

谱定理的核心内容如下:一个线性变换(用矩阵乘法表示)可以表示为其所有特征向量的线性组合，其中线性系数是每个向量对应的特征值，公式为:。。。

从这里可以看出，一个变换(矩阵)可以完全用它的所有特征向量来表示，每个向量对应的特征值代表了矩阵对这个向量的贡献率——通俗点说就是能量。至此，本征值转幂为高手，彻底掌握了对本征向量的主动权:你能代表这个矩阵的能级在我手里，你挂什么？

我们知道，一个变换可以用一个矩阵乘法来表示，那么空之间的坐标系也可以看作一个矩阵，这个坐标系可以用这个矩阵的所有特征向量来表示。如果用一个图来表示，可以想象它是空之间的一个开坐标角，这组向量可以完全表示一个矩阵所表示的空，它们的特征值表示各个角度的能量(可以想象轴从各个角度延伸的越长，越能表示这个空，它的“特征”就越强，或者说占优势，而短轴自然就变成了隐藏的特征)。所以某个几何空的这个特征完全可以通过特征向量/值来描述。

特征向量(尤其是特征值)的应用太多了。比如我提到的PCA方法，曾经选择特征值最高的K个特征向量表示一个矩阵，从而实现降维分析+特征显示的方法；比如Google公司的名著PageRank，也是通过计算一个矩阵表示的图的特征向量(这个图表示每个网页的“节点”之间的关联)来为每个节点打分“特征值”；比如人脸识别、数据流模式挖掘、分析等很多方面都有应用。感兴趣的兄弟可以参考IBM Spiros在VLDB' 05和SIGMOD '06的几篇文章。

———