特征值分解的外积展开

任意实对称矩阵Σ∈Rd×d\boldsymbol {\varSigma} \in \mathbb{R}^{d \times d}Σ∈Rd×d可以分解为ΣVΛV⊤ \boldsymbol {\varSigma} \boldsymbol {V} \boldsymbol {\varLambda} \boldsymbol {V}^{\top}ΣVΛV⊤其中V[v1,v2,…,vd]\boldsymbol {V} [\boldsymbol{v}_1, \boldsymbol{v}_2, \dots, \boldsymbol{v}_d]V[v1​,v2​,…,vd​]是由标准正交特征向量组成的正交矩阵即V⊤VI\boldsymbol {V}^{\top}\boldsymbol {V} IV⊤VI。Λdiag(λ1,λ2,…,λd)\boldsymbol {\varLambda} \text{diag}(\lambda_1, \lambda_2, \dots, \lambda_d)Λdiag(λ1​,λ2​,…,λd​)是对角矩阵对角线元素是对应的特征值。vj\boldsymbol{v}_jvj​是第jjj个单位特征向量λj\lambda_jλj​是其对应的特征值。对称矩阵的特征值分解也称为谱分解Spectral Decomposition。将上式展开ΣVΛV⊤[v1v2⋯vd][λ1λ2⋱λd][v1⊤v2⊤⋮vd⊤]λ1v1v1⊤λ2v2v2⊤⋯λdvdvd⊤∑j1dλjvjvj⊤ \begin{aligned} \boldsymbol {\varSigma} \boldsymbol {V} \boldsymbol {\varLambda} \boldsymbol {V}^{\top} \begin{bmatrix} \boldsymbol{v}_1 \boldsymbol{v}_2 \cdots \boldsymbol{v}_d \end{bmatrix} \begin{bmatrix} \lambda_1 \\ \lambda_2 \\ \ddots \\ \lambda_d \end{bmatrix} \begin{bmatrix} \boldsymbol{v}_1^{\top} \\ \boldsymbol{v}_2^{\top} \\ \vdots \\ \boldsymbol{v}_d^{\top} \end{bmatrix}\\ \lambda_1 \boldsymbol{v}_1 \boldsymbol{v}_1^{\top} \lambda_2 \boldsymbol{v}_2 \boldsymbol{v}_2^{\top} \cdots \lambda_d \boldsymbol{v}_d \boldsymbol{v}_d^{\top} \sum_{j1}^{d} \lambda_j \boldsymbol{v}_j \boldsymbol{v}_j^{\top} \end{aligned}Σ​VΛV⊤[v1​​v2​​⋯​vd​​]​λ1​​λ2​​⋱​λd​​​​v1⊤​v2⊤​⋮vd⊤​​​λ1​v1​v1⊤​λ2​v2​v2⊤​⋯λd​vd​vd⊤​j1∑d​λj​vj​vj⊤​​外积展开形式通过矩阵乘法展开可得Σ∑j1dλjvjvj⊤ \boldsymbol {\varSigma} \sum_{j1}^{d} \lambda_j \boldsymbol{v}_j \boldsymbol{v}_j^{\top}Σj1∑d​λj​vj​vj⊤​这表示原矩阵Σ\boldsymbol {\varSigma}Σ可以表示为若干个秩一矩阵外积的加权和权重就是特征值λj\lambda_jλj​方向由特征向量vj\boldsymbol{v}_jvj​决定。✅应用举例在 PCA 中若Σ\boldsymbol {\varSigma}Σ是数据的协方差矩阵则最大的几个λj\lambda_jλj​对应主要变化方向可用前kkk项近似重构Σ≈∑j1kλjvjvj⊤\boldsymbol {\varSigma} \approx \sum\limits_{j1}^{k} \lambda_j \boldsymbol{v}_j \boldsymbol{v}_j^{\top}Σ≈j1∑k​λj​vj​vj⊤​实现降维或压缩。