特征值分解外积展开：原理与应用实践

1. 特征值分解的外积展开：矩阵分析的强力工具

特征值分解是线性代数中最强大的工具之一，而外积展开则是理解这一分解的直观方式。我第一次在实际项目中应用这个技巧是在处理一个推荐系统的协同过滤问题时，当时需要快速计算大型矩阵的低秩近似。传统方法计算量巨大，直到我尝试了特征值分解的外积展开表示，问题才迎刃而解。

这种表示方法将矩阵分解为一组秩1矩阵的和，每个秩1矩阵对应一个特征向量对的外积，按特征值加权。这种结构不仅揭示了矩阵的内在性质，还为许多实际应用（如主成分分析、图像压缩等）提供了理论基础和高效算法实现。

2. 核心概念解析

2.1 特征值分解的基本形式

对于一个n×n的可对角化矩阵A，其特征值分解可以表示为：
A = QΛQ⁻¹

其中Q是由A的特征向量组成的矩阵，Λ是对角矩阵，对角线元素为对应的特征值。这是教科书上常见的表示形式，但在实际计算和分析中，外积展开的形式往往更加实用。

2.2 外积展开的数学表达

将特征值分解表示为外积展开的形式：
A = Σ λ_i v_i u_iᵀ

这里λ_i是第i个特征值，v_i是右特征向量，u_i是左特征向量（对于对称矩阵，u_i = v_i）。每个v_i u_iᵀ都是一个秩1的外积矩阵。

注意：对于非对称矩阵，左右特征向量可能不同，需要分别计算。这是实际应用中容易忽略的关键点。

3. 外积展开的几何解释

3.1 秩1矩阵的几何意义

每个外积项v_i u_iᵀ代表一个秩1矩阵，这种矩阵具有特殊的几何性质：

• 将任何向量x映射到v_i的方向上，缩放因子为(u_iᵀx)
• 像空间（column space）是v_i张成的一维子空间
• 零空间包含所有与u_i正交的向量

3.2 矩阵作用的分解视角

通过外积展开，矩阵A对向量x的作用可以分解为：
Ax = Σ λ_i v_i (u_iᵀ x)

这表示A的作用可以分解为：

1. 计算x在每个u_i方向上的投影分量(u_iᵀ x)
2. 用对应特征值λ_i缩放
3. 向v_i方向映射

这种分解使得我们可以单独分析矩阵对不同方向的作用。

4. 数值计算实现

4.1 对称矩阵的Python实现

对于对称矩阵，特征向量正交，实现最为简单：

python复制import numpy