1. 奇异值分解(SVD)原理与计算详解
奇异值分解(Singular Value Decomposition)是线性代数中一种强大的矩阵分解技术,广泛应用于数据降维、信号处理和推荐系统等领域。它能够将任意实数矩阵分解为三个特殊矩阵的乘积形式。
1.1 SVD基本概念
给定一个m×n的实数矩阵A,其SVD分解可以表示为:
A = UΣVᵀ
其中:
- U是一个m×m的正交矩阵,其列向量称为左奇异向量
- Σ是一个m×n的对角矩阵,对角线上的非负实数称为奇异值(σ₁ ≥ σ₂ ≥ ... ≥ σₙ ≥ 0)
- V是一个n×n的正交矩阵,其列向量称为右奇异向量
在实际应用中,我们通常只保留前k个较大的奇异值及其对应的奇异向量,这就是所谓的截断SVD(Truncated SVD),它可以有效降低数据维度同时保留主要信息。
1.2 奇异值计算实例解析
让我们详细解析题目中给出的矩阵A的SVD计算过程:
给定矩阵:
A = [3 4]
[0 0]
1.2.1 计算奇异值
首先计算AAᵀ:
AAᵀ = [3 4][3 0] = [25 0]
[0 0][4 0] [0 0]
AAᵀ的特征值为25和0,因此奇异值为:
σ₁ = √25 = 5
σ₂ = √0 = 0
所以Σ矩阵为:
Σ = [5 0]
[0 0]
1.2.2 计算右奇异向量V
计算AᵀA:
AᵀA = [3 0][3 4] = [9 12]
[4 0][0 0] [12 16]
求AᵀA的特征值和特征向量:
特征值λ₁=25对应的特征向量v₁=[3,4]ᵀ,单位化后:
v₁ = [3/5, 4/5]ᵀ
与v₁正交的单位向量v₂=[-4/5,3/5]ᵀ
因此:
V = [3/5 -4/5]
[4/5 3/5]
1.2.3 计算左奇异向量U
根据公式u₁ = (1/σ₁)Av₁:
u₁ = (1/5)[3 4][3/5] = [1]
[0 0][4/5] [0]
选择与u₁正交的单位向量u₂=[0,1]ᵀ
因此:
U = [1 0]
[0 1]
1.2.4 验证SVD分解
将U、Σ、V相乘验证:
UΣVᵀ =
