向量运算与线性代数在机器学习中的应用

1. 向量基础概念与运算

1.1 向量的定义与表示

在数学和计算机科学中，向量是最基础的数据结构之一。简单来说，向量就是一组有序排列的数字。想象一下你去超市购物，购物清单上列出的各种商品数量就可以看作一个向量 - 第一个数字代表苹果的数量，第二个代表香蕉的数量，依此类推。

形式上，n维向量可以表示为：

code复制v = [v₁, v₂, ..., vₙ]

其中每个vᵢ称为向量的分量或元素。根据排列方式不同，向量分为：

• 行向量：水平排列，如 [1, 2, 3]
• 列向量：垂直排列，如 [1
  2
  3]

在实际应用中，列向量更为常见，特别是在机器学习领域。例如，在图像处理中，一张28×28像素的灰度图片可以展平为一个784维的列向量。

1.2 向量的内积与正交性

向量的内积（也叫点积）是一个非常重要的运算。对于两个n维向量a和b，它们的内积定义为：

code复制a·b = a₁b₁ + a₂b₂ + ... + aₙbₙ

内积的几何意义是什么呢？它可以表示为：

code复制a·b = ||a|| ||b|| cosθ

其中||a||表示向量a的长度（模），θ是两向量间的夹角。从这个公式可以看出：

1. 当两个向量方向相同时，内积最大
2. 当两个向量垂直时，内积为零
3. 当两个向量方向相反时，内积最小（负值）

特别地，当a·b = 0时，我们称这两个向量正交（垂直）。这个概念在机器学习中非常重要，例如在主成分分析(PCA)中，我们会寻找一组相互正交的主成分方向。

注意：在代码实现内积时，要注意向量的维度匹配。在Python中可以使用numpy的dot函数：

python复制import numpy as np
a = np.array([1, 2, 3])
b = np.array([4, 5, 6])
np.dot(a, b)  # 输出32

1.3 正交矩阵及其性质

正交矩阵是一种特殊的方阵，它的列向量（或行向量）两两正交且长度为1。数学上，矩阵Q是正交矩阵的条件是：

code复制QᵀQ = I

其中Qᵀ表示Q的转置，I是单位矩阵。

正