# 线性代数 · 详细学习内容
> 核心:数据的空间表达与变换
> 对应学习指南:机器学习数学基础学习指南
---
## 一、基础运算
### 1.1 向量运算
向量加减
- 设 (\mathbf{a} = (a_1, a_2, \ldots, a_n)^T),(\mathbf{b} = (b_1, b_2, \ldots, b_n)^T)
- (\mathbf{a} \pm \mathbf{b} = (a_1 \pm b_1, a_2 \pm b_2, \ldots, a_n \pm b_n)^T)
- 几何意义:平行四边形法则 / 三角形法则
点积(内积)
- (\mathbf{a} \cdot \mathbf{b} = \mathbf{a}^T \mathbf{b} = \sum_{i=1}^{n} a_i b_i)
- 几何意义:(\mathbf{a} \cdot \mathbf{b} = |\mathbf{a}| |\mathbf{b}| \cos\theta),衡量两向量夹角与长度
- 机器学习中:衡量相似度、投影长度
叉积(仅 (\mathbb{R}^3))
- (\mathbf{a} \times \mathbf{b}) 结果是一个与 (\mathbf{a},\mathbf{b}) 都垂直的向量,模长等于两向量张成平行四边形面积
- 在机器学习中较少直接用到,了解即可
### 1.2 矩阵运算
矩阵加减:同型矩阵对应元素相加减。
矩阵乘法
- (A_{m \times n} \cdot B_{n \times p} = C_{m \times p})
- (C_{ij} = \sum_{k=1}^{n} A_{ik} B_{kj})
- 不满足交换律:一般 (AB \neq BA)
- 满足结合律:((AB)C = A(BC))
矩阵转置
- ((A^T){ij} = A{ji})
- 性质:((AB)^T = B^T A^T),((A^T)^T = A)
矩阵的逆
- 若存在 (B) 使 (AB = BA = I),则 (B = A^{-1})
- 仅方阵且行列式 (\det(A) \neq 0) 时可逆
- 2×2 矩阵求逆公式:若 (A = \begin{pmatrix} a & b \ c & d \end{pmatrix}) 且 (ad-bc \neq 0),则
(A^{-1} = \frac{1}{ad-bc} \begin{pmatrix} d & -b \ -c & a \end{pmatrix})
行列式
- 2×2:(\det \begin{pmatrix} a & b \ c & d \end{pmatrix} = ad - bc)
- 几何意义:方阵对应线性变换对「体积」的缩放比例;(\det(A)=0) 表示把空间压扁到低维
矩阵的秩
- 行秩 = 列秩 = 矩阵中线性无关的行(或列)的最大个数
- 满秩方阵可逆;秩越小,矩阵包含的「有效信息」越少
---
## 二、范数与距离
### 2.1 向量范数
L1 范数(曼哈顿距离)
- (|\mathbf{x}|1 = \sum{i} |x_i|)
- 用途:稀疏性、特征选择(Lasso)
L2 范数(欧氏范数)
- (|\mathbf{x}|2 = \sqrt{\sum{i} x_i^2} = \sqrt{\mathbf{x}^T \mathbf{x}})
- 用途:正则化(Ridge)、距离度量、梯度下降中的步长
Lp 范数
- (|\mathbf{x}|p = \left( \sum{i} |x_i|^p \right)^{1/p}),(p \geq 1)
### 2.2 矩阵范数
Frobenius 范数
- (|A|F = \sqrt{\sum{i,j} A_{ij}^2} = \sqrt{\text{tr}(A^T A)})
- 常用于衡量矩阵整体大小、神经网络中的权重衰减
### 2.3 距离度量
- 欧氏距离:(d(\mathbf{x}, \mathbf{y}) = |\mathbf{x} - \mathbf{y}|_2)
- 马氏距离(考虑协方差):(d_M(\mathbf{x}, \mathbf{y}) = \sqrt{(\mathbf{x}-\mathbf{y})^T \Sigma^{-1} (\mathbf{x}-\mathbf{y})}),(\Sigma) 为协方差矩阵
---
## 三、特征值与特征向量
### 3.1 定义
对方阵 (A),若存在非零向量 (\mathbf{v}) 和标量 (\lambda) 满足:
[
A \mathbf{v} = \lambda \mathbf{v}
]
则 (\lambda) 为特征值,(\mathbf{v}) 为特征向量。
### 3.2 求法(2×2 为例)
1. 解特征方程:(\det(A - \lambda I) = 0) 得到 (\lambda_1, \lambda_2)
2. 对每个 (\lambda_i),解 ((A - \lambda_i I)\mathbf{v} = \mathbf{0}) 得到对应的特征向量
几何意义:矩阵 (A) 在线性变换下,特征向量方向不变,只被拉伸/缩短 (\lambda) 倍。特征值表示在该方向上的缩放因子。
### 3.3 特征值分解(EVD)
若 (A) 为 (n \times n) 可对角化矩阵(有 (n) 个线性无关特征向量),则:
[
A = V \Lambda V^{-1}
]
其中 (V) 的列为特征向量,(\Lambda = \text{diag}(\lambda_1, \ldots, \lambda_n))。
- 对称矩阵必可正交对角化:(A = Q \Lambda Q^T),(Q) 正交
---
## 四、奇异值分解(SVD)
### 4.1 分解公式
对任意实矩阵 (A_{m \times n}):
[
A = U \Sigma V^T
]
- (U_{m \times m}):左奇异向量,正交矩阵
- (\Sigma_{m \times n}):奇异值矩阵,对角元 (\sigma_1 \geq \sigma_2 \geq \cdots \geq 0)
- (V_{n \times n}):右奇异向量,正交矩阵
### 4.2 与特征值的关系
- (A^T A) 的特征值为 (\sigma_i^2),特征向量组成 (V) 的列
- (A A^T) 的特征值为 (\sigma_i^2),特征向量组成 (U) 的列
### 4.3 低秩近似
取前 (k) 个奇异值:(A_k = U_k \Sigma_k V_k^T),则 (A_k) 是秩为 (k) 的矩阵中在 Frobenius 范数意义下对 (A) 的最佳近似。
- 应用:图像压缩、降噪、主成分分析(PCA)的数学基础
### 4.4 与 PCA 的关系
对中心化数据矩阵 (X),协方差矩阵为 (\frac{1}{n}X^T X)。对 (X) 做 SVD:(X = U \Sigma V^T),则 (V) 的前 (k) 列即为前 (k) 个主成分方向,主成分得分即为 (U_k \Sigma_k)。
---
## 五、空间变换
### 5.1 线性变换
映射 (T: \mathbb{R}^n \to \mathbb{R}^m) 满足:
- (T(\mathbf{x} + \mathbf{y}) = T(\mathbf{x}) + T(\mathbf{y}))
- (T(c\mathbf{x}) = c T(\mathbf{x}))
必存在矩阵 (A) 使得 (T(\mathbf{x}) = A\mathbf{x})。矩阵乘法即实现线性变换。
### 5.2 仿射变换
(T(\mathbf{x}) = A\mathbf{x} + \mathbf{b}),即线性变换 + 平移。神经网络中全连接层 + bias 即为仿射变换。
### 5.3 正交矩阵
满足 (Q^T Q = Q Q^T = I) 的方阵。
- 性质:(|Q\mathbf{x}| = |\mathbf{x}|),即只做旋转/镜像,不改变长度
- 正交矩阵的逆等于转置:(Q^{-1} = Q^T)
### 5.4 基变换
同一向量在不同基下的坐标通过可逆矩阵 (P) 联系:若 (\mathbf{x}' = P \mathbf{x}),则新基下坐标 (\mathbf{x}') 与旧基下坐标 (\mathbf{x}) 的关系为 (\mathbf{x} = P^{-1} \mathbf{x}')。相似矩阵 (B = P^{-1} A P) 表示同一线性变换在不同基下的矩阵。
---
## 六、实践任务
| 任务 | 要求 |
|------|------|
| 手动计算 2×2 矩阵的特征值和特征向量 | 选一个具体矩阵,写出特征方程并求解 |
| SVD 图像压缩 | 用 Python(如 NumPy)对一张灰度图做 SVD,取秩 (k=5, 20, 50) 观察清晰度与存储量 |
---
## 七、自检清单
- [ ] 能熟练计算向量点积、矩阵乘法、2×2 矩阵的逆和行列式
- [ ] 能写出 L1、L2、Frobenius 范数定义并说明在 ML 中的用途
- [ ] 能解释特征值/特征向量的几何意义,并会求 2×2 矩阵的特征值与特征向量
- [ ] 能写出 SVD 公式,并说明低秩近似与 PCA 的关系
- [ ] 能区分线性变换、仿射变换、正交矩阵
---
下一步:02-概率统计-详细学习内容 | 返回学习指南