第 1 章向量空间
推荐阅读：【线性代数】【线性代数索引】(https://jb243.github.io/pages/1014)
1. 矩阵运算
2. 向量空间
1.矩阵运算
⑴ 矩阵的定义
①定义m×n矩阵A，第i行向量，第j列向量如下
② 零矩阵或空矩阵：所有元素均为 0 的矩阵
③ 方阵
⑵ 矩阵加法
⑶ 矩阵乘法
① 将矩阵 X 第 i 行 j 列的元素记为 X[i][j]，若 A ε ℝl×m，B ε ℝm×n，C ε ℝl×n，且 C = A × B，则有：
② 性质1. 一般来说，AB ≠ BA
③ 性质 2. AB = O 并不意味着 A = O 或 B = O
④ 性质3. 矩阵乘法和加法之间存在以下关系
○ A(B+C) = AB + AC, (A+B)C = AC + BC
○ A(BC) = (AB)C
○ c(A + B) = cA + cB
⑤ 定理 1. 凯莱-汉密尔顿定理
○ 使用此方法，An 可以计算为 An = (A2 - (a + d)A + (ad - bc)E) Q(A) + kA + sE（n ≥ 2 时）
⑥ 编程代码
○ 【矩阵乘法C语言实现】(https://jb243.github.io/pages/62)
○ 使用 numpy
受保护_0
○ 使用 sympy
受保护_1
⑷ 转置矩阵
① 定义
② 对称矩阵：如果A是方阵且等于其转置
③ 当给定 X ∈ ℝN×d（N 个 d 维数据点）时，
○ XtX ∈ ℝd×d 为 μ = 0 时的协方差矩阵
○ XXt ∈ ℝN×N 为点阵（相似度矩阵）
④ 性质 1. (At)t = A
⑤ 性质 2. (A + B)t = At + Bt
⑥ 性质 3. (rA)t = rAt
⑦ 性质4. AB 的转置为 (AB)t = BtAt
⑧ 性质 5. 如果 A 和 B 对称且 AB = BA，则 AB 对称
⑨ 性质 6. 对称矩阵的逆也是对称的。
⑸ 迹线：记为tr
① 性质 1. tr(E) = n, tr(O) = 0
② 性质 2. tr(A + B) = tr(A) + tr(B)
③ 性质 3. tr(cA) = ctr(A), c ∈ ℝ
④ 性质 4. tr(AT) = tr(A)
⑤ 性质 5. tr(AB) = tr(BA)
⑥ 性质 6. 一般情况下 tr(AB) ≠ tr(A) × tr(B)
⑦ 性质7. tr(ATB) = vec(A)·vec(B)
⑧ 性质 8. tr(ABC) = tr(BCA) = tr(CAB) （∵ 结合性质）
⑨ 性质9. 若A、B为半正定矩阵，则tr(AB) ≤ tr(A)·tr(B)
⑩ 性质 10. tr(An) = tr(P-1DnP) = tr(P-1PDn) = tr(Dn) = Σi λin
○ 然而，上述方程似乎与可对角化性分开成立。
⑪ 性质11. 令X ~ 𝒩(X̄, Σ) 和S 为对称矩阵。然后，𝔼[XSX] = X̄SX̄ + tr(SΣ)。
⑹ 高斯消去法
① 线性方程组
②增广矩阵：指m×(n+ℓ)矩阵(A | B)
③ Gauss-Jordan 消元法：逐行运算
○ 操作1. 交换两个行向量的位置：改变方程的顺序
○ 操作2. 将特定行向量乘以c：将方程两边都乘以c
○ 操作 3. 将一个行向量乘以 c 并将其添加到另一个行向量：将一个方程乘以 c 并将其添加到另一个方程
○ 最后一步：实现简化行梯形形式（RREF）
④ 优点：可以编程实现
2.向量空间
⑴ 向量空间的条件：[代数结构]之一(https://jb243.github.io/pages/2082#1-group-theory)。 ℝn等
① 加法下闭合：如果 x, y ∈ V, x + y ∈ V
② 乘法下闭：∀a ε ℝ, ∀x ε V, ax ε V
③ 加法的单位元：V中存在0，使得对于V中的任意x，x + 0 = x
④ 加法逆：若 x ∈ V，则 V 中存在 -x 使得 x + (-x) = 0
⑤ 加法交换律：若 x, y ∈ V，则 x + y = y + x
⑥ 加法的结合性：若 x, y, z ∈ V, 则 (x + y) + z = x + (y + z)
⑦ 分配律：c(x + y) = cx + cy
⑧ 分配律：(c1 + c2)x = c1x + c2x
⑨ 乘法恒等式：1x = x
⑩ 标量乘法的结合性：c1(c2x) = (c1c2)x
⑵ 线性变换
① 线性变换：映射 T: U → V 是线性的，如果它满足 x, y ε U 和 c ε F
② 线性组合
③ 线性相关
④ 线性无关
⑤ 生成集：如果向量空间V中的任意向量都可以表示为S中元素的线性组合，则S是生成集
⑥ 基：生成集的线性无关子集
⑶ T、T-1的逆：如果T-1存在使得T-1：V→U，则T-1也是线性变换
⑷ 内积空间
① 内积条件
② 标准内积：V = ℂn 时定义如下
③ 内积的性质
④ 内积空间：具有定义内积的向量空间
○ 实数内积空间：当标量域是实数集合时
○ 复数内积空间：当标量域是复数集合时
⑤范数：由范数定义的向量空间称为范向量空间或范数线性空间。
⑥ 定理1. 柯西-施瓦茨不等式
⑦ 定理2. 三角形不等式
⑷ 度量空间
① 距离函数
○ 距离函数的类型
②范数与距离的关系
○ 如果定义了norm，则可以定义距离d
○ 具有定义的距离并不一定意味着存在相应的规范
③ 内核
○ 非线性映射 φ(x): X → H 可用于不同地定义距离 d
○ 核的定义： k(x i, y i) eq(x i)Tφ(x j)
○ 内核特点
○ 内核示例
○ φ(x, y) = (x, y, x2 + y2)T
○ k(v, u) = uTv （在这种情况下，φ(·) 是恒等函数）»> ○ 高斯核： k(v, u) = exp(-||v - u||2 / 2σ2)
○ 多项式核：k(v, u) = (uTv + 1)d
○ S 形核： k(v, u) = tanh(αuTv + β)
○ RBF 核： k(v, u) = exp(-γ ||v - u||2)
⑸ 子空间：生成集跨越子空间
输入：2020.04.07 21:36
修改: 2024.10.10 08:12