讲座 3-3。西格玛代数（σ-代数）

推荐帖子：【统计学】第三讲.【概率空间】(https://jb243.github.io/pages/1623)

1. 西格玛代数

2. 随机变量

3. 过滤

4. 附录

1.西格玛代数

⑴ 概率空间（Ω，ℱ）

① Ω：样本空间

② ℱ：Sigma代数（σ-代数，事件空间），即Ω子集的集合

○ 例 1. 当 Ω = {1, 2, 3} 时，σ-代数 ℱ = {∅, Ω} 对应于一无所知的情况

○ 示例 2. 当 Ω = {1, 2, 3} 时，σ-代数 ℱ = {∅, {1}, {2}, {3}, {1, 2}, {1, 3}, {2, 3}, {1, 2, 3}, Ω} 对应于能够看到所有事件的情况

○ 例 3. 当 Ω = {1, 2, 3} 时，σ-代数 ℱ = {∅, {1}, {2, 3}, Ω} 表示中间情况

③ ω ε Ω：实现的样本。在随机过程中，它意味着样本路径。

⑵ 代数

①【群论】中的代数结构之一(https://jb243.github.io/pages/2082#1-group-theory)。

② 条件 1. 非空：Ω ε ℱ 或 ∅ ε ℱ 成立

③ 条件 2. 补码下闭：若 A ε ℱ，则 A^C = Ω - A ε ℱ 也成立

○ 与非空条件一起考虑意味着 ∅ 和 Ω 一定是 ℱ 的元素

④ 条件 3. 有限并闭：若 A, B ε ℱ，则 A ∪ B ε ℱ 也成立

○ 如果 A₁, ⋯, A_n ε ℱ，则 ∪_i A_i = A₁ + ⋯ + A_n ε ℱ 也成立

⑶西格玛代数（σ-algebra）

① 动机：当样本空间很大时（例如，Ω = ℝ），形式概率论不太适用（例如，ℱ = 2^Ω），因此有必要将ℱ限制为西格玛代数。与卡拉西奥多里的可拓定理相关。

② 条件1. 必须是代数

③ 条件 2. 在可数无限并集下闭合：对于 A_i ∈ ℱ, ∪_i A_i = A₁ + ⋯ + A_∞ ∈ ℱ

④ sigma代数的直观含义

○ 非空集 Ω 上的子集集合

○ 可以分配概率的所有事件的集合

○ 可生成的所有函数/随机变量的集合

⑤ σ-代数的大小可以变化

○ 平凡 σ 代数：{∅, ℝ}（最小）

○ σ(𝒜)：包含 𝒜 所有元素的最小 σ 代数，即由 𝒜 生成

○ Borel σ-代数：ℬ(ℝ)（包含所有开集的最小σ-代数）

○ 可数/可共数 σ-代数：可数或可共数集合的集合

○ 幂集 σ 代数：𝒫(ℝ)（最大）

○ 勒贝格可测集的 σ 代数：ℒ（大于 Borel；原型“完成”）

○ σ 代数的交集又是 σ 代数。

⑥ Borel σ-代数：包含所有开集的最小西格玛代数

○ Ω = ℝ, ℱ = ℬ(ℝ)

○ 利用sigma代数的性质，开区间→闭区间、半开区间、单例{x},[1,3]∪[4,5]也包含在Borel代数中

○ 有理数集和无理数集等复杂集合也是 Borel 集

○ 由可数个区间的并集、差集或交集得到的更复杂的集合都是 Borel 集

○ 不仅限于ℝ；可以为任何拓扑空间 X 定义：例如，在 [0,1] 上、在 ℝⁿ 上或在任何一般拓扑空间上，每个都有自己的 Borel σ 代数

○ 事实上，存在Lebesgue不可测集、Vitali子集等Borel σ-代数无法构成的集合：与不可数无穷有关

2.随机变量

⑴ 概率分布

① 为 ℱ 的元素赋值的函数，即 ℙ: ℱ ↦ [0, 1]

② 条件 1. ℙ(Ω) = 1> ③ 条件 2. 对于可数无限、互斥的 {A_i}_i∈ℕ, ℙ(A₁ + ⋯ + A_∞) = ℙ(A₁) + ⋯ + ℙ(A_∞)

○ 不相交： A_i ∩ A_j = ∅

⑵ 随机变量（可测量函数）：将事件与值联系起来

① 表达式 1. 如果存在一个函数 X，使得 ^∀B ∈ ℬ(ℝ), X^-1(B) ∈ ℱ（可测），即 ℙ(X ∈ B) 是明确定义的，则 X 是可测的，该函数称为随机变量。

② 表达式 2. X: Ω → ℝ 是随机变量 ⇔ X^-1(A) = {ω ε Ω: X(ω) ε A} ε ℱ ∀ A ε ℬ(ℝ)

○ 含义 1. 逆像的存在性：即ℬ(ℝ)是ℱ可测。如果 X 是连续的，则这通常成立。

○ 意义2. 逆像范围的存在性：即逆像的范围是ℱ的子集

○ ℱ 可以看作等价于所有可测量的随机变量（或函数）的集合

○ 示例： ℙ_X(x ∈ A) = ℙ(X^-1(A))

③ 表达式 3. X 是可测的 ⇔ ∀a ε ℝ, {ω : X(ω) ≤ a} ε ℱ

④ 精确区分随机变量和“可测量”

○ 可以在没有测量的情况下定义可测量：它只需要 (Ω, ℱ) 和 (ℝ, 𝒢) 对。在实践中，我们通常取𝒢 = ℬ(ℝ)。

○ 随机变量是概率空间上的可测量函数，即包含测量 ℙ。

⑤ 示例1. 伯努利分布

○ 定义域 = Ω = {头、尾}

○ ℱ = 2^Ω = {∅, {头}, {尾}, {头, 尾}}

○ 共域 = {0, 1}

○ 𝒢 = 2^共域 = {∅, {0}, {1}, {0, 1}}

○ 由于 ℱ 中存在一个元素对应于 𝒢 中的任意元素，因此 X : Ω → {0, 1} 是可测的。

⑥ 示例 2. 不可测量函数的示例

○ Ω = [0, 1], ℱ = {∅, [0, 1]}

○ 𝒢 = ℬ(ℝ) 包含[0, 1/2]，但ℱ中没有与此对应的元素。

○ 因此，X : (Ω, ℱ) → (ℝ, 𝒢) 不可测。具体来说，它被称为“不可测量”，并且ℱ需要更多信息。

⑦ 一般可测空间

○ 定义：若两个可测空间(Ω,ℱ)与(Ω₁,ℱ₁)之间的X:Ω→Ω₁满足下列条件，则称X为随机变量

⑧ Random Process（随机过程）

○ 定义：X: ℐ × Ω ↦ E，其中对于每个 i ∈ ℐ，都存在一个随机变量 X(i, ·): Ω ↦ E

⑶ π级和λ级

① π 类的定义：若 A, B ε 𝒞 ⊂ 2^Ω，则 A ∩ B ε 𝒞

② λ级的定义

③ λ级的性质

④ Dynkin 定理：如果 𝒟 是 π 类，𝒞 是 λ 类，且 𝒟 ⊂ 𝒞，则 σ(𝒟) ⊂ 𝒞

⑷ 固定式

① 严格静止

② 广义平稳：严格平稳也是广义平稳

⑸ 独立性> ① 使用联合分布定义独立性： ℙ(X₁ ∈ B₁, X₂ ∈ B₂) = ℙ(X₁ ∈ B₁) ℙ(X₂ ∈ B₂) ∀B₁, B₂ ∈ ℬ(ℝ)

② 用矩定义独立性

③ 使用矩生成函数定义独立性

④ 使用 σ 代数定义独立性：σ(x₁) 和 σ(x₂) 是独立的（其中 σ(X) = {X^-1(A): A ∈ ℬ(ℝ)}）

⑹ 马尔可夫过程

① 贝叶斯法则： ℙ(A | B) = ℙ(A ∩ B) / ℙ(B) if ℙ(B) > 0

② 条件期望 𝔼[X | 𝒢]

③ 马尔可夫过程：∀A ε 𝓔, ℙ(X_{i_n} ∈ A | X_i₁, X_i₂, ⋯, X_{i_n-1}) = ℙ(X_{i_n} ∈ A | X_{i_n-1})，即当前状态仅取决于前一个状态

3。过滤

⑴ 杜布定理

① σ(X₁, X₂, ···, X_n)：使 X₁, X₂, ···, X_n 可测量的最小 σ 代数

② Doob 定理：σ(X₁, X₂, ···, X_n) 等价于 g(X₁, X₂, ···, X_n) 形式的所有函数的集合

③ σ-代数越大，与其相关的可测量函数的数量就越多——即更多的信息

⑵ 过滤

① 通过包含按升序排列的 σ 代数集合

② 按 ⊆ 排序，如果 ℱ₁ ⊆ ℱ₂，则 ℱ₂ 位于 ℱ₁ 之后

③ 为了方便起见，时间索引 t = 0, 1, 2, ⋯，过滤为 {ℱ_t}_t∈ℤ⁺，对于所有 s ≤ t 满足 ℱ_s ⊆ ℱ_t

④ 直观含义：代表信息随着时间的推移和观察积累而增加的情况

⑶ 鞅

① 条件期望的性质

○ 对于任意随机变量 Y，𝔼[Y | X₁, ···, X_n] = 𝔼[Y | σ(X₁, , X_n)] 成立

○ 原因： σ(X₁, ···, X_n) 等价于 X₁, ···, X_n 生成的所有函数的集合

○ 另外，当 σ(Y) ⊂ σ(Z) 时，𝔼[𝔼[X ㅣ Z] ㅣ Y] = 𝔼[𝔼[X ㅣ Y] ㅣ Z] = 𝔼[X ㅣ Y]成立。

② Martingale：适应过滤的随机过程{X_t}_tεℤ⁺ {ℱ_t}_tεℤ⁺满足以下所有条件

○ 条件 1. 对于所有 t ∈ ℤ⁺，X_t 是 ℱ_t 可测的

○ 如果 s ≤ t ≤ s’，ℱ_s ⊆ ℱ_t ⊆ ℱ_s’，x_t ∈ ℱ_t 不是 ℱ_s 可测量（∵ 缺乏信息），但是ℱ_s’-可测量。

○ 条件 2. 对于所有 t ∈ ℤ⁺，𝔼[|X_t|] 是有限的

○ 条件 3. 对于所有 t ∈ ℤ⁺，𝔼[X_t | ℱ_s] = X_s，几乎可以肯定对于所有 s ≤ t

○ 解释： 仅给定时间 s (ℱ_s) 之前的信息，X_t 的最佳预测等于 X_s（即，预测限制为 X_s）。

○ 备注： 仅当根据过去预测未来时才需要鞅性质。特别是，对于 s > t，无论 (X_t) 是否是鞅（假设可积），我们都有 𝔼[X_t ㅣ ℱ_s] = X_t。»> ○ 对于 s < t，𝔼[X_s ㅣ ℱ_t] = Xs 也成立，因为 X_s 是 ℱ_s 可测的，但由于 ℱ_s ⊆ ℱ_t 导致信息不足。