Korean, Edit

第 9 章统计定理 I

高级类别：【统计】【统计概述】(https://jb243.github.io/pages/1641)

1. 马尔可夫不等式

2. 切比雪夫不等式

3. 坎泰利不等式

4. 柯西-施瓦茨不等式

5. 詹森不等式

6. 大数定律

7. 中心极值定理

8. 斯卢茨基定理

9. 拉普拉斯继承规则

a. 集体智慧

1.马尔可夫不等式

⑴定理 

当 X 为随机变量且 a > 0 时，以下成立：

⑵ 证明1。

设 x₁, ···, x_n 为构成随机变量 X 的事件。通过对事件重新排序，我们可以获得 | x<子>i | ≥ a ⇔ i = r+1,…,n

⑶ 证明2. 

2.切比雪夫不等式 

⑴定理

存在一个随机变量，其期望值为 m，方差为 σ²。  方差是有限值。那么，对于任意实数k＞0，以下不等式成立： 

然而，只有当 k>1 时才提供有意义的信息。

⑵ 证明1. 

设 x₁, ···, x_n 为构成随机变量 X 的事件。通过重新排列上述事件，我们可以得到 | x_i - 米 | ≥ kσ ⇔ i = r+1,…,n。 

⑶ 证明2. 

k = 2, ε = kσ, X → X - μ_X 的马尔可夫不等式的情况是切比雪夫不等式 

3。 Cantelli 不等式（单尾切比雪夫不等式） 

⑴定理

存在一个随机变量，其期望值为 m，方差为 σ²。方差是有限值。 那么，对于任意实数k＞0，以下不等式成立： 

⑵证明 

①米=0

令x₁,···,x_n为组成随机变量X的事件，通过对事件进行重新排序，我们可以得到x_i＜kσ⇔ i = r+1,···,n。如果我们设 kσ = t，

② m = μ ≠ 0 

X’ = X - μ 是一个随机变量，期望值为 0，方差为 σ²。于是成立：

4。柯西-施瓦茨不等式 

⑴定理

⑵证明 

⑶ 举例 

① E(1 / X) ≥ 1 / E(X)

② ln(E(X)) ≥ E(ln X)

5。詹森不等式 

⑴【凸函数和凹函数】(https://jb243.github.io/pages/1810)

①凸集：是指集合中任意两点的内分点总是该集合的元素的情况

② 凸函数：其中｛(x, y) | y ≥ f(x)｝ 为凸集的函数。它类似于“向下凸”

③严格凸函数

④ 凹函数：其中｛(x, y) | y ≤ f(x)｝为凸集的函数。它类似于“向上凸”

⑤ 严格凹函数 

⑥ 线性函数：同时有凸函数和凹函数的情况

⑵ 凸性与【二阶导数】的关系（https://jb243.github.io/pages/1810）：f”(x) ≥ 0 且凸函数是充要条件。f”(x) ≤ 0 且凹函数是充要条件

① 证明1. 

② 证明2. 一个简单的证明，表明对于凸函数，f”(x) ≥ 0 成立，对于凹函数，f”(x) ≤ 0 成立 

⑶ Jensen不等式：维数展开 

①当f为凸函数时，以下不等式成立：

②当f为凹函数时，以下不等式成立： 

③ 证明1. 数学归纳法

○证明 

假设f是凸函数，则以下归纳假设成立。

同样，当f为凹函数时，归纳假设也成立。双变量情况已经在上面得到了证明。

④ 证明2. 线性函数的引入。

○证明 

让我们将 ℓ(x) 定义为通过 (E(X), f(E(X)) 和缠结 f(x) 的直线函数。假设 f 是凸函数。那么，

⑷经济统计意义。

① 热爱风险

○ 凸函数

○ 如果均值的效用函数较小

○ 如果您喜欢冒险

② 规避风险 

○ 凹函数

○ 如果平均值的效用函数更大

○ 如果您更喜欢可预测的结果

③风险中性

6。大数定律 (LLN)

⑴定理

对于任意实数 α > 0，以下等式成立：

⑵证明 

假设随机变量 X 的平均值为 m，标准差为 σ。对于任何实数 k > 0，我们应用切比雪夫不等式 

⑶充分条件

① 随机变量 X_i, i = 1,···, n 为 i.i.d

② VAR(X_i) ＜ ∞ 

⑷ 应用

① 弱大数定律（Weak LLN、WLLN）

○ 概率收敛

○ 保证样本均值逼近期望值的概率收敛于1。

○ 换句话说，它只是保证样本均值接近期望值的可能性在概率意义上增加。

② 强大数定律（Strong LLN、SLLN）

○ 几乎肯定收敛：如果这成立，概率自然会收敛。

○ 保证在几乎所有情况下，样本均值一定会收敛到期望值。

○ 换句话说，即使考虑个人实现，它也确保平均值最终收敛到期望值。

7.中心极限定理 (CLT)

⑴ 概要

①定义：当样本数无限大时，无论样本分布如何，样本总和和样本均值呈正态分布

②数学表达式：利用分布的收敛性

⑵ 证明1。> 如果事件发生的概率为 p，则在 n 次试验中事件发生 k 次的概率如下：

当 n 接近无穷大时，该概率分布几乎连续变化。因此，我们可以想到下面的函数，它以实值作为x的定义域

①平均

如果 f 在分布中 x = m 点处具有最大值，则以下等式成立：

关注下一篇

然而，斯特林近似可以严格证明 n! 的定义！如下

因此

②二项式分布的正态分布近似

对于足够小的 Δx = x - m，以下成立

因此，B(n, p) 接近 N(np, npq) 的平均值（假设 n ≫ 1）

⑶ 证明2. m(t)和矩生成函数的介绍 

⑷充分条件 

① X_i, i = 1, ···, n 为 i.i.d

② 0 ＜ VAR(X_i) ＜ ∞

⑸ 应用

①【二项分布】正态逼近的条件(https://jb243.github.io/pages/1626#3-binomial-distribution)：方差 = npq ≥ 10

② [泊松分布]正态逼近的条件(https://jb243.github.io/pages/1626#9-poisson-distribution): λ ≥ 30

⑹【中心极限问题示例定理](https://blog.kakaocdn.net/dn/ItSHW/btsLIzhUa1e/ZNHcNFvoZI6kgvAkW87ON0/%E1%84%8C%E1%85%AE%E1%86%BC%E1%84%89%E1%85%B5%E1%86%B7%E1%84%8 0%E1%85%B3%E1%86%A8%E1%84%92%E1%85%A1%E1%86%AB%E1%84%8C%E1%85%A5%E1%86% BC%E1%84%85%E1%85%B5%2020%E1%84%8C%E1%85%A6.pdf?attach=1&knm=tfile.pdf)

8.斯卢茨基定理 

⑴概率收敛：对于随机变量S1,S2,···,Sn, 

⑵ 分布收敛：对于随机变量S1、S2、···、Sn，对于各个分布函数F1、F2、···、Fn，对于以F为分布函数的S，

⑶ 斯卢茨基定理（概率极限代数）：当存在 p lim Xn、p lim Yn 时， 

①上面的第6个公式称为CMT（连续映射定理）

9。拉普拉斯的继承规则

⑴定义：当n次试验获得k个阳性结果时，第n+1次试验出现阳性结果的概率如下

⑵ 证明（参考https://jonathanweisberg.org/pdf/inducing-logic-2.pdf）

输入时间：2019.05.03 15:02