Korean, Edit

第 17 章非线性回归分析 

更高类别： 【统计】【统计概述】(https://jb243.github.io/pages/1641)

1. 二次回归模型

2. 多项式回归模型

3. 对数回归模型

4. 概率模型

5. 互动

a. R中的回归分析

1.二次回归模型 

⑴ 公式 

⑵系数的确定 

① 使用多元线性回归模型 : 将 X_i 和 X_i² 视为不同的变量并解释它们 

②有可能，因为Xi和Xi2不具有完美的多重共线性

⑶ 线性测试 

⑷ 变化量的置信区间 

①效果：X单位变化对Y的影响如下 

②边际效应

③变化量的标准差

④ 变化量的置信区间

2.多项式回归模型 

⑴ 一般方程

⑵系数的确定：使用【多元线性回归模型】(https://jb243.github.io/pages/1632#3-multiple-linear-regression-model)

⑶ 线性测试 

⑷ 多项式1的次数（阶）的决定自上而下的方法 

①最常用的方法

② 第一^第一。设置r的最大值

③ 第二^第二。测试 H0 : βr = 0 

④ 第三^第。如果H0被拒绝，r是回归线的次数 

⑤ 第 4。如果H0没有被拒绝，则消除Xir并对βr-1重复第二步，… 

⑸ 多项式的次数（阶）决定 2。自下而上的方法 

① 一种查看当添加高一级项时对解释给定样本是否有显着影响的方法

② 程序

○ 第一^第一。假设所有项的系数均以自下而上的方式显着达到 (r-1) 阶多项式  

○ 第二^第二。添加 r 阶项 

○ 第三^第。通过r阶回归线计算平方和（自由度： r）» ○ 第 4。从第 3 步获得的值减去 (r-1) 阶回归线（自由度: r-1）的平方和 

○ 第五^th。通过r阶回归线的残差计算平方和（自由度：n-1-r）

○ 第六^th。将第 5 步获得的值除以 (n-1-r) 计算均方

○ 7^th。将第4步得到的平方和差除以第6步得到的均方：平方和差的自由度为1

○ 第八^th。通过用 F(1, n-1-r) 替换第 7 步中获得的 F 统计量来计算 p 值

③示例 

○ 问题情况

表1.问题情况

○ 结果表 

表 2. 结果表

④缺点：顺序Ⅰ型错误累积是有问题的 

○ 统计学的研究就是用同时发生的现象来分析它们

○ 通过应用已经以不同概率出现的另一种现象来分析某一概率的现象是非常困难的

○ 困难意味着统计量可能不遵循F分布

○ 自下而上的程度确定方法是在特定概率的现象中分析不同概率的现象

○ 某一特定概率的现象是指(r-1)阶回归方程

○ 概率不同的现象是指r阶回归方程 

○（注）无法清楚地表明平方和的差异遵循F分布 

3。对数回归模型 

⑴（注）对数近似

⑵ 类 1. 线性对数模型

①公式

② X_i增加1%，Y_i增加0.01β₁ 

⑶ 2. 对数线性模型

①公式

② 如果X_i增加1，Y_i增加100β1% 

⑷ 类 **3.** 对数模型

①公式

② 如果X_i增加1%，Y_i增加β₁% 

⑸ 通过比较对数线性模型和对数对数模型调整后的R²，可以选择更合适的模型⑹ 将线性对数模型与其他两个模型进行比较是没有意义的，因为线性对数模型的因变量不同

4。概率模型：因变量为二元变量的情况

⑴线性概率模型（LPM）

①公式

图 1. 线性概率模型

② 问题 : 因变量并不总是显示 0 到 1 之间的值

⑵ 概率回归模型 

①概述：最常用的概率模型

② 公式

○ 简易模型

图2.概率回归模型

○ 多种型号

③效果 

○ 公式

○ 边际效应

④统计估计

○ 每个系数的估计量没有精确的函数形式：通过数值分析找到最大似然估计量

○ 一旦获得，最大似然估计满足一致性和正态性

⑶ 逻辑回归模型

①公式

○ 物流功能

○ 建模： 将 βx + β₀ 的线性回归形式代入逻辑函数，逻辑函数是一种链接函数

○ log-odd（优势比的对数） : 也称为 logit。比值比的对数转换。具有从负无穷到正无穷的值。

图 3. logit 函数

○ Logistic 函数是 Logit 函数的反函数。

○ Logistic 函数将取值从负无穷大到正无穷大的输入变量转换为范围从 0 到 1 的输出变量。

②【最大似然估计】(https://jb243.github.io/pages/1630) » ○ 假设自变量不是 x_i 的多维变量，而是 x_i 的多维变量，并使用伯努利函数 

○ L(θ) 似然函数和 ℓ(θ) 对数似然函数的定义 : 这里，L(θ) 被定义为交叉熵 

○ 引理： L(θ) 和 ℓ (θ) 是凸函数。 最小解不是局部解而是全局解。证明很复杂

○ 步骤1. 渐变的定义 

○ 步骤 2. [Hessian 矩阵] 的定义(https://jb243.github.io/pages/1813) 

○ 步骤 3. 获取二次近似方程 θ_k 的泰勒级数，并获得近似方程的最大解 θ_k+1 = θ_k + d_k 

图4.最大似然估计与泰勒级数之间的关系

○ 步骤4. 通过Newton-Raphson方法更新θ_k达到全局最大值 

○ 这是通过数值分析获得的，但没有每个系数的估计量的精确函数形式。

③一致性证明的思路（假设符号可能与上面不同）

④ 渐近正态性证明的思路（假设符号可能与上面不同） 

⑤ 应用：多类分类 

○ 归纳： 由于逻辑回归是二元分类，因此不能直接应用于多类分类 

○ 方法1. 首先执行1 vs {2, 3}，然后执行2 vs 3 

○ 方法2.softmax函数

○ 定义

○ 多类分类中的softmax函数

○证明：逻辑回归是softmax函数的一个特殊例子

⑷ LPM、Probit、Logistic函数的比较 

① 由于模型不同，无法比较LPM、Probit、Logistic之间的系数

○ 示例1. Probit回归模型与Logistic回归模型的比较

○ 显示非常相似的图

图5. Probit回归模型与Logistic回归模型的比较

○ 系数差异非常显着： 这种差异没有数学意义

⑸ Dirichlet回归模型：

① 概述 ： 用于回归分析，同时考虑数据的拓扑（单纯形）。

图6.狄利克雷回归模型的应用场景

②样本空间：表示每一项的比例或概率的多维向量

</br>

○ 非负数据

○ 单位和

○ D：元件数量，即尺寸大小

○ d = D - 1

③ 狄利克雷分布：因其可以分析单纯形而受到关注。

④ Dirichlet回归估计：

○ Aitchison (2003) 首先引入了对数比变换。

○ 对数似然函数：给定 n 个数据点，

</br>

○ 零数据可能是对数似然函数中的一个问题。

○ 解决方案 1：用非常小的非零值替换零数据，如 Palarea-Albaladejo、Martín-Fernández 等人提出的。

○ 解决方案 2：使用单独处理零数据的双模型，如 Zadora、Scealy、Welsh、Stewart、Field、Bear、Billheimer 等人提出的。

○ 解决方案 3：使用 Tsagris、Stewart 等人提出的稳健适用于零数据的改进回归模型。

5.交互

⑴造型

①引入交互回归量或交互项 

② 无法将系数与没有交互项的模型进行比较

③ 还可以定义3个及以上多重交互

⑵ 效果： Xi单位变化对Yi的变化如下

⑶弹性 

①直观上来说就是斜率绝对值大的程度

②在微观经济学中，弹性是指斜率乘以(-1)⑷ 应用：二元变量的交互作用

①造型

② 效果 : X 的 unic 变化对 Y 的影响如下

③ H₀ : Y不受D影响的命题可以通过β₂ = β₃ = 0的F统计量来检验。行列式检验 

④ H₀ : X单位变化对Y的影响不受D影响的命题可以通过β₃ = 0的t统计量来检验 

⑤ 利用D=0的回归线和D=1的回归线可以得到整个回归线

⑸ 应用：两个二元变量（虚拟变量）的交互作用

①造型

② 知道2×2表中的D₁、D₂即可得出回归线方程

输入：2019.06.21 12:10