第 14-2 章。简单测试
推荐文章：【统计】第14章【统计测试】(https://jb243.github.io/pages/1631)
1. 符号测试
2. ROC分析
1.标志测试
⑴ 概述
① 仅使用差值的符号，忽略差值的大小，来检验中位数位置的检验方法
② 根据中位数将数据转换为+、-符号，然后根据这些符号的个数进行检验
③ 假设数据分布连续且独立
⑵ 程序
① 步骤1. 样品提取
○ 从总体中提取连续样本
○ 当排除等于假设中值 θ0 的样本后剩余样本数为 n 时，定义剩余样本为 X1, X2, …, Xn
② 步骤2. 检验统计量
③ 步骤 3. 显着性水平 α 的拒绝区域
○ 原假设：θ = θ0
○ 若备择假设为 θ ＞ θ0，则拒绝域为 B ≥ b(α, n, 1/2)
○ 如果备择假设为 θ ＜ θ0，则拒绝域为 B ≤ b(α, n, 1/2)
○ 如果备择假设为 θ ≠ θ0，则拒绝域为 B ≥ b(α/2, n, 1/2) 或 B ＜ b(1 - α/2, b, 1/2)
2. ROC 分析（接收者操作员特征）
⑴ 参数定义
表 1. 混淆矩阵
① TP（真阳性）：实际值正确且测量值正确的情况。 (注) 指实数正数
② FN（假阴性）：实际值为真而测量值为假的情况。 (注) 表示假阴性
③ FP（假阳性）：实际值假而测量值真的情况。 (注) 表示假阳性
④ TN（真阴性）：实际值假、测量值假的情况。 (注) 指实数负数
⑤ 灵敏度（真阳性率，TPR）或召回率：TP / (TP + FN)
⑥ 特异性：TN / (TN + FP)
⑦ 精度：（TP+TN）/（TP+FN+FP+TN）
⑧ 错误率：1-准确度
⑨ 精确度或阳性预测值 (PPV)：TP / (TP + FP)
⑨ 阴性预测值（NPV）：TN / (TN + FN)
⑩ 错误发现率（FDR，误报率）：FP / (TN + FP)
⑪F1分数：2×查准率×查全率/（查准率+查全率）
○ 精度与灵敏度相结合的绩效评价指标
○ 范围从 0 到 1。
○ 精度和灵敏度越高，F1 Score越高
○ 宏 F1
○ 为少数类别分配与多数类别相同的权重
○ 当跨类别的平衡/公平很重要时使用
○ 加权 F1
○ 当您想要在整个数据集上具有代表性的整体性能并且类别不平衡很大时使用
○ 一般大于宏F1
○ 微型F1
○ 计算所有类别的 TP/FP/FN 汇总
○ 有效忽略不平衡（拉向多数类别）
⑫ Kappa 统计
○ K = (Pr(a) - Pr(e)) / (1 - Pr(e))
○ K：Kappa 系数
○ Pr(a)：预测准确的概率
○ Pr(e)：预测同时准确的概率
○ 衡量两个观察者测量的分类值一致性的方法» ○ 取值范围为 0 到 1，越接近 1 表示模型预测与实际值吻合程度越高，越接近 0 表示不一致
○ 除了准确率之外，还用kappa统计量来证明模型的评估结果并非巧合
⑬ 马太相关系数（MCC）
⑵ 一致性指数
① 一般情况下，调整阈值会导致灵敏度和特异度呈现相反的趋势
图 1. 相对于阈值的敏感性和特异性趋势
② ROC 曲线：x 轴为 1 - 特异性 (= FDR)，y 轴为灵敏度的可视化图表
图2. AOC曲线
○ 理想情况是灵敏度和特异度均为 1
○ AUC（曲线下面积；AURC、ROC 曲线下面积）：值范围从 0 到 1。越接近 1，响应越好。
图3. AUC计算流程
图4. AUC计算流程
③ 一致性指数：指AOC曲线下的面积
④ 如果 ROC 是随机的，则一致性指数 = 0.5
⑤ 一致性不能超过1
⑥ 亚太研究中心
○ 计算 AUROC 时使用精确度和召回率代替敏感度和特异度
○ 如果正（第 1 类）示例和负（第 2 类）示例数量之间的平衡偏向其中之一，则与 AUC 相比，AUPRC 是首选指标。
输入：2021.04.13 15:22