分布拟合检验

分布拟合检验概述

分布拟合检验是统计分析中的一种方法，用于评估样本数据是否来自某个特定的理论分布。这种检验在各种领域非常重要，如质量控制、金融分析、环境科学等，可以帮助研究人员判断所收集的数据是否符合预期的分布模型。

常用的分布拟合检验方法

1. Kolmogorov-Smirnov检验（K-S检验）

   • 目的：检验一个样本的分布是否符合某个指定的分布。
   • 原理：计算样本的经验累积分布函数（ECDF）与指定理论分布的累积分布函数（CDF）之间的最大差异。
   • 适用：经典单样本 K-S 临界值要求独立同分布样本，且连续的零假设分布 $F_0$ 完全指定。

2. Anderson-Darling检验

   • 目的：类似于K-S检验，但对尾部差异给予更多的权重。
   • 原理：基于样本数据的经验分布函数与特定理论分布的累计分布函数之间差异的加权积分。
   • 适用：尤其适用于需要重点考虑分布尾部的情况。

3. Chi-square（卡方）拟合优度检验

   • 目的：检验分类数据的观测频率是否符合预期频率。
   • 原理：比较观测频数与预期频数之间的差异。
   • 适用：适用于分类计数，也可对连续分布预先分组后检验；须检查期望频数与自由度。

4. Shapiro-Wilk检验

   • 目的：测试数据集是否来自正态分布。
   • 原理：检验样本数据的排序值与正态分布预期值的相关性。
   • 适用：用于正态性检验；允许的样本量和 p 值近似精度依具体实现而定。

检验步骤

以Kolmogorov-Smirnov检验为例，其步骤如下：

1. 设定假设

   • 零假设 $H_0$：样本数据来自目标分布。
   • 备择假设 $H_a$：样本数据不来自目标分布。

2. 计算统计量

   • 计算样本ECDF与目标CDF之间的最大绝对差异 $D$。

3. 确定拒绝域

   • 根据显著性水平 $\alpha$（通常设为0.05或0.01），使用K-S分布表找到临界值 $D_{\alpha}$。

4. 作出决策

   • 如果计算得到的 $D$ 值大于 $D_{\alpha}$，则拒绝零假设，认为样本数据不符合目标分布。
   • 如果 $D$ 值小于或等于 $D_{\alpha}$，则不拒绝零假设，认为没有足够证据证明样本数据不符合目标分布。

应用示例

检验已指定的 $N(0,1)$ 与检验“属于某个正态分布”不同。若先用同一样本估计均值和方差，再代入普通 K-S 表，零假设下的统计量分布已经改变；应采用适配的 Lilliefors 校准、Shapiro-Wilk 检验，或在拟合模型下模拟并在每次模拟中重新估计参数。Anderson-Darling 检验也要使用与分布及估计方式匹配的校准。

分布拟合检验为研究者提供了一种评估数据与特定理论分布一致性的统计工具，是数据分析和决策制定中不可或缺的一部分。

分组计数的完整计算

设 60 次独立试验分为三个类别，$H_0:p_1=p_2=p_3=1/3$，观测频数为 $(10,20,30)$。期望频数均为 20，因此

$$Q=\sum_{j=1}^3\frac{(O_j-E_j)^2}{E_j}=10.$$

概率完全指定时，自由度为 $3-1=2$，渐近 p 值为 $P(\chi_2^2\ge10)=e^{-5}\approx0.00674$；在 0.05 水平拒绝该分布假设。卡方近似要求期望频数足够大；稀疏时应合并有意义的类别或采用适合的精确/模拟方法。

若在固定类别的多项模型中用这些频数估计了 $q$ 个可识别的自由参数，常规正则条件下自由度改为 $k-1-q$。若参数用未分组数据估计、分组由数据选择或参数在边界上，不能机械套用这一减法，应重新核对校准。

不拒绝只表示未发现足够偏离证据，不能证明分布精确成立。经典 K-S 的限制参见 NIST 检验说明。