中心极限定理

中心极限定理 (Central Limit Theorem, CLT) 是概率论中的一个基本定理：它描述了在一定条件下，大量独立随机变量的和的分布趋近于正态分布。该定理为统计学中的许多重要结果提供了理论基础，特别是在进行抽样和推断时。

定理内容

假设我们有一组独立同分布的随机变量 $X_1, X_2, \ldots, X_n$，每个随机变量具有相同的数学期望 $E(X_i) = \mu$ 和方差 $Var(X_i) = \sigma^2$，且 $0<\sigma^2<\infty$。定义这组随机变量的和为 $S_n$：

$$S_n = \sum_{i=1}^{n} X_i$$

我们可以将 $S_n$ 标准化，得到标准化变量：

$$Z_n = \frac{S_n - n\mu}{\sqrt{n}\sigma}$$

中心极限定理指出，当 $n$ 足够大时，标准化变量 $Z_n$ 的分布将趋近于标准正态分布 $N(0, 1)$。即：

$$Z_n = \frac{S_n - n\mu}{\sqrt{n}\sigma} \xrightarrow{d} N(0, 1)$$

这里，$\xrightarrow{d}$ 表示收敛于分布。

换句话说，对于大样本量 $n$，即使每个随机变量 $X_i$ 的分布不是正态分布，样本均值的分布仍然会近似于正态分布。这一结果在统计学中非常重要，因为它允许我们在很多情况下使用正态分布来进行近似和推断，即使原始数据不符合正态分布。与大数定律不同，中心极限定理不只看样本均值的收敛，而是进一步刻画了标准化和的极限分布。

应用

1. 抽样分布：在实际统计工作中，中心极限定理保证了样本平均值的分布可以被近似为正态分布，这使得我们能够对总体参数进行估计和假设检验。
2. 误差分析：在测量和实验中，由于多种独立因素的影响，误差的总和往往近似服从正态分布，因此中心极限定理为误差分析提供了理论支持。

注意事项

1. 适用版本：本页基本形式要求相互独立同分布。对有依赖的数据需要另外的定理与假设。
2. 非同分布：仅有各项期望、方差有限不够，还需要控制单项相对于总波动的影响，例如下面的 Lyapunov 条件。
3. 近似精度：不存在通用的 $n>30$ 保证。若 $X_i\sim\operatorname{Bernoulli}(0.001)$，$n=30$ 时样本全为零的概率为 $0.999^{30}\approx0.9704$，正态近似仍很差。

独立非同分布的一个充分条件

令 $\mu_i=E[X_i]$，$s_n^2=\sum_{i=1}^n\operatorname{Var}(X_i)>0$。若各 $X_i$ 相互独立，且存在 $\delta>0$ 使

$$\frac{1}{s_n^{2+\delta}}\sum_{i=1}^n E|X_i-\mu_i|^{2+\delta}\longrightarrow0,$$

则 $\sum_{i=1}^n(X_i-\mu_i)/s_n\xrightarrow d N(0,1)$。这称为 Lyapunov 条件，是充分条件而非必要条件。

作为对比，若独立的 $X_i$ 各以一半概率取 $\pm2^i$，则每项都有有限方差，却有

$$\frac{|\sum_{i=1}^nX_i|}{\sqrt{\sum_{i=1}^n4^i}}\le\frac{2^{n+1}-2}{\sqrt{(4^{n+1}-4)/3}}<\sqrt3.$$

标准化和始终有共同的有界取值范围，不能趋于在整个实轴都有尾概率的标准正态分布。