相关系数

相关系数是标准化后的协方差，消除量纲影响，衡量两个随机变量线性相关的强度与方向。

定义

$$\rho(X,Y)=\frac{Cov(X,Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}}$$

该定义要求 $0<Var(X)<\infty$ 且 $0<Var(Y)<\infty$。由柯西-施瓦茨不等式，$\rho\in[-1,1]$；“强相关”的数值阈值依学科、样本量和任务而定，不能把 $0.7$ 当作普适界线。

总体与样本

当方差有限且非零时，$|\rho|=1$ 当且仅当存在 $a\ne0,b$ 使 $Y=aX+b$ 几乎处处成立，此时 $\rho=\operatorname{sgn}(a)$。这是柯西–施瓦茨等号条件用于中心化变量的结果。不相关 $\rho=0$ 一般不能推出独立；例如 $X\sim U(-1,1)$、$Y=X^2$。

对成对观测 $(x_i,y_i)$，令 $S_{xx}=\sum_i(x_i-\bar x)^2$、$S_{yy}=\sum_i(y_i-\bar y)^2$、$S_{xy}=\sum_i(x_i-\bar x)(y_i-\bar y)$。当 $S_{xx}S_{yy}>0$ 时，样本 Pearson 相关系数为

$$r=\frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}}.$$

$r$ 是统计量的观测值，不是已知的总体 $\rho$。带截距的 一元线性回归 有 $\hat\beta_1=S_{xy}/S_{xx}$、$R^2=r^2$；这些代数恒等式不要求正态性，但相关系数的精确 t 检验需相应抽样模型。