多元线性回归

多元线性回归是一元线性回归的推广，研究一个因变量 $y$ 与多个自变量 $x_1, x_2, \dots, x_p$ 之间的线性关系。

模型形式

$$y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_p x_p + \varepsilon, \quad \varepsilon \sim N(0, \sigma^2)$$

矩阵形式：

$$\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}$$

其中 $\mathbf{y}$ 为 $n \times 1$ 响应向量，$\mathbf{X}$ 为 $n \times (p+1)$ 设计矩阵，$\boldsymbol{\beta}$ 为 $(p+1) \times 1$ 系数向量。

最小二乘估计

$$\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}$$

要求 $\mathbf X$ 列满秩，即 $\mathbf X^\top\mathbf X$ 可逆。计算通常通过 QRD 或 SVD，不必显式求逆。最小二乘拟合不依赖正态性；以下精确推断另要求给定设计矩阵时 $\boldsymbol\varepsilon\sim N(0,\sigma^2I_n)$，$\sigma>0$，且 $n>p+1$。

模型评估

• 决定系数 $R^2$：衡量模型解释的变异比例（复相关系数的平方）
• 调整 $R^2$：对自变量个数做惩罚，$R^2_{adj} = 1 - \frac{SSE/(n-p-1)}{SST/(n-1)}$
• F 检验：在含截距模型中检验 $H_0:\beta_1=\cdots=\beta_p=0$，$p\ge1$，统计量为 $F=[(SST-SSE)/p]/[SSE/(n-p-1)]$，原假设下服从 $F(p,n-p-1)$，采用上尾拒绝域。
• t 检验：令 $s^2=SSE/(n-p-1)$、$C=(\mathbf X^\top\mathbf X)^{-1}$。检验 $H_0:\beta_j=b_j$ 时，$T=(\hat\beta_j-b_j)/(s\sqrt{C_{jj}})\sim t(n-p-1)$。双侧检验使用上尾概率 $\alpha/2$ 的临界值。

这里 $SSE=\|\mathbf y-\mathbf X\hat{\boldsymbol\beta}\|^2$，$SST=\sum_i(y_i-\bar y)^2$；$R^2$ 和调整 $R^2$ 要求 $SST>0$。残差图可帮助检查非线性、异方差和异常点；时间相关误差需要另外的推断方法。

一个可复算的例子

采用含截距的设计

$$X=\begin{bmatrix}1&-1&-1\\1&-1&1\\1&1&-1\\1&1&1\\1&0&0\end{bmatrix},\qquad y=(0,2,2,8,3)^T.$$

有 $X^TX=\operatorname{diag}(5,4,4)$、$X^Ty=(15,8,8)^T$，所以 $\hat\beta=(3,2,2)^T$。拟合向量为 $(-1,3,3,7,3)^T$，残差为 $(1,-1,-1,1,0)^T$，直接得到 $X^Te=0$。

这里 $n=5,p=2$，$SSE=4$、$SST=36$、$s^2=4/(5-2-1)=2$，因此

$$R^2=8/9,\quad R^2_{adj}=7/9,\quad F=(32/2)/(4/2)=8.$$

整体 F 检验的自由度为 $(2,2)$，$p=1/9\approx0.1111$。每个斜率标准误为 $\sqrt{2/4}=1/\sqrt2$，各自的零斜率检验 $T=2\sqrt2$、自由度 $2$、双侧 $p\approx0.1056$。这个例子再次说明，高拟合比例在极少残差自由度下不足以保证显著性。

与线性代数及诊断的关系

拟合向量是 $y$ 在 $X$ 列空间上的正交投影，系数由正规方程确定。列满秩条件保证系数可识别；即使存在完全共线性，投影向量仍唯一，但各系数不唯一，不能继续使用逆矩阵和上述单个系数 t 检验。

系数 $\beta_j$ 描述在其他解释变量固定时的条件均值变化，不能当作单独相关系数或自动作因果解释。近共线性可使系数标准误很大；比较设计矩阵的奇异值、尺度和条件数有助于诊断。残差与拟合值、解释变量、观测顺序的图形用于查非线性、异方差和相关；Q–Q 图及影响点分析用于查正态近似和个别观测的影响。已做变量筛选后再使用未调整的检验，还会改变其名义错误率。