多元线性回归

多元线性回归是一元线性回归的推广，研究一个因变量 $y$ 与多个自变量 $x_1, x_2, \dots, x_p$ 之间的线性关系。

模型形式

$$y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_p x_p + \varepsilon, \quad \varepsilon \sim N(0, \sigma^2)$$

矩阵形式：

$$\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}$$

其中 $\mathbf{y}$ 为 $n \times 1$ 响应向量，$\mathbf{X}$ 为 $n \times (p+1)$ 设计矩阵，$\boldsymbol{\beta}$ 为 $(p+1) \times 1$ 系数向量。

最小二乘估计

$$\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}$$

要求 $\mathbf{X}^\top \mathbf{X}$ 可逆（自变量间无完全多重共线性）。

模型评估

• 决定系数 $R^2$：衡量模型解释的变异比例（复相关系数的平方）
• 调整 $R^2$：对自变量个数做惩罚，$R^2_{adj} = 1 - \frac{SSE/(n-p-1)}{SST/(n-1)}$
• F 检验：检验回归方程整体显著性
• t 检验：检验单个回归系数的显著性