最小二乘法

最小二乘的优化准则在微积分、线性代数与统计中相同；统计中的参数检验和置信区间还需要误差模型假设。

对于$n$个样本$(x_i,y_i)$, 我们希望找到一个直线可以最好地接近样本结果

$$\widehat y_i=ax_i+b$$

构造一个函数$M(a,b)$

$$M(a,b)=\sum_{i=1}^{n}(y_i-ax_i-b)^2$$

求这个函数的最小值, 就是求对a, b的偏导数, 找到极值点, 利用海塞矩阵判断极值点性质.

正规方程与唯一性

令两个偏导为零，得到

$$a\sum x_i^2+b\sum x_i=\sum x_iy_i,\qquad a\sum x_i+nb=\sum y_i.$$

当 $n\ge2$ 且 $S_{xx}=\sum(x_i-\bar x)^2>0$ 时，

$$\widehat a=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{S_{xx}},\qquad\widehat b=\bar y-\widehat a\bar x.$$

海塞矩阵为 $2X^TX$，其中 $X$ 的两列为 $(x_i)$ 和全 1 向量；其行列式为 $4nS_{xx}>0$，故目标为严格凸二次函数，该驻点是唯一全局最小值。若所有 $x_i=x_0$，则只确定 $ax_0+b=\bar y$，参数不唯一，拟合向量仍唯一。

对 $(x_i)=(1,2,3)$、$(y_i)=(1,2,2)$，得 $\widehat a=1/2$、$\widehat b=2/3$，残差 $(-1/6,1/3,-1/6)$ 与 $X$ 的两列均正交，残差平方和为 $1/6$。这正是正交投影到设计矩阵列空间的计算；加入统计假设后的解释见一元线性回归。