这是微积分中使用的最小二乘法, 与概率论中的最小二乘法稍有不同.
对于nnn个样本(xi,yi)(x_i,y_i)(xi,yi), 我们希望找到一个直线可以最好地接近样本结果
yi=axi+b y_i=ax_i+b yi=axi+b
构造一个函数M(a,b)M(a,b)M(a,b)
M(a,b)=∑i=1n(yi−axi−b)2 M(a,b)=\sum_{i=1}^{n}(y_i-ax_i-b)^2 M(a,b)=i=1∑n(yi−axi−b)2
求这个函数的最小值, 就是求对a, b的偏导数, 找到极值点, 利用海塞矩阵判断极值点性质.
