正交投影

正交投影是将向量垂直投影到一个子空间的过程。

定义

以下在有限维实内积空间中讨论。若 $\{w_1, w_2, \ldots, w_k\}$ 是子空间 $W$ 的一组两两正交基，则向量 $v$ 在 $W$ 上的正交投影 $\text{proj}_W(v)$ 为：

$$\text{proj}_W(v) = \sum_{i=1}^k \frac{v \cdot w_i}{w_i \cdot w_i} w_i$$

若取的是标准正交基，则公式进一步简化为

$$\mathrm{proj}_W(v)=\sum_{i=1}^k (v\cdot w_i)w_i.$$

性质

• 最小二乘性质：正交投影使得 $v$ 与 $W$ 上的投影点之间的距离最小。
• 线性性：正交投影是线性的。

示例

• 在二维平面上，向量 $v = (x, y)$ 在 $x$ 轴上的正交投影为 $(x, 0)$。
• 在三维空间中，向量 $v = (x, y, z)$ 在 $xy$ 平面上的正交投影为 $(x, y, 0)$。

应用

正交投影在信号处理、统计学和计算机图形学中有重要应用。例如，在统计学中，回归的拟合向量是响应向量在设计矩阵列空间上的正交投影；残差则是响应向量减去拟合向量，位于该列空间的正交补。

与正规方程的对应

设 $W=\operatorname{Col}(A)$。向量 $p=A\hat x$ 是 $b$ 的投影，当且仅当 $b-p\perp W$，即 $A^T(b-A\hat x)=0$，这正是正规方程。

对任意 $w\in W$，勾股分解

$$\|b-w\|^2=\|b-p\|^2+\|p-w\|^2$$

说明 $p$ 是唯一最近点。即使 $A$ 列不独立、系数 $\hat x$ 不唯一，拟合向量 $p$ 仍唯一。若 $Q$ 的列构成 $W$ 的标准正交基，则投影矩阵 $H=QQ^T$ 满足 $H^T=H$、$H^2=H$，残差为 $(I-H)b$。