正交投影

Introduction

正交投影是将向量垂直投影到一个子空间的过程。

Definition

若 $\{w_1, w_2, \ldots, w_k\}$ 是子空间 $W$ 的一组两两正交基，则向量 $v$ 在 $W$ 上的正交投影 $\text{proj}_W(v)$ 为：

$$\text{proj}_W(v) = \sum_{i=1}^k \frac{v \cdot w_i}{w_i \cdot w_i} w_i$$

若取的是标准正交基，则公式进一步简化为

$$\mathrm{proj}_W(v)=\sum_{i=1}^k (v\cdot w_i)w_i.$$

Properties

• 最小二乘性质：正交投影使得 $v$ 与 $W$ 上的投影点之间的距离最小。
• 线性性：正交投影是线性的。

Examples

• 在二维平面上，向量 $v = (x, y)$ 在 $x$ 轴上的正交投影为 $(x, 0)$。
• 在三维空间中，向量 $v = (x, y, z)$ 在 $xy$ 平面上的正交投影为 $(x, y, 0)$。

Applications

正交投影在信号处理、统计学和计算机图形学中有重要应用。例如，在统计学中，回归分析中的残差即为响应变量在解释变量空间的正交投影。