跳至主要內容

最大后验概率

GPT-6数学

事后概率最大化(MAP)是一种估计参数的方法, 它结合了观测数据 (似然函数) 和先验分布来估计参数. 与最大似然估计 (MLE) 不同, MAP 考虑了先验信息.

在 MAP 中, 我们试图最大化事后概率分布:

p(θ∣data)∝p(data∣θ)p(θ)p(\theta | \text{data}) \propto p(\text{data} | \theta) p(\theta)

其中 θ\theta 是参数, p(data∣θ)p(\text{data} | \theta) 是尤度函数, p(θ)p(\theta) 是先验分布.

为了计算 MAP 估计, 我们最大化对数事后概率:

log⁡p(θ∣data)=log⁡p(data∣θ)+log⁡p(θ)+C(data)\log p(\theta | \text{data}) = \log p(\text{data} | \theta) + \log p(\theta) + C(\text{data})

最大后验概率估计（MAP）

在贝叶斯统计学中，“最大后验概率估计”是后验概率分布的众数。利用最大后验概率估计可以获得对实验数据中无法直接观察到的量的点估计。它与最大似然估计中的经典方法有密切关系，但是它使用了一个增广的优化目标，进一步考虑了被估计量的先验概率分布。所以最大后验概率估计可以看作是规则化（regularization）的最大似然估计。

定义

假设我们需要根据观察数据 xx 估计未观察到的总体参数 θ\theta，让 ff 作为 xx 的采样分布，这样 f(x∣θ)f(x|\theta) 就是给定参数时数据的质量函数或密度值。函数

θ↦f(x∣θ)\theta \mapsto f(x|\theta)

即为似然函数，其估计

θ^ML(x)=arg⁡max⁡θf(x∣θ)\hat{\theta}_{\text{ML}}(x) = \arg \max_{\theta} f(x|\theta)

就是 θ\theta 的最大似然估计。

假设 θ\theta 存在一个先验分布 gg，这就允许我们将 θ\theta 作为贝叶斯统计中的随机变量，这样 θ\theta 的后验分布就是：

θ↦f(x∣θ)g(θ)∫Θf(x∣θ′)g(θ′)dθ′\theta \mapsto \frac{f(x|\theta) g(\theta)}{\int_{\Theta} f(x|\theta') g(\theta') d\theta'}

其中 Θ\Theta 是参数域，并要求归一化积分有限且严格为正，这是贝叶斯定理的直接应用。

最大后验概率估计方法

于是估计 θ\theta 为这个随机变量的后验分布的众数：

θ^MAP(x)=arg⁡max⁡θf(x∣θ)g(θ)∫Θf(x∣θ′)g(θ′)dθ′=arg⁡max⁡θf(x∣θ)g(θ)\hat{\theta}_{\text{MAP}}(x) = \arg \max_{\theta} \frac{f(x|\theta) g(\theta)}{\int_{\Theta} f(x|\theta') g(\theta') d\theta'} = \arg \max_{\theta} f(x|\theta) g(\theta)

后验分布的分母与 θ\theta 无关，所以在优化过程中不起作用。注意当先验 gg 是常数函数时，最大后验估计与最大似然估计重合。

计算最大后验估计的方法

  1. 解析方法：当后验分布的模能够用解析解方式表示时使用这种方法。共轭先验往往便于计算，但仍需检查众数的边界、存在性与唯一性。
  2. 数值优化方法：如共轭梯度法或者牛顿法，这通常需要一阶或二阶导数，导数需要通过解析或数值方法得到。
  3. 期望最大化算法的修改：这种方法不需要后验密度的导数。

注意事项

MAP 是基于贝叶斯后验的点估计；点估计并不因此被排除出贝叶斯方法。它只报告后验众数，不能替代后验不确定性的描述。然而，贝叶斯方法的特点是使用这些分布来总结数据、得到推论。后验均值、中位数、众数与可信区间是不同摘要，应按损失函数和分析目标选择。尤其是当后验分布没有一个简单的解析形式时更是如此。在这种情况下，后验分布可以使用马尔可夫链蒙特卡罗（Markov Chain Monte Carlo, MCMC）技术来模拟，但是找到它的众数的优化是很困难或者是不可能的。

示例

假设我们有观测数据 yy，模型为 y=a1x1+a2x2+ey = a_1 x_1 + a_2 x_2 + e，其中各次观测误差独立服从 N(0,1)N(0,1)；本例将 a1,a2a_1,a_2 作为已知设计系数，x1,x2x_1,x_2 为未知参数。

观测数据为：

{a1=1,a2=0,y=−5a1=0,a2=1,y=7a1=1,a2=1,y=1\begin{cases} a_1 = 1, a_2 = 0, y = -5 \\ a_1 = 0, a_2 = 1, y = 7 \\ a_1 = 1, a_2 = 1, y = 1 \\ \end{cases}

仅指定 x1−x2∼N(1,2)x_1-x_2\sim N(1,2) 不能确定 (x1,x2)(x_1,x_2) 的联合先验。为明确原例的优化模型，下面采用对差值施加正态惩罚、沿和方向平坦的非正规先验核；它在 R2\mathbb R^2 上不可归一化，不能称为一个已归一化联合概率密度：

p(x1,x2)∝exp⁡(−(x1−x2−1)24)p(x_1, x_2) \propto \exp\left(-\frac{(x_1 - x_2 - 1)^2}{4}\right)

观测数据的尤度函数为：

L(x1,x2)∝exp⁡(−12[(−5−x1)2+(7−x2)2+(1−(x1+x2))2])L(x_1, x_2) \propto \exp\left(-\frac{1}{2}\left[(-5 - x_1)^2 + (7 - x_2)^2 + (1 - (x_1 + x_2))^2\right]\right)

结合先验分布和尤度函数得到事后分布：

p(x1,x2∣y)∝exp⁡(−12[(−5−x1)2+(7−x2)2+(1−(x1+x2))2])⋅exp⁡(−(x1−x2−1)24)p(x_1, x_2 | y) \propto \exp\left(-\frac{1}{2}\left[(-5 - x_1)^2 + (7 - x_2)^2 + (1 - (x_1 + x_2))^2\right]\right) \cdot \exp\left(-\frac{(x_1 - x_2 - 1)^2}{4}\right)

取对数以简化计算：

log⁡p(x1,x2∣y)−C(y)=−12[(−5−x1)2+(7−x2)2+(1−(x1+x2))2]−(x1−x2−1)24\log p(x_1, x_2 | y) - C(y) = -\frac{1}{2}\left[(-5 - x_1)^2 + (7 - x_2)^2 + (1 - (x_1 + x_2))^2\right] - \frac{(x_1 - x_2 - 1)^2}{4}

对 x1x_1 和 x2x_2 求偏导数并设为零可以找到最大后验概率估计：

∂log⁡p(x1,x2∣y)∂x1=−(x1+5)+(1−x1−x2)−12(x1−x2−1)=0\frac{\partial \log p(x_1, x_2 | y)}{\partial x_1} = -(x_1 + 5) + (1 - x_1 - x_2) - \frac{1}{2}(x_1 - x_2 - 1) = 0

∂log⁡p(x1,x2∣y)∂x2=(7−x2)+(1−x1−x2)+12(x1−x2−1)=0\frac{\partial \log p(x_1, x_2 | y)}{\partial x_2} = (7 - x_2) + (1 - x_1 - x_2) + \frac{1}{2}(x_1 - x_2 - 1) = 0

整理为 5x1+x2=−75x_1+x_2=-7、x1+5x2=15x_1+5x_2=15，得到

(x^1,x^2)=(−25/12,41/12).(\hat x_1,\hat x_2)=(-25/12,41/12).

负对数后验的 Hessian 为 [5/21/21/25/2]\begin{bmatrix}5/2&1/2\\1/2&5/2\end{bmatrix}，特征值为 3,23,2，故严格正定：该点是唯一全局极小值，后验核也是可积的高斯核。这个验证说明本例虽使用非正规先验，后验仍正规；其他模型必须重新检查。若希望采用正规联合先验，还需给和方向指定分布，得到的 MAP 一般会改变。

链接到当前文件 1