最大似然估计

最大似然估计是寻找参数使得似然函数(似然函数)最大的过程。通过最大化样本数据的尤度来估计总体参数。离散情形最大化观测数据的概率，连续情形最大化其联合密度值；连续型随机变量恰好取某一点的概率通常为零。在可识别性与适当正则条件下，可得到相合性、渐近正态性和渐近有效性；这些性质并非对所有模型自动成立。

步骤

1. 构建似然函数：根据给定的概率分布，写出样本数据的联合概率密度函数或概率质量函数。
2. 取对数：对似然函数取自然对数，得到对数似然函数, 这样求解往往比较方便。
3. 寻找候选值：在参数域内部可微处解似然方程，同时检查参数边界和依赖参数的样本取值范围。
4. 比较候选值的似然，确认全局最大值；最大值可能不唯一或不存在。

公式

假设样本数据 $X_1, X_2, \ldots, X_n$ 独立同分布于参数为 $\theta$ 的模型，其似然函数为 $L(\theta; X_1, X_2, \ldots, X_n)$，则对数似然函数为：

$$\ln L(\theta) = \sum_{i=1}^{n} \ln f(X_i; \theta)$$

最大似然估计满足 $\hat\theta\in\operatorname*{arg\,max}_{\theta\in\Theta}L(\theta)$；导数为零仅是内部光滑极值的候选条件。

边界例子

设 $X_i$ 独立同分布于 $U[0,\theta]$，$\theta>0$，采用密度 $f(x;\theta)=\theta^{-1}\mathbf1_{0\le x\le\theta}$。对观测值均非负且 $M=\max_i x_i>0$ 的样本，

$$L(\theta)=\theta^{-n}\mathbf1_{\theta\ge M}.$$

在可行域 $\theta\ge M$ 上它严格递减，所以最大值在边界 $\hat\theta=M$，而不是对数似然导数为零的点。保留密度中的取值范围才能得到正确答案。