似然函数

简介

似然函数在观测数据已知时将参数视为变量，用于衡量不同参数对观测数据的解释程度。与概率分布不同，似然函数不是把参数固定后考察随机数据，而是把数据固定后比较参数。

定义

对于参数 $\theta$ 和数据集 $\{(x_i,y_i)\}_{i=1}^N$，假设各样本独立同分布，则似然函数为

$$L(\theta;x,y)=\prod_{i=1}^N p(y_i\mid x_i,\theta).$$

其中 $p(y_i\mid x_i,\theta)$ 表示在参数 $\theta$ 下观测到 $y_i$ 的概率或概率密度。最大化似然，就是寻找最能解释已有数据的参数。
只有确定性关系而没有误差分布时，模型本身不能给出似然函数。例如线性关系还需要配合

$$y=f_\theta(x)+e$$

以及误差项 $e$ 的分布，才能得到观测量的概率密度。若没有误差项或其他随机机制，应直接解方程，而不是进行似然估计；此时若方程组没有一致的解，说明数据本身存在矛盾或测量错误。

对数似然函数

似然中的连乘容易发生数值下溢。对其取对数可将乘法转化为加法：

$$\log L(\theta;x,y)=\sum_{i=1}^N\log p(y_i\mid x_i,\theta).$$

由于对数函数单调递增，最大化对数似然与最大化似然等价。

二分类交叉熵

在二分类问题中，单个样本的条件概率可写为

$$p(y_i\mid x_i,\theta) =[h_\theta(x_i)]^{y_i}[1-h_\theta(x_i)]^{1-y_i}.$$

因此

$$\log L(\theta;x,y) =\sum_{i=1}^N\left[ y_i\log h_\theta(x_i) +(1-y_i)\log(1-h_\theta(x_i)) \right].$$

交叉熵损失是负对数似然：

$$J(\theta)=-\log L(\theta;x,y).$$

最小化交叉熵等价于最大化对数似然。

例题

82-sc-r3
给定模型

$$y_i=a_1x_{i1}+a_2x_{i2}+e_i,$$

其中 $e_i$ 独立且服从标准正态分布 $N(0,1)$。对于三次观测 $y_1,y_2,y_3$，每个 $y_i$ 的条件概率密度为

$$f(y_i\mid a_1,a_2,x_{i1},x_{i2}) =\frac1{\sqrt{2\pi}} \exp\left[-\frac{(y_i-a_1x_{i1}-a_2x_{i2})^2}{2}\right].$$

由独立性，似然函数为

$$L(a_1,a_2) =\left(\frac1{\sqrt{2\pi}}\right)^3 \exp\left[-\frac12\sum_{i=1}^3 (y_i-a_1x_{i1}-a_2x_{i2})^2\right].$$

对数似然为

$$\log L(a_1,a_2) =-\frac32\log(2\pi) -\frac12\sum_{i=1}^3(y_i-a_1x_{i1}-a_2x_{i2})^2.$$

最大化该对数似然等价于最小化残差平方和，从而估计 $a_1,a_2$。可使用正规方程、梯度下降或牛顿法等方法求解。