最大似然估计是寻找参数使得似然函数(似然函数)最大的过程。通过最大化样本数据的尤度来估计总体参数。基本思想是找到使得样本数据出现的概率最大的参数值。它通常具有良好的统计性质,如一致性和渐近正态性,且在大样本下往往是最有效的估计量。
- 构建似然函数:根据给定的概率分布,写出样本数据的联合概率密度函数或概率质量函数。
- 取对数:对似然函数取自然对数,得到对数似然函数, 这样求解往往比较方便。
- 求导数并求解:对对数似然函数求导数,找到使导数为零的参数值。
假设样本数据 X1,X2,…,Xn 来自参数为 θ 的分布,其似然函数为 L(θ;X1,X2,…,Xn),则对数似然函数为:
lnL(θ)=i=1∑nlnf(Xi;θ)
通过求导并解方程,可以找到参数的最大似然估计值 θ^。