跳至主要內容

PKM-er大约 4 分钟

高斯分布的矩生成函数 (Moment Generating Function, MGF) 可以通过其定义来计算。对于随机变量 XX,其矩生成函数 MX(t)M_X(t) 定义为:

MX(t)=E[etX] M_X(t) = \mathbb{E}[e^{tX}]

假设 XX 是一个均值为 μ\mu、方差为 σ2\sigma^2 的高斯分布(正态分布)随机变量,即 XN(μ,σ2)X \sim \mathcal{N}(\mu, \sigma^2)。其概率密度函数为:

fX(x)=12πσ2e(xμ)22σ2 f_X(x) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}

为了计算高斯分布的矩生成函数,我们需要计算以下积分:

MX(t)=E[etX]=etxfX(x)dx M_X(t) = \mathbb{E}[e^{tX}] = \int_{-\infty}^{\infty} e^{tx} f_X(x) \, dx

将高斯分布的概率密度函数 fX(x)f_X(x) 代入,得到:

MX(t)=etx12πσ2e(xμ)22σ2dx M_X(t) = \int_{-\infty}^{\infty} e^{tx} \cdot \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}} \, dx

将指数部分结合,得到:

MX(t)=12πσ2etx(xμ)22σ2dx M_X(t) = \frac{1}{\sqrt{2\pi\sigma^2}} \int_{-\infty}^{\infty} e^{tx - \frac{(x-\mu)^2}{2\sigma^2}} \, dx

现在,重新整理指数部分:

tx(xμ)22σ2=txx22μx+μ22σ2=x22σ2+μxσ2+txμ22σ2=x22σ2+(t+μσ2)xμ22σ2 tx - \frac{(x-\mu)^2}{2\sigma^2} = tx - \frac{x^2 - 2\mu x + \mu^2}{2\sigma^2} = -\frac{x^2}{2\sigma^2} + \frac{\mu x}{\sigma^2} + tx - \frac{\mu^2}{2\sigma^2} = -\frac{x^2}{2\sigma^2} + \left( t + \frac{\mu}{\sigma^2} \right)x - \frac{\mu^2}{2\sigma^2}

为了简化积分,我们可以完成平方,将其转换为标准形式:

x22σ2+(t+μσ2)x=12σ2(x22xσ2(t+μσ2))=12σ2((xσ2(t+μσ2))2σ4(t+μσ2)2) -\frac{x^2}{2\sigma^2} + \left( t + \frac{\mu}{\sigma^2} \right)x = -\frac{1}{2\sigma^2} \left( x^2 - 2x\sigma^2 \left( t + \frac{\mu}{\sigma^2} \right) \right) = -\frac{1}{2\sigma^2} \left( (x - \sigma^2 (t + \frac{\mu}{\sigma^2}))^2 - \sigma^4 (t + \frac{\mu}{\sigma^2})^2 \right)

代入后得到:

MX(t)=12πσ2e12σ2(xσ2(t+μσ2))2+σ22(t+μσ2)2μ22σ2dx M_X(t) = \frac{1}{\sqrt{2\pi\sigma^2}} \int_{-\infty}^{\infty} e^{-\frac{1}{2\sigma^2} (x - \sigma^2 (t + \frac{\mu}{\sigma^2}))^2 + \frac{\sigma^2}{2} (t + \frac{\mu}{\sigma^2})^2 - \frac{\mu^2}{2\sigma^2}} \, dx

由于高斯分布的积分等于1:

MX(t)=eσ22(t+μσ2)2μ22σ2 M_X(t) = e^{\frac{\sigma^2}{2} (t + \frac{\mu}{\sigma^2})^2 - \frac{\mu^2}{2\sigma^2}}

进一步简化:

MX(t)=eμt+σ2t22 M_X(t) = e^{\mu t + \frac{\sigma^2 t^2}{2}}

因此,均值为 μ\mu、方差为 σ2\sigma^2 的高斯分布 XX 的矩生成函数为:

MX(t)=eμt+σ2t22 M_X(t) = e^{\mu t + \frac{\sigma^2 t^2}{2}}

理解高斯分布的积分等于1这一点至关重要。以下是详细的推导过程,以解释这一点。

首先,我们知道标准正态分布的概率密度函数 fX(x)f_X(x) 定义如下:

fX(x)=12πσ2e(xμ)22σ2 f_X(x) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}

为了验证其积分等于1,我们计算:

fX(x)dx=12πσ2e(xμ)22σ2dx \int_{-\infty}^{\infty} f_X(x) \, dx = \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}} \, dx

我们先考虑标准正态分布的情况,即 μ=0\mu = 0σ=1\sigma = 1,其概率密度函数为:

fX(x)=12πex22 f_X(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}

计算该函数的积分:

fX(x)dx=12πex22dx \int_{-\infty}^{\infty} f_X(x) \, dx = \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}} \, dx

I=ex22dxI = \int_{-\infty}^{\infty} e^{-\frac{x^2}{2}} \, dx,因此有:

12πI=1I=2π \frac{1}{\sqrt{2\pi}} I = 1 \quad \Rightarrow \quad I = \sqrt{2\pi}

为了计算 II,我们利用极坐标变换。考虑:

I2=(ex22dx)(ey22dy)=ex2+y22dxdy I^2 = \left( \int_{-\infty}^{\infty} e^{-\frac{x^2}{2}} \, dx \right) \left( \int_{-\infty}^{\infty} e^{-\frac{y^2}{2}} \, dy \right) = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} e^{-\frac{x^2 + y^2}{2}} \, dx \, dy

将上述双重积分转换为极坐标 (r,θ)(r, \theta),其中 x=rcosθx = r \cos \thetay=rsinθy = r \sin \theta,则 dxdy=rdrdθdx \, dy = r \, dr \, d\theta。积分变为:

I2=02π0er22rdrdθ I^2 = \int_{0}^{2\pi} \int_{0}^{\infty} e^{-\frac{r^2}{2}} r \, dr \, d\theta

积分可以拆分为角度和径向部分:

I2=(02πdθ)(0rer22dr)=2π0rer22dr I^2 = \left( \int_{0}^{2\pi} d\theta \right) \left( \int_{0}^{\infty} r e^{-\frac{r^2}{2}} \, dr \right) = 2\pi \int_{0}^{\infty} r e^{-\frac{r^2}{2}} \, dr

u=r22u = \frac{r^2}{2},则 du=rdrdu = r \, dr,因此积分变为:

I2=2π0eudu=2π[eu]0=2π(0(1))=2π I^2 = 2\pi \int_{0}^{\infty} e^{-u} \, du = 2\pi \left[ -e^{-u} \right]_{0}^{\infty} = 2\pi (0 - (-1)) = 2\pi

因此:

I=2π I = \sqrt{2\pi}

回到我们原来的积分,有:

12πex22dx=12π2π=1 \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}} \, dx = \frac{1}{\sqrt{2\pi}} \sqrt{2\pi} = 1

对于一般的正态分布 N(μ,σ2)\mathcal{N}(\mu, \sigma^2),我们可以通过变量替换来证明:

z=xμσz = \frac{x - \mu}{\sigma},则 dz=dxσdz = \frac{dx}{\sigma},因此积分变为:

12πσ2e(xμ)22σ2dx=12πez22dz=1 \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{(x-\mu)^2}{2\sigma^2}} \, dx = \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-\frac{z^2}{2}} \, dz = 1

因为我们已经证明标准正态分布的积分等于1,所以一般的正态分布的积分也是1。