跳至主要內容

PKM-er大约 3 分钟

在一个时间演变过程中，由时间t0t_0系统或过程所处的状态，可以决定系统或过程在时刻t>t0t>t_0所处的状态，而无需借助于t0t_0前的历史信息。未来的状态仅依赖于当前状态，而不依赖于过去状态。

P(Xt+1=xt+1∣Xt=xt,Xt−1=xt−1,…,X0=x0)=P(Xt+1=xt+1∣Xt=xt) P(X_{t+1} = x_{t+1} | X_t = x_t, X_{t-1} = x_{t-1}, \dots, X_0 = x_0) = P(X_{t+1} = x_{t+1} | X_t = x_t)

其中：

  • XtX_t 是随机变量，表示时间 tt 时的状态。
  • xx 表示随机变量 XX 可能取的某个具体的值
  • P(⋅)P(\cdot) 是条件概率。

马尔可夫性质说明，给定当前状态 XtX_t，未来状态 Xt+1X_{t+1} 的概率分布与过去状态无关。

概率分布

现在用分布函数来表述马尔可夫性。设随机过程{X(t),t∈T}\{X(t),t\in T\}的状态空间为S，如果对时间t但任意n个数值t1<t2<⋯<tnt_1<t_2<\cdots<t_n, n≥3n\geq3. ti∈Tt_i\in T，在条件X(ti)=xiX(t_i)=x_i, xi∈Sx_i\in S, i=1,2,⋯ ,n−1i=1,2,\cdots,n-1下，X(tn)X(t_n)的条件分布函数恰等于在条件X(tn−1)＝xn−1X(t_{n-1})＝x_{n-1}下的条件分布函数，即

P{X(tn)≤xn∣X(t1)=x1,X(t2)=x2,⋯ ,X(tn−1)=xn−1}=P{X(tn)≤xn∣X(tn−1)=xn−1} P\{X(t_n)\leq x_n|X(t_1)=x_1,X(t_2)=x_2,\cdots,X(t_{n-1})=x_{n-1}\}=P\{X(t_n)\leq x_n|X(t_{n-1})=x_{n-1}\}

, xn∈Rx_n\in R。或写成$$F_{t_n|t_1,\cdots t_{n-1}}(x_n,t_n|x_1,x_2,\cdots,x_{n-1};t_1,t_2,\cdots,t_{n-1})=F_{t_n|t_{n-1}(x_n,t_n|x_{n-1},t_{n-1})}$$ 则过程{X(t),t∈T}\{X(t),t\in T\}具有马尔可夫性或无后效性，并称此过程为马尔可夫过程。 由于时间t与状态x都是离散的，且可以一一对应，上式可以简写为：

Ftn∣t1,…,tn−1(xn∣x1,…,xn−1)=Ftn∣tn−1(xn∣xn−1) F_{t_n | t_1, \dots, t_{n-1}}(x_n | x_1, \dots, x_{n-1}) = F_{t_n | t_{n-1}}(x_n | x_{n-1})

Note

上面的公式看起来复杂，实际上核心性质就是一条： n−1n-1之前的时间tit_i下的状态xix_i对当前时间的状态xnx_n没有影响，去掉也无所谓。

马尔可夫过程可以是离散时间或连续时间的，并且状态空间可以是离散的或连续的。 [[泊松过程]]: 时间连续，状态离散的马尔可夫过程 [[维纳过程]]: 时间和状态都连续的马尔可夫过程 马尔可夫链: 状态和时间都离散的马尔可夫过程都是马尔可夫链

转移概率

对于齐次马尔可夫链，转移概率定义为：

P(Xt+1=xt+1∣Xt=xt)=pxt,xt+1 P(X_{t+1} = x_{t+1} | X_t = x_t) = p_{x_t, x_{t+1}}

其中，pxt,xt+1p_{x_t, x_{t+1}}表示从状态xtx_t转移到状态xt+1x_{t+1}的概率。

nn步转移概率

经过nn步后从状态xix_i到状态xjx_j的概率为：

Pn(i,j)=P(Xt+n=xj∣Xt=xi) P^n(i, j) = P(X_{t+n} = x_j | X_t = x_i)

转移矩阵

一步转移概率组成的矩阵为：

P=[p1,1p1,2⋯p1,np2,1p2,2⋯p2,n⋮⋮⋱⋮pn,1pn,2⋯pn,n] P = \begin{bmatrix} p_{1,1} & p_{1,2} & \cdots & p_{1,n} \\ p_{2,1} & p_{2,2} & \cdots & p_{2,n} \\ \vdots & \vdots & \ddots & \vdots \\ p_{n,1} & p_{n,2} & \cdots & p_{n,n} \end{bmatrix}

其中，PnP^n为nn步转移概率矩阵。一步转移概率矩阵是重点讨论对象。

多步转移概率

经过 nn 步从状态 ii 转移到状态 jj 的概率为：

Pij(n)=P(Xt+n=j∣Xt=i) P^{(n)}_{ij} = P(X_{t+n} = j | X_t = i)

多步转移概率可以通过转移概率矩阵的幂计算：P(n)=PnP^{(n)} = P^n

时间平稳性

如果马尔可夫过程是时间齐次的（Homogeneous Markov Process），则转移概率与具体时间 tt 无关：P(Xt+1=j∣Xt=i)=P(X1=j∣X0=i)P(X_{t+1} = j | X_t = i) = P(X_1 = j | X_0 = i)

初始分布

在时间 t=0t=0 时，随机变量 X0X_0 的概率分布：

P(X0=x)=π(x),x∈S P(X_0 = x) = \pi(x), \quad x \in \mathcal{S}

其中

  • π(x)\pi(x) 是初始状态的概率
  • S\mathcal{S}：状态空间（State Space），所有可能的状态的集合