当马尔可夫过程的状态空间和时间都离散时，称为马尔可夫链。假设有一个有限的状态集合 $S = \{s_1, s_2, \ldots, s_n\}$，其转移概率矩阵为 $P$，其中 $P_{ij} = P(X_{t+1} = s_j | X_t = s_i)$ 表示从状态 $s_i$ 转移到状态 $s_j$ 的概率。

平稳分布

在某些条件下，马尔可夫链会趋向于一个平稳分布（stationary distribution），即存在一个概率分布 $\pi$，使得：

$$\pi P = \pi$$

这表明，在平稳分布下，系统在长时间运行后，其状态分布不再变化。