马尔可夫过程 (Markov Process)
马尔可夫过程（Markov Process）是一类特定的随机过程，其特征是无记忆性（Markov Property），即系统的未来状态仅依赖于当前状态，而与过去的历史无关。简而言之，给定当前状态，系统未来的发展不受过去的影响。
马尔可夫过程的定义
假设有一个随机过程，其中每个状态可以表示为 ( X_t )（时间 ( t ) 的状态）。如果这个过程满足“无记忆性”的性质，即
[ P(X_{t+1} = x | X_t = x_t, X_{t-1} = x_{t-1}, \dots, X_0 = x_0) = P(X_{t+1} = x | X_t = x_t) ]
这意味着，给定当前的状态 ( X_t )，未来的状态 ( X_{t+1} ) 的概率分布与过去的状态无关，只有当前状态对未来的状态有影响。
关键特性
- 无记忆性 (Markov Property)：
- 给定当前的状态，未来的状态不依赖于过去的状态。
-
形式化定义：( P(X_{t+1} = x_{t+1} | X_t = x_t, X_{t-1} = x_{t-1}, \dots, X_0 = x_0) = P(X_{t+1} = x_{t+1} | X_t = x_t) )
-
状态空间 (State Space)：
- 这是系统可能处于的所有状态的集合。状态空间可以是离散的，也可以是连续的。
-
对于离散马尔可夫过程，状态空间通常是一个有限或可数无限的集合。
-
转移概率 (Transition Probability)：
- 转移概率 ( P(X_{t+1} = x_{t+1} | X_t = x_t) ) 描述了从当前状态 ( X_t = x_t ) 转移到下一个状态 ( X_{t+1} = x_{t+1} ) 的概率。
-
对于离散马尔可夫链，转移概率通常用一个矩阵表示，称为 转移矩阵。
-
转移矩阵 (Transition Matrix)：
- 如果状态空间是离散的，那么转移概率通常可以用一个矩阵来表示，转移矩阵 ( P ) 的元素 ( P_{ij} ) 表示从状态 ( i ) 转移到状态 ( j ) 的概率。
- 转移矩阵的每一行的元素总和为1，因为从任意状态转移到所有可能状态的概率之和应该是1。
[ P = \begin{pmatrix} P_{11} & P_{12} & \dots & P_{1n} \ P_{21} & P_{22} & \dots & P_{2n} \ \vdots & \vdots & \ddots & \vdots \ P_{n1} & P_{n2} & \dots & P_{nn} \end{pmatrix} ]
马尔可夫链 (Markov Chain)
如果马尔可夫过程的状态空间是离散的，那么该过程通常被称为 马尔可夫链 (Markov Chain)。马尔可夫链是一种随机过程，其状态随着时间的推移在离散的状态空间中变化。
马尔可夫链的分类
- 有限状态马尔可夫链：状态空间是有限的，常用于实际问题中。
- 无限状态马尔可夫链：状态空间是无限的，通常用来建模更复杂的现象，如随机游走。
马尔可夫链的性质
-
周期性 (Periodicity)：如果从某个状态出发，经过某个固定的步数后回到该状态，这个步数称为周期。若周期为 1，则该状态是非周期性的。
-
可返回性 (Recurrence)：状态是可返回的，如果从该状态出发后最终可以回到该状态。
-
遍历性 (Ergodicity)：如果马尔可夫链是不可约的，并且所有的状态都是正可返回的，则该链是遍历的，意味着从任意一个状态出发最终可以访问到所有状态。
马尔可夫过程的应用
- 自然语言处理：
-
在自然语言处理（NLP）中，马尔可夫过程经常用于建模词语或字符序列，如 隐马尔可夫模型 (HMM)。
-
股票价格预测：
-
虽然股市价格具有高度的随机性，某些模型会假设股价变化遵循马尔可夫过程的规律，用于模拟股市价格的变化。
-
天气预测：
-
可以使用马尔可夫链来建模天气变化。假设每个状态表示天气（如晴天、阴天、雨天等），且每种天气状态的转移概率是已知的。
-
排队系统：
-
在排队论中，常常用马尔可夫过程建模系统中客户的到达、离开等过程，如 M/M/1 排队模型。
-
生物学模型：
- 在生物学中，马尔可夫过程用于描述遗传学中的突变过程、种群数量变化等。
马尔可夫决策过程 (MDP)
如果在马尔可夫过程的基础上增加了行动和奖励机制，形成了一个决策过程，我们称之为 马尔可夫决策过程（MDP）。在MDP中，智能体在每个时刻做出一个动作，影响系统的状态，并且根据状态和动作获得一个奖励。
- 状态 (State)：描述当前系统的状态。
- 行动 (Action)：在特定状态下，智能体可以选择的动作。
- 奖励 (Reward)：每个行动后得到的反馈。
- 转移概率：执行某一动作后，系统从一个状态转移到另一个状态的概率。
- 策略 (Policy)：智能体根据当前状态选择动作的规则。
MDP是强化学习的基础，广泛应用于机器人、自动驾驶等领域。
示例：简单的马尔可夫链
假设一个简单的天气模型，只有两种状态：晴天（S）和雨天（R）。假设转移概率如下：
- 晴天转晴天的概率是 0.9，转雨天的概率是 0.1。
- 雨天转晴天的概率是 0.5，转雨天的概率是 0.5。
那么，转移矩阵为：
[ P = \begin{pmatrix} 0.9 & 0.1 \ 0.5 & 0.5 \end{pmatrix} ]
如果我们知道今天是晴天，那么可以计算未来几天的天气概率。
总结
马尔可夫过程是研究随机现象中一个非常重要的工具，广泛应用于各种领域。其核心思想是无记忆性，即未来状态仅依赖于当前状态，不依赖于历史。这一特性使得马尔可夫过程非常适合用于建模复杂系统中的随机行为。